Vielen Dank für die Zusendung Ihrer Anfrage! Eines unserer Teammitglieder wird Sie in Kürze kontaktieren.
Vielen Dank, dass Sie Ihre Buchung abgeschickt haben! Eines unserer Teammitglieder wird Sie in Kürze kontaktieren.
Dauer 14 Stunden
Schulungsübersicht
AI-Souveränität und lokale Bereitstellung von LLMs
- Risiken von Cloud-LLMs: Datenhaltung, Training anhand von Eingaben, ausländische Gerichtsbarkeit.
- Ollama-Architektur: Modellserver, Registry und OpenAI-kompatible API.
- Vergleich mit vLLM, llama.cpp und Text Generation Inference.
- Modell-Lizenzen: Bedingungen für Llama, Mistral, Qwen und Gemma.
Installation und Hardware-Einrichtung
- Installation von Ollama unter Linux mit CUDA- und ROCm-Unterstützung.
- Fallback auf CPU-only und AVX/AVX2-Optimierung.
- Docker-Bereitstellung und Zuordnung von persistenten Volumes.
- Multi-GPU-Einrichtung und VRAM-Zuweisungsstrategien.
Modellverwaltung
- Abrufen von Modellen aus dem Ollama-Registry: ollama pull llama3.
- Importieren von GGUF-Modellen von HuggingFace und TheBloke.
- Quantisierungsebenen: Abwägungen bei Q4_K_M, Q5_K_M und Q8_0.
- Modellwechsel und Grenzen der parallelen Modellladungen.
Custom Modelfiles
- Schreiben der Modelfile-Syntax: FROM, PARAMETER, SYSTEM, TEMPLATE.
- Anpassung von Temperatur, top_p und repeat_penalty.
- System-Prompt-Engineering für rollenspezifisches Verhalten.
- Erstellen und Veröffentlichen von Custom-Modellen im lokalen Registry.
API-Integration
- OpenAI-kompatibler /v1/chat/completions-Endpunkt.
- Streaming-Antworten und JSON-Modus.
- Integration mit LangChain, LlamaIndex und Custom-Apps.
- Authentifizierung und Rate-Limiting mit Reverse Proxy.
Performance-Optimierung
- Größe des Kontextfensters und Verwaltung des KV-Cache.
- Batch-Inferenz und parallele Bearbeitung von Anfragen.
- Thread-Zuweisung für CPU und NUMA-Awareness.
- Überwachung der GPU-Auslastung und des Speicherdrucks.
Sicherheit und Compliance
- Netzwerkisolierung für Modell-Bereitstellungs-Endpunkte.
- Eingabefilterung und Output-Moderationspipelines.
- Audit-Protokollierung von Prompts und Completions.
- Modell-Herkunft und Hash-Verifikation.
Voraussetzungen
- Mittleres Niveau in Linux- und Container-Administration.
- Grundlegendes Verständnis von Machine Learning und Transformer-Modellen.
- Vertrautheit mit REST-APIs und JSON.
Zielgruppe
- AI-Ingenieure und Entwickler, die Cloud-LLM-APIs ersetzen möchten.
- Organisationen, bei denen datenschutzsensible Informationen die Nutzung von Cloud-Modellen verhindern.
- Teams aus Behörden und Verteidigung, die air-gapped Sprachmodelle benötigen.
