Vielen Dank für die Zusendung Ihrer Anfrage! Eines unserer Teammitglieder wird Sie in Kürze kontaktieren.
Vielen Dank, dass Sie Ihre Buchung abgeschickt haben! Eines unserer Teammitglieder wird Sie in Kürze kontaktieren.
Dauer 14 Stunden
Schulungsübersicht
Deployment-Optionen
- Abwägungen zwischen gehosteter API und Self-Hosting
- Muster für On-Premises, Edge und Air-Gapped
- Einzelmuster im Vergleich zum Modellportfolio
- Vergleich der Kosten pro Entscheidung
Hardware-Dimensionierung und Kapazität
- Speicherbedarf nach Parametertanzahl
- CPU-only im Vergleich zur GPU-Beschleunigung
- Planung von Parallelität und Durchsatz
- Reserven für wachsende Kontextlängen
Serving-Stacks
- Möglichkeiten mit vLLM und SGLang
- Ausführung mit llama.cpp und GGUF
- Ollama für die lokale Entwicklung
- Auswahl basierend auf der Art der Entscheidungs-Workload
Quantisierung ohne Verlust der Kalibrierung
- Präzisionsformate und Speichereinsparungen
- Messung von Qualitäts- und Kalibrierungsverlust
- Varianten auf Tensor-Ebene und wichtiger Bewusstsein
- Empfangstests nach der Quantisierung
Latenz-Engineering
- Median- im Vergleich zu Tail-Latenz
- Latenzwachstum mit Kontextlänge
- Warm Start und Modell-Caching
- Batch-Verarbeitung mehrerer Entscheidungsfragen
Edge- und eingeschränkte Umgebungen
- Kleine Entscheidungsmodelle auf CPU
- Deployment auf Apple Silicon und eingebetteten Systemen
- Offline-Betrieb und Update-Strategie
- Verteilung von Gewichten in Air-Gapped-Umgebungen
Containerisierung und Skalierung
- Gestaltung von Images für Modell-Serving
- Verwaltung von Volumes und Caches
- Horizontale Skalierung und Routing
- Ressourcenlimits und GPU-Sharing
Observability
- Metriken für Anfragen, Latenz und Fehler
- Monitoring der Konfidenzverteilung
- Tracking von Entscheidungsergebnissen und Eskalationen
- Alarmierung bei Kalibrierungsdrift
Versionierung und Rollout
- Versionierung von Modellen und Adaptern
- Shadow- und Canary-Deployment
- Festgelegte Modelldateien für die Auditierung
- Rollback-Prozeduren
Sicherheit und Multi-Tenancy
- Authentifizierung und Rate Limiting
- Tenant-Isolation für Prompts und Logs
- Netzwerk-Isolation und Egress-Kontrolle
- Protokollierung von Entscheidungen zur Auditierung
Voraussetzungen
- Erfahrung in der Linux-Administration und bei Containern.
- Vertrautheit mit Modell-Inferenzservern und GPU-Verwaltung.
- Grundlegendes Verständnis von REST-APIs, Load Balancing und Monitoring.
Zielgruppe
- MLOps- und Plattform-Engineers, die Inferenz-Infrastrukturen betreiben
- SRE-Teams, die KI-Dienste unterstützen
- KI-Engineers, die Entscheidungsmodelle auf-premises bereitstellen
- Architekten, die Air-Gapped- oder regulierte KI-Deployment-Projekte gestalten
