Schulungsübersicht
Grundlagen der hybriden KI-Bereitstellung
- Verständnis von Hybrid-, Cloud- und Edge-Bereitstellungsmodellen
- Merkmale von KI-Workloads und Infrastrukturbeschränkungen
- Auswahl der richtigen Bereitstellungstopologie
Containerisierung von KI-Workloads mit Docker
- Erstellung von GPU- und CPU-Inferenzcontainern
- Verwaltung sicherer Images und Registries
- Implementierung reproduzierbarer Umgebungen für KI
Bereitstellung von KI-Diensten in Cloud-Umgebungen
- Durchführung der Inferenz auf AWS, Azure und GCP mittels Docker
- Bereitstellung von Cloud-Compute-Ressourcen für das Modell-Serving
- Sicherung cloudbasierter KI-Endpunkte
Techniken für Edge- und On-Premise-Bereitstellung
- Ausführung von KI auf IoT-Geräten, Gateways und Microservern
- Leichtgewichtige Laufzeiten (Runtimes) für Edge-Umgebungen
- Umgang mit intermittierender Konnektivität und lokaler Persistenz
Hybrides Networking und sichere Konnektivität
- Sicheres Tunneling zwischen Edge und Cloud
- Zertifikate, Secrets und tokenbasierte Zugriffskontrolle
- Leistungsoptimierung für latenzarme Inferenz
Orchestrierung verteilter KI-Bereitstellungen
- Einsatz von K3s, K8s oder leichtgewichtiger Orchestrierung für Hybrid-Setups
- Service Discovery und Workload-Scheduling
- Automatisierung von Ausrollstrategien über mehrere Standorte hinweg
Monitoring und Observability in allen Umgebungen
- Verfolgung der Inferenzleistung über verschiedene Standorte hinweg
- Zentrale Protokollierung für hybride KI-Systeme
- Fehlererkennung und automatisierte Wiederherstellung
Skalierung und Optimierung hybrider KI-Systeme
- Skalierung von Edge-Clustern und Cloud-Knoten
- Optimierung der Bandbreitennutzung und des Caching
- Ausgewogenes Lastmanagement zwischen Cloud und Edge
Zusammenfassung und weitere Schritte
Voraussetzungen
- Verständnis der Containerisierungskonzepte
- Erfahrung im Umgang mit Linux-Befehlszeilenoperationen
- Vertrautheit mit Arbeitsabläufen zur KI-Modellbereitstellung
Zielgruppe
- Infrastrukturarchitekten
- Site Reliability Engineers (SREs)
- Entwickler für Edge Computing und IoT
Erfahrungsberichte (3)
Gute und machbare Übungen.
Jannes Wykhoff - Landesamt fur Geoinformation und Landesvermessung Niedersachsen (LGLN)
Kurs - Certified Kubernetes Application Developer (CKAD) - exam preparation
Wie Trainer Wissen effektiv vermitteln
Vu Thoai Le - Reply Polska sp. z o. o.
Kurs - Certified Kubernetes Administrator (CKA) - exam preparation
Maschinelle Übersetzung
Der Trainer hatte viel Wissen und Geduld, die er mit uns teilen konnte.
Bogdan Olaru
Kurs - Introduction to Docker
Maschinelle Übersetzung