Schulungsübersicht
Grundlagen der hybriden KI-Implementierung
- Verständnis der Hybrid-, Cloud- und Edge-Implementierungsmodelle
- Eigenschaften von KI-Workloads und infrastrukturelle Einschränkungen
- Auswahl der richtigen Implementierungstopologie
Containerisierung von KI-Workloads mit Docker
- Erstellen von GPU- und CPU-Inferenzcontainern
- Verwaltung sicherer Images und Register
- Einführung reproduzierbarer Umgebungen für KI
Implementierung von KI-Diensten in Cloud-Umgebungen
- Ausführen von Inferenz auf AWS, Azure und GCP über Docker
- Provisionierung von Cloud-Computing-Ressourcen für das Modell-Serving
- Sicherung cloudbasierter KI-Endpunkte
Techniken für Edge- und On-Prem-Implementierung
- Ausführen von KI auf IoT-Geräten, Gateways und Microservern
- Leichte Runtimes für Edge-Umgebungen
- Verwaltung intermitterter Konnektivität und lokaler Persistenz
Hybride Vernetzung und sichere Konnektivität
- Sicheres Tunneling zwischen Edge und Cloud
- Zertifikate, Secrets und tokenbasierte Zugriffe
- Performance-Tuning für Inferenz mit niedriger Latenz
Orchestrierung verteilter KI-Implementierungen
- Verwendung von K3s, K8s oder leichtgewichtiger Orchestrierung für Hybrid-Setups
- Service Discovery und Workload-Scheduling
- Automatisierung von Rollout-Strategien für mehrere Standorte
Überwachung und Observability über verschiedene Umgebungen hinweg
- Nacherfassung der Inferenzleistung an verschiedenen Standorten
- Zentralisiertes Logging für hybride KI-Systeme
- Fehlererkennung und automatisierte Wiederherstellung
Skalierung und Optimierung hybrider KI-Systeme
- Skalierung von Edge-Clustern und Cloud-Knoten
- Optimierung der Bandbreitennutzung und Caching
- Lastverteilung zwischen Cloud und Edge
Zusammenfassung und nächste Schritte
Voraussetzungen
- Grundlegendes Verständnis von Containerisierungskonzepten
- Erfahrung mit Linux-Befehlszeilenoperationen
- Vertrautheit mit Workflows für die Implementierung von KI-Modellen
Zielgruppe
- Infrastruktur-Architekten
- Site Reliability Engineers (SREs)
- Edge- und IoT-Entwickler
Erfahrungsberichte (2)
Wie ich bereits erwähnt habe, war dies für mich (ohne Erfahrung) ein Tor zum Verständnis der Funktionen und Möglichkeiten dieser Programme und Werkzeuge.
Patrick V. Duylovski - UBB + DZI (KBC GROUP)
Kurs - Docker and Kubernetes
Maschinelle Übersetzung
ein mehrstufiges, strukturiertes Kursprogramm.
Bert Paelinckx - Cube SoftwareSolutions
Kurs - Introduction to Docker
Maschinelle Übersetzung