Schulungsübersicht

Einführung in AI-Inferenz mit Docker

  • Verstehen von AI-Inferenzworkloads
  • Vorteile der containerisierten Inferenz
  • Bereitstellungsszenarien und -beschränkungen

Erstellen von AI-Inferenzcontainern

  • Auswahl der Basissysteme und Frameworks
  • Verpacken vorab trainierter Modelle
  • Strukturieren des Inferenzcodes für die Containerausführung

Sichern von containerisierten AI-Diensten

  • Minimierung der Angriffsfläche von Containern
  • Verwalten von Geheimnissen und sensiblen Dateien
  • Sicherheitsstrategien für Netzwerke und API-Exposure

Portable Bereitstellungstechniken

  • Optimieren von Images für die Portabilität
  • Sicherstellen vorhersagbarer Laufzeitemvironments
  • Verwalten von Abhängigkeiten über Plattformen hinweg

Lokale Bereitstellung und -tests

  • Ausführen von Diensten lokal mit Docker
  • Debuggen von Inferenzcontainern
  • Testen der Leistung und Zuverlässigkeit

Bereitstellung auf Servern und Cloud-VMs

  • Anpassen von Containern für Remote-Umgebungen
  • Konfigurieren des sicheren Serverzugriffs
  • Bereitstellen von Inferenz-APIs auf Cloud-VMs

Verwenden von Docker Compose für mehrservicesbasierte AI-Systeme

  • Orchestrieren der Inferenz mit unterstützenden Komponenten
  • Verwalten von Umgebungsvariablen und Konfigurationen
  • Skalieren von Mikroservices mit Compose

Überwachung und Wartung von AI-Inferenzdiensten

  • Ansätze für Logging und Observabilität
  • Erkennen von Fehlern in Inferenzpipelines
  • Aktualisieren und Versionieren von Modellen im Produktionsumfeld

Zusammenfassung und Nächste Schritte

Voraussetzungen

  • Grundlegendes Verständnis von Machine-Learning-Konzepten
  • Erfahrung mit Python oder Back-End-Entwicklung
  • Kenntnisse der grundlegenden Containerkonzepte

Zielgruppe

  • Entwickler
  • Back-End-Ingenieure
  • Teams, die AI-Dienste bereitstellen
 14 Stunden

Teilnehmerzahl


Preis je Teilnehmer (exkl. USt)

Erfahrungsberichte (5)

Kommende Kurse

Verwandte Kategorien