Kontakt aufnehmen
 Dauer 14 Stunden

Schulungsübersicht

Einführung in Mistral im industriellen Maßstab

  • Überblick über Mistral Medium 3
  • Abwägung zwischen Leistung und Kosten
  • Betrachtungen für den Unternehmenseinsatz

Bereitstellungsmuster für LLMs

  • Serving-Topologien und Designentscheidungen
  • On-Premises- vs. Cloud-Bereitstellungen
  • Hybride und Multi-Cloud-Strategien

Techniken zur Inferenzoptimierung

  • Batching-Strategien für hohen Durchsatz
  • Quantisierungsmethoden zur Kostensenkung
  • Nutzung von Beschleunigern und GPUs

Skalierbarkeit und Zuverlässigkeit

  • Skalierung von Kubernetes-Clustern für Inferenz
  • Lastausgleich und Traffic-Routing
  • Fehlertoleranz und Redundanz

Rahmenwerke für das Kosteningenieurwesen

  • Messung der Inferenzzufälligkeitseffizienz
  • Optimale Dimensionierung von Rechen- und Speicherressourcen
  • Überwachung und Alarmierung zur Optimierung

Sicherheit und Konformität im Produktivbetrieb

  • Sicherung von Bereitstellungen und APIs
  • Überlegungen zur Datenverwaltung
  • Regulatorische Konformität im Kosteningenieurwesen

Fallstudien und bewährte Verfahren

  • Referenzarchitekturen für Mistral im industriellen Maßstab
  • Erfahrungen aus Unternehmensbereitstellungen
  • Zukunftstrends in der effizienten LLM-Inferenz

Zusammenfassung und nächste Schritte

Voraussetzungen

  • Umfassendes Verständnis der Bereitstellung von Machine-Learning-Modellen
  • Erfahrung mit Cloud-Infrastruktur und verteilten Systemen
  • Vertrautheit mit Leistungsoptimierung und Kosteneffizienzstrategien

Zielgruppe

  • Infrastruktur-Ingenieure
  • Cloud-Architekten
  • MLOps-Leiter

Teilnehmerzahl


Preis je Teilnehmer (exkl. USt)

Kommende Kurse

Verwandte Kategorien