Kontakt aufnehmen

Schulungsübersicht

Einführung in Mistral im Maßstab

  • Übersicht über Mistral Medium 3
  • Leistungs- vs. Kostenabwägungen
  • Aspekte des Unternehmensmaßstabs

Bereitstellungsstrukturen für LLMs

  • Serving-Topologien und Designentscheidungen
  • Premise vs. Cloud-Bereitstellungen
  • Hybride und Multi-Cloud-Strategien

Inferenzoptimierungstechniken

  • Batching-Strategien für hohen Durchsatz
  • Quantisierungsmethoden zur Kostensenkung
  • Nutzung von Beschleunigern und GPUs

Skalierbarkeit und Zuverlässigkeit

  • Skalierung von Kubernetes-Clustern für Inference
  • Lastenausgleich und Traffic-Routing
  • Fehlertoleranz und Redundanz

Kosten-Ingenieurwesen-Frameworks

  • Messung der Inference-Kosteneffizienz
  • Rechtgrößeberechnung von Compute- und Speicherressourcen
  • Überwachung und Alarmierung für Optimierungszwecke

Sicherheit und Compliance in der Produktion

  • Sicherung von Bereitstellungen und APIs
  • Betrachtungen zur Datenverwaltung
  • Regulatorische Konformität im Kosten-Ingenieurwesen

Fallstudien und Best Practices

  • Referenzarchitekturen für Mistral im Maßstab
  • Lektionen aus Unternehmensbereitstellungen
  • Zukunftstrends in effizienter LLM-Inferenz

Zusammenfassung und nächste Schritte

Voraussetzungen

  • Tiefes Verständnis der Deployment von Machine-Learning-Modellen
  • Erfahrung mit Cloud-Infrastrukturen und verteilten Systemen
  • Vertrautheit mit Performance-Tuning- und Kostenoptimierungsstrategien

Zielgruppe

  • Infrastrukturtechniker
  • Cloud-Architekten
  • MLOps-Verantwortliche
 14 Stunden

Teilnehmerzahl


Preis je Teilnehmer (exkl. USt)

Kommende Kurse

Verwandte Kategorien