Vielen Dank für die Zusendung Ihrer Anfrage! Eines unserer Teammitglieder wird Sie in Kürze kontaktieren.
Vielen Dank, dass Sie Ihre Buchung abgeschickt haben! Eines unserer Teammitglieder wird Sie in Kürze kontaktieren.
Dauer 14 Stunden
Schulungsübersicht
Einführung in Mistral im industriellen Maßstab
- Überblick über Mistral Medium 3
- Abwägung zwischen Leistung und Kosten
- Betrachtungen für den Unternehmenseinsatz
Bereitstellungsmuster für LLMs
- Serving-Topologien und Designentscheidungen
- On-Premises- vs. Cloud-Bereitstellungen
- Hybride und Multi-Cloud-Strategien
Techniken zur Inferenzoptimierung
- Batching-Strategien für hohen Durchsatz
- Quantisierungsmethoden zur Kostensenkung
- Nutzung von Beschleunigern und GPUs
Skalierbarkeit und Zuverlässigkeit
- Skalierung von Kubernetes-Clustern für Inferenz
- Lastausgleich und Traffic-Routing
- Fehlertoleranz und Redundanz
Rahmenwerke für das Kosteningenieurwesen
- Messung der Inferenzzufälligkeitseffizienz
- Optimale Dimensionierung von Rechen- und Speicherressourcen
- Überwachung und Alarmierung zur Optimierung
Sicherheit und Konformität im Produktivbetrieb
- Sicherung von Bereitstellungen und APIs
- Überlegungen zur Datenverwaltung
- Regulatorische Konformität im Kosteningenieurwesen
Fallstudien und bewährte Verfahren
- Referenzarchitekturen für Mistral im industriellen Maßstab
- Erfahrungen aus Unternehmensbereitstellungen
- Zukunftstrends in der effizienten LLM-Inferenz
Zusammenfassung und nächste Schritte
Voraussetzungen
- Umfassendes Verständnis der Bereitstellung von Machine-Learning-Modellen
- Erfahrung mit Cloud-Infrastruktur und verteilten Systemen
- Vertrautheit mit Leistungsoptimierung und Kosteneffizienzstrategien
Zielgruppe
- Infrastruktur-Ingenieure
- Cloud-Architekten
- MLOps-Leiter