Vielen Dank für die Zusendung Ihrer Anfrage! Eines unserer Teammitglieder wird Sie in Kürze kontaktieren.
Vielen Dank, dass Sie Ihre Buchung abgeschickt haben! Eines unserer Teammitglieder wird Sie in Kürze kontaktieren.
Schulungsübersicht
Einführung in Mistral im großen Maßstab
- Überblick über Mistral Medium 3
- Leistung vs. Kosten-Abwägungen
- Überlegungen für das Unternehmensmaßstab
Bereitstellungsmuster für LLMs
- Serving-Topologien und Designentscheidungen
- Lokale vs. Cloud-Bereitstellungen
- Hybride und multicloud-Strategien
Inferenzoptimierungstechniken
- Batching-Strategien für hohe Durchsatzleistung
- Kvantisierungsverfahren zur Kosteneinsparung
- Verwendung von Beschleunigern und GPUs
Skalierbarkeit und Verlässlichkeit
- Skalieren von Kubernetes-Clustern für die Inferenz
- Lastverteilung und Traffic-Routing
- Fehlertoleranz und Redundanz
Kostenmanagement-Frameworks
- Messen der Inferenzkosteneffizienz
- Optimales Dimensionieren von Rechen- und Speicherressourcen
- Monitoring und Warnungen zur Optimierung
Sicherheit und Compliance in der Produktion
- Sichern von Bereitstellungen und APIs
- Datengovernance-Überlegungen
- Regulatory Compliance im Kostenmanagement
Fallstudien und Best Practices
- Referenzarchitekturen für Mistral im großen Maßstab
- Gelernte Lektionen aus Unternehmensbereitstellungen
- Zukünftige Trends in der effizienten LLM-Inferenz
Zusammenfassung und weitere Schritte
Voraussetzungen
- Grundlegendes Verständnis der Bereitstellung von Maschinelles-Lernen-Modellen
- Erfahrung mit Cloud-Infrastruktur und verteilten Systemen
- Kenntnisse in Performance-Tuning und Kostenoptimierungsstrategien
Zielgruppe
- Infrastruktur-Ingenieure
- Cloud-Architekten
- MLOps-Verantwortliche
14 Stunden