Vielen Dank für die Zusendung Ihrer Anfrage! Eines unserer Teammitglieder wird Sie in Kürze kontaktieren.
Vielen Dank, dass Sie Ihre Buchung abgeschickt haben! Eines unserer Teammitglieder wird Sie in Kürze kontaktieren.
Dauer 14 Stunden
Schulungsübersicht
Einführung in multimodale LLMs in Vertex AI
- Übersicht über die multimodalen Funktionen in Vertex AI
- Gemini-Modelle und unterstützte Modalitäten
- Use Cases im Unternehmensumfeld und in der Forschung
Einrichtung der Entwicklungsumgebung
- Konfiguration von Vertex AI für multimodale Workflows
- Arbeiten mit Datensätzen über verschiedene Modalitäten hinweg
- Praktische Übung: Einrichtung der Umgebung und Vorbereitung der Datensätze
Lange Kontextfenster und erweiterte Schlussfolgerung
- Verständnis von Workflows mit langem Kontext
- Use Cases in Planung und Entscheidungsfindung
- Praktische Übung: Implementierung der Analyse mit langem Kontext
Entwurf von Cross-Modal-Workflows
- Kombinierung von Text-, Audio- und Bildanalyse
- Kettierung multimodaler Schritte in Pipelines
- Praktische Übung: Entwurf einer multimodalen Pipeline
Arbeiten mit Gemini-API-Parametern
- Konfiguration multimodaler Eingaben und Ausgaben
- Optimierung der Inferenz und der Effizienz
- Praktische Übung: Anpassung der Gemini-API-Parameter
Fortgeschrittene Anwendungen und Integrationen
- Interaktive multimodale Agenten und Assistenten
- Integration externer APIs und Tools
- Praktische Übung: Entwicklung einer multimodalen Anwendung
Bewertung und Iteration
- Testen der multimodalen Leistungsfähigkeit
- Metriken für Genauigkeit, Ausrichtung und Drift
- Praktische Übung: Bewertung multimodaler Workflows
Zusammenfassung und nächste Schritte
Voraussetzungen
- Sicherer Umgang mit der Python-Programmierung
- Erfahrung in der Entwicklung von Machine-Learning-Modellen
- Vertrautheit mit multimodalen Daten (Text, Audio, Bild)
Zielgruppe
- KI-Forscher
- Fortgeschrittene Entwickler
- ML-Scientisten