Multimodale LLM-Workflows in Vertex AI Schulung

Einführung in multimodale LLMs in Vertex AI

• Überblick über die multimodalen Fähigkeiten von Vertex AI
• Gemini-Modelle und unterstützte Modalitäten
• Anwendungsfälle in Unternehmen und Forschung

Einrichten der Entwicklungsumgebung

• Konfigurieren von Vertex AI für multimodale Workflows
• Umgang mit Datensätzen über verschiedene Modalitäten hinweg
• Praktische Übung: Einrichten der Umgebung und Vorbereiten der Datensätze

Lange Kontextfenster und fortgeschrittenes Schlussfolgern

• Verständnis von Workflows mit langem Kontext
• Anwendungsfälle in der Planung und Entscheidungsfindung
• Praktische Übung: Implementieren einer Analyse mit langem Kontext

Grenzüberschreitendes Workflow-Design

• Kombinieren von Text-, Audio- und Bildanalyse
• Ketten multimodaler Schritte in Pipelines
• Praktische Übung: Entwurf einer multimodalen Pipeline

Arbeit mit Gemini API-Parametern

• Konfigurieren von multimodalen Eingaben und Ausgaben
• Optimieren der Inferenz und Effizienz
• Praktische Übung: Abstimmen der Gemini API-Parameter

Fortgeschrittene Anwendungen und Integrationen

• Interaktive multimodale Agenten und Assistenten
• Integration externer APIs und Tools
• Praktische Übung: Erstellen einer multimodalen Anwendung

Bewertung und Iteration

• Testen der multimodalen Leistung
• Metriken für Genauigkeit, Übereinstimmung und Drift
• Praktische Übung: Bewerten multimodaler Workflows

Zusammenfassung und nächste Schritte