Kontakt aufnehmen

Schulungsübersicht

Einführung in multimodale LLMs in Vertex AI

  • Überblick über die multimodalen Fähigkeiten von Vertex AI
  • Gemini-Modelle und unterstützte Modalitäten
  • Anwendungsfälle in Unternehmen und Forschung

Einrichten der Entwicklungsumgebung

  • Konfigurieren von Vertex AI für multimodale Workflows
  • Umgang mit Datensätzen über verschiedene Modalitäten hinweg
  • Praktische Übung: Einrichten der Umgebung und Vorbereiten der Datensätze

Lange Kontextfenster und fortgeschrittenes Schlussfolgern

  • Verständnis von Workflows mit langem Kontext
  • Anwendungsfälle in der Planung und Entscheidungsfindung
  • Praktische Übung: Implementieren einer Analyse mit langem Kontext

Grenzüberschreitendes Workflow-Design

  • Kombinieren von Text-, Audio- und Bildanalyse
  • Ketten multimodaler Schritte in Pipelines
  • Praktische Übung: Entwurf einer multimodalen Pipeline

Arbeit mit Gemini API-Parametern

  • Konfigurieren von multimodalen Eingaben und Ausgaben
  • Optimieren der Inferenz und Effizienz
  • Praktische Übung: Abstimmen der Gemini API-Parameter

Fortgeschrittene Anwendungen und Integrationen

  • Interaktive multimodale Agenten und Assistenten
  • Integration externer APIs und Tools
  • Praktische Übung: Erstellen einer multimodalen Anwendung

Bewertung und Iteration

  • Testen der multimodalen Leistung
  • Metriken für Genauigkeit, Übereinstimmung und Drift
  • Praktische Übung: Bewerten multimodaler Workflows

Zusammenfassung und nächste Schritte

Voraussetzungen

  • Sichere Programmierkenntnisse in Python
  • Erfahrung mit der Entwicklung von ML-Modellen
  • Vertrautheit mit multimodalen Daten (Text, Audio, Bild)

Zielgruppe

  • KI-Forscher
  • Fortgeschrittene Entwickler
  • ML-Wissenschaftler
 14 Stunden

Teilnehmerzahl


Preis je Teilnehmer (exkl. USt)

Kommende Kurse

Verwandte Kategorien