Kontakt aufnehmen
 Dauer 14 Stunden

Schulungsübersicht

Einführung in multimodale LLMs in Vertex AI

  • Übersicht über die multimodalen Funktionen in Vertex AI
  • Gemini-Modelle und unterstützte Modalitäten
  • Use Cases im Unternehmensumfeld und in der Forschung

Einrichtung der Entwicklungsumgebung

  • Konfiguration von Vertex AI für multimodale Workflows
  • Arbeiten mit Datensätzen über verschiedene Modalitäten hinweg
  • Praktische Übung: Einrichtung der Umgebung und Vorbereitung der Datensätze

Lange Kontextfenster und erweiterte Schlussfolgerung

  • Verständnis von Workflows mit langem Kontext
  • Use Cases in Planung und Entscheidungsfindung
  • Praktische Übung: Implementierung der Analyse mit langem Kontext

Entwurf von Cross-Modal-Workflows

  • Kombinierung von Text-, Audio- und Bildanalyse
  • Kettierung multimodaler Schritte in Pipelines
  • Praktische Übung: Entwurf einer multimodalen Pipeline

Arbeiten mit Gemini-API-Parametern

  • Konfiguration multimodaler Eingaben und Ausgaben
  • Optimierung der Inferenz und der Effizienz
  • Praktische Übung: Anpassung der Gemini-API-Parameter

Fortgeschrittene Anwendungen und Integrationen

  • Interaktive multimodale Agenten und Assistenten
  • Integration externer APIs und Tools
  • Praktische Übung: Entwicklung einer multimodalen Anwendung

Bewertung und Iteration

  • Testen der multimodalen Leistungsfähigkeit
  • Metriken für Genauigkeit, Ausrichtung und Drift
  • Praktische Übung: Bewertung multimodaler Workflows

Zusammenfassung und nächste Schritte

Voraussetzungen

  • Sicherer Umgang mit der Python-Programmierung
  • Erfahrung in der Entwicklung von Machine-Learning-Modellen
  • Vertrautheit mit multimodalen Daten (Text, Audio, Bild)

Zielgruppe

  • KI-Forscher
  • Fortgeschrittene Entwickler
  • ML-Scientisten

Teilnehmerzahl


Preis je Teilnehmer (exkl. USt)

Kommende Kurse

Verwandte Kategorien