Kontakt aufnehmen

Schulungsübersicht

Einführung in multimodale Modelle

  • Überblick über multimodales maschinelles Lernen
  • Anwendungen multimodaler Modelle
  • Herausforderungen beim Umgang mit mehreren Datentypen

Architekturen für multimodale Modelle

  • Erforschung von Modellen wie CLIP, Flamingo und BLIP
  • Verständnis cross-modaliger Aufmerksamkeitsmechanismen
  • Architektonische Aspekte bezüglich Skalierbarkeit und Effizienz

Vorbereitung multimodaler Datensätze

  • Datenerfassungs- und Annotationstechniken
  • Vorverarbeitung von Text-, Bild- und Videoeingaben
  • Ausgewogenheit der Datensätze für multimodale Aufgaben

Feinabstimmungstechniken für multimodale Modelle

  • Konfiguration von Trainings-Pipelines für multimodale Modelle
  • Umgang mit Speicher- und Rechenbeschränkungen
  • Handhabung der Abstimmung zwischen Modalitäten

Anwendungen feinabgestimmter multimodaler Modelle

  • Visuelles Fragenbeantworten
  • Bild- und Videobeschriftung
  • Inhaltsgenerierung unter Nutzung multimodaler Eingaben

Leistungsoptimierung und Auswertung

  • Auswertungsmetriken für multimodale Aufgaben
  • Optimierung von Latenz und Durchsatz für die Produktion
  • Sicherstellung der Robustheit und Konsistenz über Modalitäten hinweg

Bereitstellung multimodaler Modelle

  • Paketierung der Modelle für die Bereitstellung
  • Skalierbare Inferenz auf Cloud-Plattformen
  • Echtzeitanwendungen und Integrationen

Fallstudien und praktische Übungen

  • Feinabstimmung von CLIP für inhaltsbasierte Bildersuche
  • Schulung eines multimodalen Chatbots mit Text und Video
  • Implementierung cross-modaliger Suchsysteme

Zusammenfassung und weitere Schritte

Voraussetzungen

  • Sicherer Umgang mit Python-Programmierung
  • Grundlagenverständnis von Deep-Learning-Konzepten
  • Erfahrung im Feinabstimmen vortrainierter Modelle

Zielgruppe

  • KI-Forscher
  • Data Scientists
  • Maschinenlernpraktiker
 28 Stunden

Teilnehmerzahl


Preis je Teilnehmer (exkl. USt)

Kommende Kurse

Verwandte Kategorien