Kontakt aufnehmen

Schulungsübersicht

Einführung in multimodale KI und Ollama

  • Übersicht über multimodales Lernen
  • Zentrale Herausforderungen bei der Integration von Bild- und Sprachdaten
  • Funktionen und Architektur von Ollama

Einrichten der Ollama-Umgebung

  • Installation und Konfiguration von Ollama
  • Arbeiten mit lokaler Modellbereitstellung
  • Anbindung von Ollama an Python und Jupyter

Arbeiten mit multimodalen Eingaben

  • Integration von Text und Bildern
  • Einbindung von Audio- und strukturierten Daten
  • Entwurf von Vorverarbeitungspipelines

Anwendungen zum Dokumentverständnis

  • Extrahieren strukturierter Informationen aus PDFs und Bildern
  • Kombinieren von OCR mit Sprachmodellen
  • Erstellung intelligenter Workflows zur Dokumentenanalyse

Visuelle Frage-Antwort-Systeme (VQA)

  • Einrichten von VQA-Datensätzen und Benchmarks
  • Schulen und Evaluieren multimodaler Modelle
  • Erstellung interaktiver VQA-Anwendungen

Entwurf multimodaler Agenten

  • Grundprinzipien des Agentendesigns mit multimodalem Reasoning
  • Kombinieren von Wahrnehmung, Sprache und Aktion
  • Bereitstellung von Agenten für reale Anwendungsfälle

Fortgeschrittene Integration und Optimierung

  • Fine-Tuning multimodaler Modelle mit Ollama
  • Optimierung der Inferenzleistung
  • Aspekte der Skalierbarkeit und Bereitstellung

Zusammenfassung und nächste Schritte

Voraussetzungen

  • Starke Kenntnis der Grundlagen des maschinellen Lernens
  • Erfahrung mit Deep-Learning-Frameworks wie PyTorch oder TensorFlow
  • Vertrautheit mit natürlicher Sprachverarbeitung und Computer Vision

Zielgruppe

  • Ingenieure für maschinelles Lernen
  • KI-Forscher
  • Produktentwickler, die Workflows mit Bild- und Textverarbeitung integrieren
 21 Stunden

Teilnehmerzahl


Preis je Teilnehmer (exkl. USt)

Kommende Kurse

Verwandte Kategorien