Kontakt aufnehmen

Schulungsübersicht

Einführung in Open-Source-LLMs

  • Was sind Open-Weight-Modelle und warum sind sie wichtig?
  • Überblick über LLaMA, Mistral, Qwen und andere Community-Modelle
  • Anwendungsfälle für private, lokale oder sichere Bereitstellungen

Einrichtung der Umgebung und Tools

  • Installation und Konfiguration der Bibliotheken Transformers, Datasets und PEFT
  • Auswahl der passenden Hardware für die Feinabstimmung
  • Laden vortrainierter Modelle von Hugging Face oder anderen Repositories

Datenvorbereitung und Preprocessing

  • Datensatzformate (Instruction Tuning, Chat-Daten, reine Textdaten)
  • Tokenisierung und Sequenzverwaltung
  • Erstellung benutzerdefinierter Datensätze und Data Loaders

Feinabstimmungstechniken

  • Standard-Vollfeinabstimmung im Vergleich zu parametersparenden Methoden
  • Anwendung von LoRA und QLoRA für effiziente Feinabstimmung
  • Nutzung der Trainer API für schnelle Experimente

Modellbewertung und Optimierung

  • Bewertung feinabgestimmter Modelle anhand von Generierungs- und Genauigkeitsmetriken
  • Umgang mit Overfitting, Generalisierung und Validierungssets
  • Tipps zur Leistungsoptimierung und Protokollierung

Bereitstellung und privater Einsatz

  • Speichern und Laden von Modellen für die Inferenz
  • Bereitstellung feinabgestimmter Modelle in sicheren Unternehmensumgebungen
  • Lokale versus Cloud-Bereitstellungsstrategien

Fallstudien und Anwendungsfälle

  • Beispiele für den Enterprise-Einsatz von LLaMA, Mistral und Qwen
  • Bewältigung multilingualer und domänenspezifischer Feinabstimmung
  • Diskussion: Zielkonflikte zwischen offenen und geschlossenen Modellen

Zusammenfassung und nächste Schritte

Voraussetzungen

  • Grundlegendes Verständnis von Large Language Models (LLMs) und deren Architektur
  • Erfahrung mit Python und PyTorch
  • Basiskenntnisse im Hugging-Face-Ökosystem

Zielgruppe

  • ML-Praktiker
  • KI-Entwickler
 14 Stunden

Teilnehmerzahl


Preis je Teilnehmer (exkl. USt)

Kommende Kurse

Verwandte Kategorien