Schulungsübersicht

Einführung in Open-Source LLMs

  • Was sind offene Gewichtsmodelle und warum sind sie wichtig
  • Überblick über LLaMA, Mistral, Qwen und andere Community-Modelle
  • Anwendungsfälle für private, on-premise oder sichere Bereitstellungen

Umgebungseinrichtung und Tools

  • Installation und Konfiguration der Bibliotheken Transformers, Datasets und PEFT
  • Auswahl geeigneter Hardware für das Fine-Tuning
  • Laden von vorab trainierten Modellen von Hugging Face oder anderen Repositories

Datenvorbereitung und -vorverarbeitung

  • Dataset-Formate (Instruktionsanpassung, Chat-Daten, reiner Text)
  • Tokenisierung und Sequenzmanagement
  • Erstellen benutzerdefinierter Datasets und Datenlader

Fine-Tuning Techniken

  • Standard-Full-Fine-Tuning vs. parameter-effiziente Methoden
  • Anwendung von LoRA und QLoRA für effizientes Fine-Tuning
  • Verwenden der Trainer-API für schnelle Experimente

Modellbewertung und -optimierung

  • Bewerten feinabgestimmter Modelle mit Generierungs- und Genauigkeitsmetriken
  • Verwalten von Overfitting, Generalisierung und Validierungsdatensätzen
  • Tips zur Leistungssteigerung und Logging

Bereitstellung und private Nutzung

  • Speichern und Laden von Modellen für die Inferenz
  • Bereitstellen feinabgestimmter Modelle in sicheren Unternehmensumgebungen
  • On-premise vs. Cloud-Bereitstellungsstrategien

Fallstudien und Anwendungsfälle

  • Beispiele für den Einsatz von LLaMA, Mistral und Qwen im Unternehmen
  • Behandlung multilinguistischer und domänenspezifischer Feinabstimmungen
  • Diskussion: Vergleich offener und geschlossener Modelle

Zusammenfassung und Nächste Schritte

Voraussetzungen

  • Eine Verständnis von großen Sprachmodellen (LLMs) und ihrer Architektur
  • Erfahrung mit Python und PyTorch
  • Grundkenntnisse im Umgang mit dem Hugging Face Ökosystem

Zielgruppe

  • ML-Praktiker
  • KI-Entwickler
 14 Stunden

Teilnehmerzahl


Preis je Teilnehmer (exkl. USt)

Kommende Kurse

Verwandte Kategorien