Kontakt aufnehmen

Schulungsübersicht

Einführung in Parameter-efficientes Feinabstimmen (PEFT)

  • Motivation und Grenzen des vollständigen Feinabstimmens (Full Fine-Tuning).
  • Übersicht über PEFT: Ziele und Vorteile.
  • Anwendungen und Use Cases in der Industrie.

LoRA (Low-Rank Adaptation)

  • Konzept und Intuition hinter LoRA.
  • Implementierung von LoRA mit Hugging Face und PyTorch.
  • Praxis: Feinabstimmen eines Modells mit LoRA.

Adapter Fine-Tuning

  • Funktionsweise von Adapter-Modulen.
  • Integration in transformer-basierte Modelle.
  • Praxis: Anwenden von Adapter Fine-Tuning auf ein Transformer-Modell.

Prefix Tuning

  • Nutzung von Soft Prompts für das Feinabstimmen.
  • Vor- und Nachteile im Vergleich zu LoRA und Adaptern.
  • Praxis: Prefix Tuning auf einer LLM-Aufgabe.

Bewerten und Vergleichen von PEFT-Verfahren

  • Metriken zur Bewertung von Leistung und Effizienz.
  • Abwägungen bei Trainingsgeschwindigkeit, Speicherverbrauch und Genauigkeit.
  • Benchmarking-Experimente und Interpretation der Ergebnisse.

Deployen fine-tunierter Modelle

  • Speichern und Laden feinabgestimmter Modelle.
  • Deploymentsüberlegungen für PEFT-basierte Modelle.
  • Integration in Anwendungen und Pipelines.

Best Practices und Erweiterungen

  • Kombination von PEFT mit Quantisierung und Distillation.
  • Einsatz in ressourcenarmen und mehrsprachigen Settings.
  • Zukünftige Entwicklungen und aktuelle Forschungsfelder.

Zusammenfassung und nächste Schritte

Voraussetzungen

  • Grundlegende Kenntnisse im Machine Learning.
  • Erfahrung im Umgang mit großen Sprachmodellen (LLMs).
  • Bekanntschaft mit Python und PyTorch.

Zielgruppe

  • Datenwissenschaftler
  • KI-Ingenieure
 14 Stunden

Teilnehmerzahl


Preis je Teilnehmer (exkl. USt)

Kommende Kurse

Verwandte Kategorien