Vielen Dank für die Zusendung Ihrer Anfrage! Eines unserer Teammitglieder wird Sie in Kürze kontaktieren.
Vielen Dank, dass Sie Ihre Buchung abgeschickt haben! Eines unserer Teammitglieder wird Sie in Kürze kontaktieren.
Schulungsübersicht
Einführung in den parameter-effizienten Feinabgleich (PEFT)
- Motivation und Grenzen des vollständigen Feinabgleichs
- Überblick über PEFT: Ziele und Vorteile
- Anwendungen und Use Cases in der Industrie
LoRA (Low-Rank Adaptation)
- Grundkonzept und Intuition hinter LoRA
- Implementierung von LoRA mit Hugging Face und PyTorch
- Praxis: Feinabgleich eines Modells mit LoRA
Adapter Tuning
- Funktionsweise von Adapter-Modulen
- Integration in auf Transformatoren basierende Modelle
- Praxis: Anwendung von Adapter Tuning auf ein Transformer-Modell
Prefix Tuning
- Einsatz von Soft Prompts für den Feinabgleich
- Vorteile und Grenzen im Vergleich zu LoRA und Adaptern
- Praxis: Prefix Tuning in einer LLM-Aufgabe
Bewertung und Vergleich von PEFT-Methoden
- Metriken zur Bewertung von Leistung und Effizienz
- Abwägungen bei Trainingsschnelligkeit, Speicherverbrauch und Genauigkeit
- Benchmarking von Experimenten und Interpretation der Ergebnisse
Deployment feinabgestimmter Modelle
- Speichern und Laden feinabgestimmter Modelle
- Überlegungen zum Deployment von PEFT-basierten Modellen
- Integration in Anwendungen und Pipelines
Best Practices und Erweiterungen
- Kombination von PEFT mit Quantisierung und Destillation
- Einsatz in ressourcenarmen und mehrsprachigen Umgebungen
- Zukünftige Entwicklungen und aktive Forschungsgebiete
Voraussetzungen
- Grundkenntnisse in den Grundlagen des Maschinellen Lernens
- Erfahrung in der Arbeit mit großen Sprachmodellen (LLMs)
- Sicherer Umgang mit Python und PyTorch
Zielgruppe
- Data Scientists
- KI-Engineer
14 Stunden
