Feinabstimmung von Modellen und Large Language Models (LLMs) Schulung

Einführung in das Fein-Tuning

• Was ist Fein-Tuning?
• Anwendungsfälle und Vorteile des Fein-Tunings
• Übersicht über vortrainierte Modelle und Transfer Learning

Vorbereitung auf das Fein-Tuning

• Sammeln und Bereinigen von Datensätzen
• Verständnis der aufgabenspezifischen Datenanforderungen
• Erschließende Datenanalyse und Vorverarbeitung

Fein-Tuning-Techniken

• Transfer Learning und Merkmalsextraktion
• Feinabstimmung von Transformer-Modellen mit Hugging Face
• Fein-Tuning für überwachtes versus unüberwachtes Lernen

Fein-Tuning von Large Language Models (LLMs)

• Anpassung von LLMs an NLP-Aufgaben (z. B. Textklassifizierung, Zusammenfassung)
• Ausbildung von LLMs mit benutzerdefinierten Datensätzen
• Kontrolle des LLM-Verhaltens durch Prompt Engineering

Optimierung und Evaluation

• Hyperparameter-Tuning
• Bewertung der Modellleistung
• Umgang mit Überanpassung (Overfitting) und Unteranpassung (Underfitting)

Skalierung des Fein-Tuning-Aufwands

• Fein-Tuning auf verteilten Systemen
• Nutzung cloudbasierter Lösungen für Skalierbarkeit
• Fallstudien: Großprojekte zum Fein-Tuning

Best Practices und Herausforderungen

• Best Practices für erfolgreiches Fein-Tuning
• Häufige Herausforderungen und Fehlersuche
• Ethische Aspekte beim Fein-Tuning von KI-Modellen

Fortgeschrittene Themen (Optional)

• Fein-Tuning multimodaler Modelle
• Zero-Shot und Few-Shot Learning
• Erkundung von LoRA-Techniken (Low-Rank Adaptation)

Zusammenfassung und nächste Schritte