Große Sprachmodelle (LLMs) und Bestärkendes Lernen (RL) Schulung

Einführung in Große Sprachmodelle (LLMs)

• Übersicht über LLMs
• Definition und Bedeutung
• Anwendungen in der KI heute

Transformer-Architektur

• Was ist ein Transformer und wie funktioniert er?
• Hauptkomponenten und Merkmale
• Embedding und Positions-Kodierung
• Multi-Head-Aufmerksamkeit
• Feed-Forward-Neuronalen Netzwerk
• Normalisierung und Residualverbindungen

Transformer-Modelle

• Selbst-Aufmerksamkeitsmechanismus
• Encoder-Decoder-Architektur
• Positions-Embeddings
• BERT (Bidirectional Encoder Representations from Transformers)
• GPT (Generative Pretrained Transformer)

Leistungsoptimierung und Fallstricke

• Kontextlänge
• Mamba und State-Space-Modelle
• Flash Attention
• Sparse Transformers
• Vision Transformers
• Bedeutung der Quantisierung

Verbesserung von Transformer-Modellen

• Retrieval-Augmented Text Generation
• Mixture of Models
• Tree of Thoughts

Fine-Tuning

• Theorie der Low-Rank Adaptation
• Fine-Tuning mit QLora

Scaling-Gesetze und Optimierung in LLMs

• Bedeutung von Scaling-Gesetzen für LLMs
• Skalierung von Daten- und Modellgröße
• Rechenintensive Skalierung
• Parameter-Effizienz-Steigerung

Optimierung

• Zusammenhang zwischen Modellgröße, Datengröße, Rechenbudget und Inferenanforderungen
• Optimierung der Leistung und Effizienz von LLMs
• Bewährte Praktiken und Tools für das Training und Fine-Tuning von LLMs

Training und Fine-Tuning von LLMs

• Schritte und Herausforderungen beim Training von LLMs von Grund auf
• Datenerwerb und -pflege
• Anforderungen an große Datenmengen, CPU und Speicher
• Herausforderungen bei der Optimierung
• Landschaft offener-source LLMs

Grundlagen des Verstärkenden Lernens (RL)

• Einführung in das Verstärkende Lernen
• Lernen durch positive Verstärkung
• Definition und Kernkonzepte
• Markov-Entscheidungsprozess (MDP)
• Dynamische Programmierung
• Monte-Carlo-Methoden
• Temporal-Difference-Lernen

Deep Reinforcement Learning

• Deep Q-Networks (DQN)
• Proximal Policy Optimization (PPO)
• Elemente des Verstärkenden Lernens

Integration von LLMs und Verstärkendem Lernen

• Kombination von LLMs mit Verstärkendem Lernen
• Einsatz von RL in LLMs
• Reinforcement Learning with Human Feedback (RLHF)
• Alternativen zu RLHF

Fallstudien und Anwendungen

• Anwendungen in der Praxis
• Erfolgsgeschichten und Herausforderungen

Fortgeschrittene Themen

• Fortgeschrittene Techniken
• Fortgeschrittene Optimierungsmethoden
• Aktuelle Forschung und Entwicklungen

Zusammenfassung und nächste Schritte