Kontakt aufnehmen

Schulungsübersicht

Einführung in Große Sprachmodelle (LLMs)

  • Übersicht über LLMs
  • Definition und Bedeutung
  • Anwendungen in der KI heute

Transformer-Architektur

  • Was ist ein Transformer und wie funktioniert er?
  • Hauptkomponenten und Merkmale
  • Embedding und Positions-Kodierung
  • Multi-Head-Aufmerksamkeit
  • Feed-Forward-Neuronalen Netzwerk
  • Normalisierung und Residualverbindungen

Transformer-Modelle

  • Selbst-Aufmerksamkeitsmechanismus
  • Encoder-Decoder-Architektur
  • Positions-Embeddings
  • BERT (Bidirectional Encoder Representations from Transformers)
  • GPT (Generative Pretrained Transformer)

Leistungsoptimierung und Fallstricke

  • Kontextlänge
  • Mamba und State-Space-Modelle
  • Flash Attention
  • Sparse Transformers
  • Vision Transformers
  • Bedeutung der Quantisierung

Verbesserung von Transformer-Modellen

  • Retrieval-Augmented Text Generation
  • Mixture of Models
  • Tree of Thoughts

Fine-Tuning

  • Theorie der Low-Rank Adaptation
  • Fine-Tuning mit QLora

Scaling-Gesetze und Optimierung in LLMs

  • Bedeutung von Scaling-Gesetzen für LLMs
  • Skalierung von Daten- und Modellgröße
  • Rechenintensive Skalierung
  • Parameter-Effizienz-Steigerung

Optimierung

  • Zusammenhang zwischen Modellgröße, Datengröße, Rechenbudget und Inferenanforderungen
  • Optimierung der Leistung und Effizienz von LLMs
  • Bewährte Praktiken und Tools für das Training und Fine-Tuning von LLMs

Training und Fine-Tuning von LLMs

  • Schritte und Herausforderungen beim Training von LLMs von Grund auf
  • Datenerwerb und -pflege
  • Anforderungen an große Datenmengen, CPU und Speicher
  • Herausforderungen bei der Optimierung
  • Landschaft offener-source LLMs

Grundlagen des Verstärkenden Lernens (RL)

  • Einführung in das Verstärkende Lernen
  • Lernen durch positive Verstärkung
  • Definition und Kernkonzepte
  • Markov-Entscheidungsprozess (MDP)
  • Dynamische Programmierung
  • Monte-Carlo-Methoden
  • Temporal-Difference-Lernen

Deep Reinforcement Learning

  • Deep Q-Networks (DQN)
  • Proximal Policy Optimization (PPO)
  • Elemente des Verstärkenden Lernens

Integration von LLMs und Verstärkendem Lernen

  • Kombination von LLMs mit Verstärkendem Lernen
  • Einsatz von RL in LLMs
  • Reinforcement Learning with Human Feedback (RLHF)
  • Alternativen zu RLHF

Fallstudien und Anwendungen

  • Anwendungen in der Praxis
  • Erfolgsgeschichten und Herausforderungen

Fortgeschrittene Themen

  • Fortgeschrittene Techniken
  • Fortgeschrittene Optimierungsmethoden
  • Aktuelle Forschung und Entwicklungen

Zusammenfassung und nächste Schritte

Voraussetzungen

  • Grundlegendes Verständnis von Machine Learning

Zielgruppe

  • Data Scientists
  • Softwareentwickler
 21 Stunden

Teilnehmerzahl


Preis je Teilnehmer (exkl. USt)

Kommende Kurse

Verwandte Kategorien