Einführung in Large Language Models (LLMs) Schulung

Einführung

• Was sind Large Language Models (LLMs)?
• LLMs im Vergleich zu traditionellen NLP-Modellen
• Übersicht über Funktionen und Architektur von LLMs
• Herausforderungen und Grenzen von LLMs

Verständnis von LLMs

• Der Lebenszyklus eines LLM
• Funktionsweise von LLMs
• Hauptkomponenten eines LLM: Encoder, Decoder, Aufmerksamkeit (Attention), Embeddings usw.

Erste Schritte

• Einrichtung der Entwicklungsumgebung
• Installation eines LLM als Entwicklungstool, z.B. Google Colab, Hugging Face

Arbeit mit LLMs

• Erkundung verfügbarer LLM-Optionen
• Erstellung und Nutzung eines LLM
• Fine-Tuning eines LLM auf einem benutzerdefinierten Datensatz

Textzusammenfassung

• Verständnis der Aufgabe der Textzusammenfassung und ihrer Anwendungen
• Nutzung eines LLM für extraktive und abstrakte Textzusammenfassung
• Bewertung der Qualität der generierten Zusammenfassungen mittels Metriken wie ROUGE, BLEU usw.

Fragebeantwortung

• Verständnis der Aufgabe der Fragebeantwortung und ihrer Anwendungen
• Nutzung eines LLM für offene und geschlossene Domänen der Fragebeantwortung
• Bewertung der Genauigkeit der generierten Antworten mittels Metriken wie F1, EM usw.

Textgenerierung

• Verständnis der Aufgabe der Textgenerierung und ihrer Anwendungen
• Nutzung eines LLM für konditionale und unkonditionale Textgenerierung
• Kontrolle von Stil, Tonfall und Inhalt der generierten Texte mittels Parametern wie Temperatur (temperature), top-k, top-p usw.

Integration von LLMs mit anderen Frameworks und Plattformen

• Nutzung von LLMs mit PyTorch oder TensorFlow
• Nutzung von LLMs mit Flask oder Streamlit
• Nutzung von LLMs mit Google Cloud oder AWS

Fehlerbehebung

• Verständnis häufiger Fehler und Bugs in LLMs
• Nutzung von TensorBoard zur Überwachung und Visualisierung des Trainingsprozesses
• Nutzung von PyTorch Lightning zur Vereinfachung des Trainingscodes und Verbesserung der Leistung
• Nutzung von Hugging Face Datasets zum Laden und Vorbereiten der Daten

Zusammenfassung und nächste Schritte