Sichere und verantwortungsvolle LLM-Anwendungen entwickeln Schulung

Übersicht über LLM-Architektur und Angriffsfläche

• Wie LLMs entwickelt, bereitgestellt und über APIs angesprochen werden
• Komponenten in LLM-Anwendungsstapeln (z. B. Prompts, Agenten, Speicher, APIs)
• Wo und wie Sicherheitsprobleme im realen Einsatz entstehen

Prompt-Injection- und Jailbreak-Angriffe

• Was ist Prompt-Injection und warum ist es gefährlich?
• Direkte und indirekte Prompt-Injection-Szenarien
• Jailbreak-Techniken zur Umgehung von Sicherheitsfiltern
• Erkennungs- und Minderungsstrategien

Datenlecks und Datenschutzrisiken

• Zufällige Datenoffenlegung durch Antworten
• Persönlichkeitsdaten-Explosion (PII leaks) und Fehlgebrauch des Modellgedächtnisses
• Entwurf datenschutzfreundlicher Prompts und retrieval-augmented generation (RAG)

LLM-Ausgabe filtering und Absicherung

• Einsatz von Guardrails AI für Inhaltsfilterung und Validierung
• Definition von Ausgabeschemata und Einschränkungen
• Überwachung und Protokollierung unsicherer Ausgaben

Mensch-in-the-Loop- und Workflow-Ansätze

• Wann und wo menschliche Aufsicht eingeführt werden soll
• Genehmigungswarteschlangen, Bewertungsschwellenwerte, Fallback-Verarbeitung
• Calibration des Vertrauens in KI-Modelle sowie Rolle der Erklärbarkeit

Sichere Entwurfsmuster für LLM-Anwendungen

• Geringstmögliche Berechtigungen und Sandboxing-API-Aufrufe und Agenten
• Ratenbegrenzung (Rate Limiting), Drosselung sowie Missbrauchserkennung
• Robuste Kettenbildung mit LangChain und Prompt-Isolierung

Einhaltung von Regularien, Protokollierung und Governance

• Sicherstellung der Auditierbarkeit von LLM-Ausgaben
• Aufrechterhaltung der Nachvollziehbarkeit sowie Versionskontrolle für Prompts
• Ausrichtung an internen Sicherheitsrichtlinien und regulatorischen Anforderungen

Zusammenfassung und nächste Schritte