OWASP GenAI Security Schulung

Tag 1: Grundlagen und Kernbedrohungen

Modul 1: Einführung in das OWASP GenAI Security Project (1 Stunde)

Lernziele:

• Verstehen der Entwicklung von den OWASP Top 10 zu GenAI-spezifischen Sicherheitsherausforderungen
• Erforschung des Ökosystems und der Ressourcen des OWASP GenAI Security Projekts
• Identifikation der Hauptunterschiede zwischen traditioneller Anwendungssicherheit und KI-Sicherheit

Behandelte Themen:

• Überblick über die Mission und den Umfang des OWASP GenAI Security Projekts
• Einführung in den Threat Defense COMPASS-Rahmen
• Verständnis der KI-Sicherheitslandschaft und regulatorischer Anforderungen
• KI-Angriffsflächen im Vergleich zu traditionellen Webanwendungs-Schwachstellen

Praktische Übung: Einrichtung des OWASP Threat Defense COMPASS-Tools und Durchführung einer ersten Bedrohungsanalyse

Modul 2: OWASP Top 10 für LLMs - Teil 1 (2,5 Stunden)

Lernziele:

• Beherrschung der ersten fünf kritischen LLM-Schwachstellen
• Verstehen von Angriffsvektoren und Exploitationstechniken
• Anwendung praktischer Minderungsstrategien

Behandelte Themen:

LLM01: Prompt Injection

• Techniken der direkten und indirekten Prompt-Injection
• Angriffe mit versteckten Anweisungen und Cross-Prompt-Kontamination
• Praktische Beispiele: Jailbreaking von Chatbots und Umgehung von Sicherheitsmaßnahmen
• Verteidigungsstrategien: Eingaben-Sanitization, Prompt-Filterung, differentielle Privatsphäre

LLM02: Offenlegung sensibler Informationen

• Extraktion von Trainingsdaten und Leckage von System-Prompts
• Verhaltensanalyse von Modellen zur Identifizierung von Offenlegungen sensibler Informationen
• Privatsphärenimplikationen und Erwägungen zur regulatorischen Konformität
• Minderung: Ausgabefilterung, Zugangskontrollen, Datennonymisierung

LLM03: Schwachstellen in der Lieferkette

• Abhängigkeiten von Drittanbieter-Modellen und Plugin-Sicherheit
• Kompromittierte Trainingsdatensätze und Model Poisoning
• Bewertung des Lieferantenrisikos für KI-Komponenten
• Sichere Modellbereitstellung und Validierungspraktiken

Praktische Übung: Laborübung zur Demonstration von Prompt-Injection-Angriffen auf anfällige LLM-Anwendungen und Implementierung von Schutzmaßnahmen

Modul 3: OWASP Top 10 für LLMs - Teil 2 (2 Stunden)

Behandelte Themen:

LLM04: Data und Model Poisoning

• Techniken zur Manipulation von Trainingsdaten
• Änderung des Modellverhaltens durch vergiftete Eingaben
• Backdoor-Angriffe und Validierung der Datenintegrität
• Prävention: Datenvalidierungspipelines, Provenienzverfolgung

LLM05: Unangemessene Verarbeitung von Ausgaben

• Unsichere Verarbeitung von KI-generierten Inhalten
• Code-Injection über KI-generierte Ausgaben
• Cross-Site-Scripting (XSS) über KI-Antworten
• Rahmenwerke für Validierung und Sanitization von Ausgaben

Praktische Übung: Simulation von Data-Poisoning-Angriffen und Implementierung robuster Mechanismen zur Validierung von Ausgaben

Modul 4: Fortgeschrittene LLM-Bedrohungen (1,5 Stunden)

Behandelte Themen:

LLM06: Übermäßige Agency (Handlungsfähigkeit)

• Risiken autonomen Entscheidungsfindens und Verletzung von Grenzen
• Agenten-Autorität und Berechtigungsverwaltung
• Unbeabsichtigte Systeminteraktionen und Rechteerweiterung (Privilege Escalation)
• Implementierung von Guardrails und menschlichen Überwachungskontrollen

LLM07: Leckage von System-Prompts

• Schwachstellen durch die Offenlegung von Systemanweisungen
• Offenlegung von Zugangsdaten und Logik über Prompts
• Angriffstechniken zur Extraktion von System-Prompts
• Schutz von Systemanweisungen und externer Konfiguration

Praktische Übung: Konzipierung sicherer Agentenarchitekturen mit geeigneten Zugangskontrollen und Überwachung

Tag 2: Fortgeschrittene Bedrohungen und Implementierung

Modul 5: Emergeende KI-Bedrohungen (2 Stunden)

Lernziele:

• Verstehen von hochmodernen KI-Sicherheitsbedrohungen
• Implementierung fortgeschrittener Techniken zur Erkennung und Prävention
• Gestaltung widerstandsfähiger KI-Systeme gegen ausgefeilte Angriffe

Behandelte Themen:

LLM08: Schwächen in Vektoren und Embeddings

• Schwachstellen in RAG-Systemen und Sicherheit von Vektordatenbanken
• Embedding Poisoning und Angriffe zur Manipulation von Ähnlichkeiten
• Adversariale Beispiele in der semantischen Suche
• Sicherung von Vektorspeichern und Implementierung von Anomalieerkennung

LLM09: Fehlinformation und Zuverlässigkeit von Modellen

• Erkennung und Minderung von Halluzinationen
• Verstärkung von Verzerrungen und Fairness-Erwägungen
• Mechanismen zur Faktenprüfung und Quellenverifizierung
• Validierung von Inhalten und Integration menschlicher Überwachung

LLM10: Unbegrenzter Ressourcenverbrauch

• Ausschöpfung von Ressourcen und Denial-of-Service-Angriffe
• Strategien zur Rate Limiting und Ressourcenverwaltung
• Kosteneffizienz und Budgetkontrollen
• Leistungsüberwachung und Alarmierungssysteme

Praktische Übung: Aufbau einer sicheren RAG-Pipeline mit Vektordatenbank-Schutz und Halluzinationserkennung

Modul 6: Sicherheit von Agentischer KI (2 Stunden)

Lernziele:

• Verstehen der einzigartigen Sicherheitsherausforderungen autonomer KI-Agenten
• Anwendung der OWASP Agentic AI Taxonomie auf reale Systeme
• Implementierung von Sicherheitskontrollen in Multi-Agenten-Umgebungen

Behandelte Themen:

• Einführung in Agentische KI und autonome Systeme
• OWASP Agentic AI Threat Taxonomy: Agentendesign, Speicher, Planung, Werkzeugnutzung, Bereitstellung
• Sicherheit von Multi-Agenten-Systemen und Koordinationrisiken
• Fehlgebrauch von Werkzeugen, Speicher-Vergiftung und Goal Hijacking-Angriffe
• Schutz der Agenten-Kommunikation und Entscheidungsprozesse

Praktische Übung: Threat Modeling-Übung unter Verwendung der OWASP Agentic AI Taxonomie an einem Multi-Agenten-Kundenservice-System

Modul 7: Implementierung von OWASP Threat Defense COMPASS (2 Stunden)

Lernziele:

• Beherrschung der praktischen Anwendung von Threat Defense COMPASS
• Integration der KI-Bedrohungsanalyse in organisationale Sicherheitsprogramme
• Entwicklung umfassender KI-Risikomanagementstrategien

Behandelte Themen:

• Tiefeinsicht in die Threat Defense COMPASS-Methodologie
• Integration der OODA-Schleife: Beobachten, Orientieren, Entscheiden, Handeln
• Mapping von Bedrohungen auf MITRE ATT&CK- und ATLAS-Rahmenwerke
• Aufbau von Dashboards für KI-Bedrohungsresilienzstrategien
• Integration mit bestehenden Sicherheitstools und Prozessen

Praktische Übung: Vollständige Bedrohungsanalyse unter Verwendung von COMPASS für ein Deployment-Szenario von Microsoft Copilot

Modul 8: Praktische Implementierung und Best Practices (2,5 Stunden)

Lernziele:

• Design sicherer KI-Architekturen von Grund auf
• Implementierung von Überwachung und Inzidenzreaktion für KI-Systeme
• Erstellung von Governance-Rahmen für KI-Sicherheit

Behandelte Themen:

Sicherer KI-Entwicklungslebenszyklus:

• Security-by-Design-Prinzipien für KI-Anwendungen
• Praktiken der Code-Review für LLM-Integrationen
• Testmethodologien und Schwachstellen-Scanning
• Bereitstellungssicherheit und Härtung im Produktivbetrieb

Überwachung und Erkennung:

• KI-spezifische Anforderungen an Logging und Überwachung
• Anomalieerkennung für KI-Systeme
• Inzidenzreaktionsverfahren für KI-Sicherheitsvorfälle
• Forensik und Untersuchungstechniken

Governance und Compliance:

• KI-Risikomanagement-Rahmenwerke und -Richtlinien
• Erwägungen zur regulatorischen Konformität (DSGVO, AI Act, etc.)
• Bewertung des Drittanbieter-Risikos für KI-Anbieter
• Sicherheitsawareness-Training für KI-Entwicklungsteams

Praktische Übung: Design einer vollständigen Sicherheitsarchitektur für einen Enterprise-KI-Chatbot, einschließlich Überwachung, Governance und Inzidenzreaktionsverfahren

Modul 9: Tools und Technologien (1 Stunde)

Lernziele:

• Evaluierung und Implementierung von KI-Sicherheitstools
• Verstehen der aktuellen Landschaft der KI-Sicherheitslösungen
• Aufbau praktischer Erkennungs- und Präventionsfähigkeiten

Behandelte Themen:

• Ökosystem und Anbieterlandschaft von KI-Sicherheitstools
• Open-Source-Sicherheitstools: Garak, PyRIT, Giskard
• Kommerzielle Lösungen für KI-Sicherheit und Überwachung
• Integrationsmuster und Deployment-Strategien
• Kriterien für die Toolauswahl und Evaluierungsrahmenwerke

Praktische Übung: Praktische Demonstration von KI-Sicherheits-Testwerkzeugen und Planung der Implementierung

Modul 10: Zukünftige Trends und Zusammenfassung (1 Stunde)

Lernziele:

• Verstehen von emergeenden Bedrohungen und zukünftigen Sicherheitsherausforderungen
• Entwicklung von Strategien für kontinuierliches Lernen und Verbesserung
• Erstellung von Aktionsplänen für organisationale KI-Sicherheitsprogramme

Behandelte Themen:

• Emergeende Bedrohungen: Deepfakes, fortgeschrittene Prompt-Injection, Model Inversion
• Zukünftige Entwicklungen und Roadmap des OWASP GenAI Projekts
• Aufbau von KI-Sicherheitscommunities und Wissensaustausch
• Kontinuierliche Verbesserung und Integration von Bedrohungsintelligenz

Aktionsplan-Übung: Entwicklung eines 90-Tage-Aktionsplans zur Implementierung von OWASP GenAI-Sicherheitspraktiken in den Organisationen der Teilnehmer