OWASP GenAI-Sicherheit Schulung

Tag 1: Grundlagen und Kernbedrohungen

Modul 1: Einführung in das OWASP GenAI-Sicherheitsprojekt (1 Stunde)

Lernziele:

• Das Verständnis für die Evolution vom OWASP Top 10 zu genai-spezifischen Sicherheitsherausforderungen entwickeln.
• Das Ökosystem und die Ressourcen des OWASP GenAI-Sicherheitsprojekts erkunden.
• Die wichtigsten Unterschiede zwischen traditioneller Anwendungssicherheit und KI-Sicherheit identifizieren.

Behandelte Themen:

• Übersicht über die Mission und den Umfang des OWASP GenAI-Sicherheitsprojekts
• Einführung in das Threat-Defense-COMASS-Rahmenwerk
• Verständnis der KI-Sicherheitslandschaft und regulatorischer Anforderungen
• KI-Angriffsflächen im Vergleich zu traditionellen Webanwendungsschwachstellen

Praktische Übung: Einrichten des OWASP Threat Defense COMPASS-Tools und Durchführen einer ersten Bedrohungsanalyse

Modul 2: OWASP Top 10 für LLMs – Teil 1 (2,5 Stunden)

Lernziele:

• Die ersten fünf kritischen LLM-Schwachstellen beherrschen.
• Angriffsvektoren und Ausnutzungstechniken verstehen.
• Praktische Minimierungsstrategien anwenden.

Behandelte Themen:

LLM01: Prompt-Injection

• Direkte und indirekte Prompt-Injection-Techniken.
• Angriffe mit versteckten Anweisungen und Cross-Prompt-Kontamination.
• Praktische Beispiele: Jailbreaking von Chatbots und Umgehung von Sicherheitsmaßnahmen.
• Abwehrstrategien: Eingangsdatenbereinigung, Prompt-Filterung, differentielle Privatsphäre.

LLM02: Offenlegung sensibler Informationen

• Extrahieren von Trainingsdaten und Leckagen von System-Prompts.
• Analyse des Modellverhaltens hinsichtlich der Offenlegung sensibler Informationen.
• Auswirkungen auf die Privatsphäre und Berücksichtigung regulatorischer Compliance-Anforderungen.
• Minimierung: Output-Filterung, Zugriffskontrollen, Datenanonymisierung.

LLM03: Schwachstellen in der Lieferkette

• Abhängigkeiten von Drittanbietermodellen und Plugin-Sicherheit.
• Kompromittierte Trainingsdatensätze und Model-Poisoning.
• Risikobewertung von Anbietern für KI-Komponenten.
• Sichere Modellausbringung und Verifizierungspraktiken.

Praktische Übung: Hands-on-Labor zur Demonstration von Prompt-Injection-Angriffen gegen vulnerable LLM-Anwendungen und Implementierung defensiver Maßnahmen

Modul 3: OWASP Top 10 für LLMs – Teil 2 (2 Stunden)

Behandelte Themen:

LLM04: Data- und Model-Poisoning

• Techniken zur Manipulation von Trainingsdaten.
• Beeinflussung des Modellverhaltens durch vergiftete Eingaben.
• Backdoor-Angriffe und Sicherstellung der Datenintegrität.
• Vorbeugung: Datenvalidierungspipelines, Provenanz-Tracking.

LLM05: Unsachgemäße Verarbeitung von Ausgaben

• Sichere Verarbeitung von LLM-generierten Inhalten.
• Code-Injection durch KI-generierte Ausgaben.
• Cross-Site-Scripting (XSS) über KI-Antworten.
• Rahmenwerke zur Validierung und Bereinigung von Ausgaben.

Praktische Übung: Simulation von Data-Poisoning-Angriffen und Implementierung robuster Mechanismen zur Output-Validierung

Modul 4: Fortgeschrittene LLM-Bedrohungen (1,5 Stunden)

Behandelte Themen:

LLM06: Exzessive Handlungsfähigkeit (Excessive Agency)

• Risiken autonomer Entscheidungsfindung und Grenzverletzungen.
• Agentenbefugnis und Berechtigungsverwaltung.
• Unbeabsichtigte Systeminteraktionen und Privilegieneskalation.
• Implementierung von Schutzschranken (Guardrails) und Kontrollen für menschliche Aufsicht.

LLM07: Leckage von System-Prompts

• Schwachstellen bei der Offenlegung von Systemanweisungen.
• Herausgabe von Zugangsdaten und Logik über Prompts.
• Angriffstechniken zum Extrahieren von System-Prompts.
• Sicherung von Systemanweisungen und externen Konfigurationen.

Praktische Übung: Entwurf sicherer Agentenarchitekturen mit angemessenen Zugriffskontrollen und Überwachungsmöglichkeiten

Tag 2: Fortgeschrittene Bedrohungen und Implementierung

Modul 5: Aufkommende KI-Bedrohungen (2 Stunden)

Lernziele:

• Fortschrittliche KI-Sicherheitsbedrohungen verstehen.
• Fortgeschrittene Erkennungs- und Präventionstechniken implementieren.
• Resiliente KI-Systeme gegen ausgefeilte Angriffe entwerfen.

Behandelte Themen:

LLM08: Schwächen bei Vektoren und Embeddings

• Schwachstellen von RAG-Systemen (Retrieval-Augmented Generation) und Sicherheit von Vektordatenbanken.
• Embedding-Poisoning und Angriffe zur Manipulation der Ähnlichkeit.
• Adversariale Beispiele in der semantischen Suche.
• Sicherung von Vektorspeichern und Implementierung von Anomalieerkennung.

LLM09: Fehlinformationen und Modellzuverlässigkeit

• Erkennung und Minimierung von Halluzinationen.
• Verstärkung von Bias und Aspekte der Fairness.
• Mechanismen zur Faktenprüfung und Quellenverifizierung.
• Inhaltsvalidierung und Integration menschlicher Aufsicht.

LLM10: Unbegrenzter Konsum

• Ressourcenerschöpfung und Denial-of-Service-Angriffe (DoS).
• Ratenbegrenzung und Ressourcenmanagementstrategien.
• Kostenoptimierung und Budgetkontrollen.
• Leistungsüberwachung und Alarmierungssysteme.

Praktische Übung: Aufbau einer sicheren RAG-Pipeline mit Schutz der Vektordatenbank und Erkennung von Halluzinationen

Modul 6: Sicherheit von Agentic AI (2 Stunden)

Lernziele:

• Die einzigartigen Sicherheitsherausforderungen autonomer KI-Agenten verstehen.
• Die OWASP-Agentic-AI-Taxonomie auf reale Systeme anwenden.
• Sicherheitskontrollen für Multi-Agenten-Umgebungen implementieren.

Behandelte Themen:

• Einführung in Agentic AI und autonome Systeme.
• OWASP-Agentic-AI-Bedrohungstaxonomie: Agent Design, Memory, Planning, Tool Use, Deployment.
• Sicherheit und Koordinationsrisiken von Multi-Agenten-Systemen.
• Angriffe durch Werkzeugmissbrauch, Memory-Poisoning und Zielentführung (Goal Hijacking).
• Sicherung der Kommunikation und Entscheidungsfindung von Agenten.

Praktische Übung: Threat-Modeling-Übung unter Verwendung der OWASP-Agentic-AI-Taxonomie an einem Multi-Agenten-Kundendienstsystem

Modul 7: Implementierung von OWASP Threat Defense COMPASS (2 Stunden)

Lernziele:

• Die praktische Anwendung von Threat Defense COMPASS beherrschen.
• KI-Bedrohungsanalysen in organisationale Sicherheitsprogramme integrieren.
• Umfassende KI-Risikomanagementstrategien entwickeln.

Behandelte Themen:

• Tieferer Einblick in die Threat-Defense-COMASS-Methodik.
• Integration des OODA-Loops: Observe, Orient, Decide, Act.
• Zuordnung von Bedrohungen zu den Frameworks MITRE ATT&CK und ATLAS.
• Erstellung von Dashboards für KI-Bedrohungswiderstandsfähigkeit.
• Integration in bestehende Sicherheitstools und -prozesse.

Praktische Übung: Vollständige Bedrohungsanalyse mit COMPASS für ein Microsoft-Copilot-Bereitstellungsszenario

Modul 8: Praktische Implementierung und Best Practices (2,5 Stunden)

Lernziele:

• Sichere KI-Architekturen von Grund auf entwerfen.
• Überwachung und Incident Response für KI-Systeme implementieren.
• Governance-Rahmenwerke für KI-Sicherheit erstellen.

Behandelte Themen:

Sicherer Entwicklungslebenszyklus für KI:

• Safety-by-Design-Prinzipien für KI-Anwendungen.
• Code-Review-Praktiken für LLM-Integrationen.
• Testmethodologien und Schwachstellen-Scanning.
• Bereitstellungssicherheit und Hardening in der Produktion.

Überwachung und Erkennung:

• KI-spezifische Anforderungen an Logging und Überwachung.
• Anomalieerkennung für KI-Systeme.
• Incident-Response-Verfahren für KI-Sicherheitsvorfälle.
• Forensik und Untersuchungstechniken.

Governance und Compliance:

• Rahmenwerke und Richtlinien für das KI-Risikomanagement.
• Regulatorische Compliance-Aspekte (DSGVO, AI Act, etc.).
• Risikobewertung von Drittanbietern für KI-Anbieter.
• Sicherheitsschulungen für KI-Entwicklungsteams.

Praktische Übung: Entwurf einer kompletten Sicherheitsarchitektur für einen Enterprise-KI-Chatbot inkl. Überwachung, Governance und Incident-Response-Verfahren

Modul 9: Tools und Technologien (1 Stunde)

Lernziele:

• KI-Sicherheitstools bewerten und implementieren.
• Die aktuelle Landschaft der KI-Sicherheitslösungen verstehen.
• Praktische Fähigkeiten zur Erkennung und Prävention aufbauen.

Behandelte Themen:

• Tool-Ökosystem für KI-Sicherheit und Anbieterlandschaft.
• Open-Source-Sicherheitstools: Garak, PyRIT, Giskard.
• Kommerzielle Lösungen für KI-Sicherheit und -Überwachung.
• Integrationsmuster und Bereitstellungsstrategien.
• Kriterien zur Toolauswahl und Bewertungsrahmenwerke.

Praktische Übung: Hands-on-Demonstration von KI-Sicherheitstesttools und Planung der Implementierung

Modul 10: Zukünftige Trends und Abschluss (1 Stunde)

Lernziele:

• Aufkommende Bedrohungen und zukünftige Sicherheitsherausforderungen verstehen.
• Strategien für kontinuierliches Lernen und Verbesserung entwickeln.
• Aktionspläne für organisationale KI-Sicherheitsprogramme erstellen.

Behandelte Themen:

• Aufkommende Bedrohungen: Deepfakes, fortgeschrittene Prompt-Injection, Model Inversion.
• Zukünftige Entwicklungen und Roadmap des OWASP-GenAI-Projekts.
• Aufbau von KI-Sicherheitscommunities und Wissensaustausch.
• Kontinuierliche Verbesserung und Integration von Threat Intelligence.

Übung zur Aktionsplanung: Entwicklung eines 90-Tage-Aktionsplans zur Implementierung der OWASP-GenAI-Sicherheitspraktiken in den Organisationen der Teilnehmenden