Schulungsübersicht
Tag 1: Grundlagen und Kernbedrohungen
Modul 1: Einführung in das OWASP GenAI Security Project (1 Stunde)
Lernziele:
- Die Entwicklung von der OWASP Top 10 zu genai-spezifischen Sicherheits-Herausforderungen verstehen.
- Das Ökosystem und die Ressourcen des OWASP GenAI Security Project erkunden.
- Die wesentlichen Unterschiede zwischen traditioneller Anwendungssicherheit und KI-Sicherheit identifizieren.
Behandelte Themen:
- Übersicht über die Mission und den Umfang des OWASP GenAI Security Project.
- Einführung in das Threat-Defense-COMPASS-Framework.
- Verständnis der KI-Sicherheitslandschaft und regulatorischer Anforderungen.
- Angriffsflächen von KI im Vergleich zu traditionellen Webanwendungs-Schwachstellen.
Praktische Übung: Einrichten des OWASP Threat Defense COMPASS Tools und Durchführen einer ersten Bedrohungsanalyse.
Modul 2: OWASP Top 10 für LLMs - Teil 1 (2,5 Stunden)
Lernziele:
- Die ersten fünf kritischen LLM-Schwachstellen beherrschen.
- Angriffsvektoren und Exploitation-Techniken verstehen.
- Praktische Minderungsstrategien anwenden.
Behandelte Themen:
LLM01: Prompt Injection
- Direkte und indirekte Prompt-Injection-Techniken.
- Angriffe mit versteckten Anweisungen und Cross-Prompt-Kontamination.
- Praktische Beispiele: Jailbreaking von Chatbots und Umgehung von Sicherheitsmaßnahmen.
- Abwehrstrategien: Eingabebereinigung, Prompt-Filterung, differentielle Privatsphäre.
LLM02: Offenlegung sensibler Informationen
- Extraktion von Trainingsdaten und Leckage von System-Prompts.
- Analyse des Modellverhaltens zur Offenlegung sensibler Informationen.
- Datenschutzimplikationen und Aspekte der regulatorischen Compliance.
- Minderung: Ausgabe-Filterung, Zugriffskontrollen, Datenanonymisierung.
LLM03: Schwachstellen in der Lieferkette
- Abhängigkeiten von Drittanbieter-Modellen und Plug-in-Sicherheit.
- Kompromittierte Trainingsdatensätze und Model-Poisoning.
- Risikobewertung von Anbietern für KI-Komponenten.
- Sichere Bereitstellungs- und Verifizierungspraktiken für Modelle.
Praktische Übung: Hands-on-Lab, das Prompt-Injection-Angriffe gegen verwundbare LLM-Anwendungen demonstriert und Abwehrmaßnahmen implementiert.
Modul 3: OWASP Top 10 für LLMs - Teil 2 (2 Stunden)
Behandelte Themen:
LLM04: Daten- und Model-Poisoning
- Techniken zur Manipulation von Trainingsdaten.
- Beeinflussung des Modellverhaltens durch vergiftete Eingaben.
- Backdoor-Angriffe und Überprüfung der Datenintegrität.
- Prävention: Datenvalidierungspipelines, Herkunftsverfolgung (Provenance Tracking).
LLM05: Unsachgemäße Verarbeitung von Ausgaben
- Unsichere Verarbeitung von KI-generierten Inhalten.
- Code-Injection durch KI-generierte Ausgabedaten.
- Cross-Site-Scripting über KI-Antworten.
- Rahmenwerke zur Validierung und Bereinigung von Ausgaben.
Praktische Übung: Simulation von Data-Poisoning-Angriffen und Implementierung robuster Mechanismen zur Ausgabevalidierung.
Modul 4: Erweiterte LLM-Bedrohungen (1,5 Stunden)
Behandelte Themen:
LLM06: Exzessive Autonomie (Excessive Agency)
- Risiken autonomer Entscheidungsfindung und Grenzüberschreitungen.
- Verwaltung von Agentenbefugnissen und Berechtigungen.
- Unbeabsichtigte Systeminteraktionen und Privilegienescalation.
- Implementierung von Schutzmauern (Guardrails) und Kontrollen für menschliche Aufsicht.
LLM07: Leckage von System-Prompts
- Schwachstellen bei der Offenlegung von Systemanweisungen.
- Offenlegung von Anmeldeinformationen und Logik über Prompts.
- Angriffstechniken zur Extrahierung von System-Prompts.
- Absicherung von Systemanweisungen und externen Konfigurationen.
Praktische Übung: Entwurf sicherer Agentenarchitekturen mit entsprechenden Zugriffskontrollen und Überwachung.
Tag 2: Erweiterte Bedrohungen und Implementierung
Modul 5: Aufkommende KI-Bedrohungen (2 Stunden)
Lernziele:
- Neueste Bedrohungen für die KI-Sicherheit verstehen.
- Fortgeschrittene Techniken zur Erkennung und Prävention implementieren.
- Robuste KI-Systeme gegen ausgeklügelte Angriffe entwerfen.
Behandelte Themen:
LLM08: Schwachstellen bei Vektoren und Embeddings
- Schwachstellen in RAG-Systemen (Retrieval-Augmented Generation) und Sicherheit von Vektor-Datenbanken.
- Poisoning von Embeddings und Angriffe zur Manipulation der Ähnlichkeit.
- Adversarial Examples in der semantischen Suche.
- Absicherung von Vektorspeichern und Implementierung von Anomalie-Erkennung.
LLM09: Fehlinformationen und Modellzuverlässigkeit
- Erkennung und Minderung von Halluzinationen.
- Verstärkung von Bias und Aspekte der Fairness.
- Mechanismen zur Faktenprüfung und Quellenverifikation.
- Validierung von Inhalten und Integration menschlicher Aufsicht.
LLM10: Unbegrenzter Ressourcenverbrauch
- Ressourcenerschöpfung und Denial-of-Service-Angriffe.
- Strategien zur Begrenzung der Zugriffsraten (Rate Limiting) und Ressourcenverwaltung.
- Kostenoptimierung und Budgetkontrollen.
- Überwachungssysteme für Leistung und Alarmierung.
Praktische Übung: Aufbau einer sicheren RAG-Pipeline mit Schutz der Vektordatenbank und Erkennung von Halluzinationen.
Modul 6: Sicherheit von Agentic AI (2 Stunden)
Lernziele:
- Die einzigartigen Sicherheitsherausforderungen autonomer KI-Agenten verstehen.
- Die OWASP Taxonomie für Agentic AI auf reale Systeme anwenden.
- Sicherheitskontrollen für Multi-Agenten-Umgebungen implementieren.
Behandelte Themen:
- Einführung in Agentic AI und autonome Systeme.
- OWASP Taxonomie für Bedrohungen bei Agentic AI: Agenten-Design, Speicher (Memory), Planung, Werkzeugnutzung, Bereitstellung.
- Sicherheitsrisiken und Koordinationsprobleme in Multi-Agenten-Systemen.
- Angriffe durch falsche Werkzeugnutzung, Memory-Poisoning und Ziel-Kapierung (Goal Hijacking).
- Absicherung der Kommunikation und Entscheidungsfindung von Agenten.
Praktische Übung: Threat-Modeling-Übung unter Verwendung der OWASP-Taxonomie für Agentic AI an einem Multi-Agenten-Kundenservice-System.
Modul 7: Implementierung von OWASP Threat Defense COMPASS (2 Stunden)
Lernziele:
- Die praktische Anwendung von Threat Defense COMPASS beherrschen.
- KI-Bedrohungsanalysen in die organisationale Sicherheitsprogramme integrieren.
- Umfassende Strategien zum Management von KI-Risiken entwickeln.
Behandelte Themen:
- Vertiefte Auseinandersetzung mit der Threat-Defense-COMPASS-Methodik.
- Integration des OODA-Loops (Observe, Orient, Decide, Act).
- Zuordnung von Bedrohungen zu den Frameworks MITRE ATT&CK und ATLAS.
- Erstellung von Dashboards für KI-Bedrohungswiderstandsfähigkeit (AI Threat Resilience Strategy).
- Integration in bestehende Sicherheitstools und -prozesse.
Praktische Übung: Vollständige Bedrohungsanalyse mit COMPASS für ein Szenario der Microsoft-Copilot-Bereitstellung.
Modul 8: Praktische Implementierung und Best Practices (2,5 Stunden)
Lernziele:
- Sichere KI-Architekturen von Grund auf entwerfen.
- Überwachung und Incident Response für KI-Systeme implementieren.
- Governance-Rahmenwerke für KI-Sicherheit erstellen.
Behandelte Themen:
Sicherer Entwicklungslebenszyklus für KI:
- Security-by-Design-Prinzipien für KI-Anwendungen.
- Praktiken zur Code-Überprüfung für LLM-Integrationen.
- Testmethodologien und Scanning auf Schwachstellen.
- Sicherheit bei der Bereitstellung und Hardening in der Produktivumgebung.
Überwachung und Erkennung:
- Anforderungen an das Logging und die Überwachung speziell für KI.
- Anomalie-Erkennung für KI-Systeme.
- Verfahren zur Incident Response bei KI-Sicherheitsvorfällen.
- Forensik und Untersuchungstechniken.
Governance und Compliance:
- Frameworks und Richtlinien zum KI-Risikomanagement.
- Aspekte der regulatorischen Compliance (DSGVO, AI Act usw.).
- Risikobewertung von Drittanbietern für KI-Anbieter.
- Security-Awareness-Schulungen für KI-Entwicklungsteams.
Praktische Übung: Entwurf einer vollständigen Sicherheitsarchitektur für einen Unternehmens-KI-Chatbot, einschließlich Überwachung, Governance und Verfahren zur Incident Response.
Modul 9: Tools und Technologien (1 Stunde)
Lernziele:
- KI-Sicherheitstools bewerten und implementieren.
- Die aktuelle Landschaft der KI-Sicherheitslösungen verstehen.
- Praktische Fähigkeiten zur Detektion und Prävention aufbauen.
Behandelte Themen:
- Ökosystem und Anbieterlandschaft von KI-Sicherheitstools.
- Open-Source-Sicherheitstools: Garak, PyRIT, Giskard.
- Kommerzielle Lösungen für KI-Sicherheit und Überwachung.
- Integrationsmuster und Bereitstellungsstrategien.
- Kriterien zur Werkzeugauswahl und Bewertungsrahmenwerke.
Praktische Übung: Hands-on-Demonstration von KI-Sicherheitstesttools und Planung der Implementierung.
Modul 10: Zukunftstrends und Zusammenfassung (1 Stunde)
Lernziele:
- Aufkommende Bedrohungen und zukünftige Sicherheitsherausforderungen verstehen.
- Strategien für kontinuierliches Lernen und Verbesserung entwickeln.
- Aktionspläne für organisationale KI-Sicherheitsprogramme erstellen.
Behandelte Themen:
- Aufkommende Bedrohungen: Deepfakes, fortgeschrittene Prompt Injection, Model Inversion.
- Entwicklungen und Roadmap künftiger OWASP-GenAI-Projekte.
- Aufbau von KI-Sicherheits-Communities und Wissensweitergabe.
- Kontinuierliche Verbesserung und Integration von Threat Intelligence.
Aktionsplanungsübung: Entwicklung eines 90-Tage-Aktionsplans zur Implementierung von OWASP-GenAI-Sicherheitspraktiken in den Organisationen der Teilnehmenden.
Voraussetzungen
- Grundlegendes Verständnis der Prinzipien der Webanwendungssicherheit.
- Basiskenntnisse in KI-/ML-Konzepten.
- Erfahrung mit Sicherheitsframeworks oder Risikobewertungsmethodologien ist von Vorteil.
Zielgruppe
- Cybersecurity-Experten.
- KI-Entwickler:innen.
- Systemarchitekt:innen.
- Compliance-Beauftragte.
- Security-Praktiker:innen.
Erfahrungsberichte (1)
Ich habe viel Spaß beim Erlernen von KI-Angriffen und den verfügbaren Tools gehabt, um mit Sicherheitsprüfungen zu beginnen und diese aktiv einzusetzen. Ich habe viele neue Erkenntnisse gewonnen, die ich zuvor noch nicht hatte, und der Kurs hat meine Erwartungen erfüllt. Mein Lieblingsbereich aus dem Training war der Comet Browser, und ich war von seinen Möglichkeiten beeindruckt. Auf jeden Fall werde ich mich damit intensiver beschäftigen. Insgesamt war es ein großartiger Kurs, und ich habe das Lernen über die OWASP GenAI Top 10 sehr genossen.
Patrick Collins - Optum
Kurs - OWASP GenAI Security
Maschinelle Übersetzung
