Schulungsübersicht
Tag 1: Grundlagen und Kernbedrohungen
Modul 1: Einführung in das OWASP GenAI Security Project (1 Stunde)
Lernziele:
- Verstehen der Entwicklung von den OWASP Top 10 zu KI-spezifischen Sicherheitsausforderungen.
- Erforschung des OWASP GenAI Security Project Ökosystems und Ressourcen.
- Identifizieren der wesentlichen Unterschiede zwischen traditioneller Anwendungssicherheit und KI-Sicherheit.
Behandelte Themen:
- Überblick über das OWASP GenAI Security Project und seine Mission.
- Einführung in das Threat Defense COMPASS-Framework.
- Verstehen der KI-Sicherheitslandschaft und regulatorischen Anforderungen.
- Vergleich von KI-Angriffsflächen mit traditionellen Webanwendungsverletzbarkeiten.
Praktische Übung: Einrichten des OWASP Threat Defense COMPASS-Tools und Durchführung einer ersten Bedrohungsbewertung
Modul 2: OWASP Top 10 für LLMs - Teil 1 (2,5 Stunden)
Lernziele:
- Beherrschung der ersten fünf kritischen LLM-Verletzbarkeiten.
- Verstehen von Angriffspfaden und Exploit-Techniken.
- Praktische Implementierung von Abmilderungsstrategien.
Behandelte Themen:
LLM01: Prompt Injection
- Direkte und indirekte Prompt-Injection-Techniken.
- Versteckte Angriffe und cross-prompt-Kontamination.
- Praktische Beispiele: Jailbreaking von Chatbots und Umgehen von Sicherheitsmaßnahmen.
- Abwehrstrategien: Eingabevalidierung, Prompt-Filterung, differentielle Privatsphäre.
LLM02: Offenlegung sensibler Informationen
- Extraktion von Trainingsdaten und System-Prompt-Lecks.
- Analyse des Modellverhaltens auf die Offenlegung sensibler Informationen.
- Datenschutzimplikationen und regulatorische Compliance-Überlegungen.
- Abmilderungsstrategien: Ausgabevalidierung, Zugangskontrolle, Datanonymisierung.
LLM03: Lieferkettenschwächen
- Sicherheit von Drittanbieter-Modellen und Plugin-Sicherheit.
- Kompromittierte Trainingsdatensätze und Model-Poisoning.
- Risikobewertung von Drittanbietern für AI-Komponenten.
- Sicherheitspraktiken für die Bereitstellung und Verifizierung von Modellen.
Praktische Übung: Hands-on Labor zur Demonstration von Prompt-Injection-Angriffen gegen verletzbare LLM-Anwendungen und Implementierung von Abwehrmaßnahmen
Modul 3: OWASP Top 10 für LLMs - Teil 2 (2 Stunden)
Behandelte Themen:
LLM04: Daten- und Modellvergiftung
- Techniken zur Manipulation von Trainingsdaten.
- Änderung des Modellverhaltens durch vergiftete Eingaben.
- Backdoor-Angriffe und Datenintegritätsprüfung.
- Präventionsstrategien: Datenvalidierungspipelines, Herkunftsnachverfolgung.
LLM05: Fehlende Ausgabebehandlung
- Unsichere Verarbeitung von LLM-generierten Inhalten.
- Codeinjektion durch KI-generierte Ausgaben.
- Cross-Site Scripting über KI-Antworten.
- Validierungs- und Sanierungsframeworks für Ausgaben.
Praktische Übung: Simulation von Datenvergiftungsangriffen und Implementierung robuster Ausgabevalidierungsmechanismen
Modul 4: Fortgeschrittene LLM-Bedrohungen (1,5 Stunden)
Behandelte Themen:
LLM06: Überschreitung der Agentenbefugnis
- Risiken autonomer Entscheidungen und Verletzung von Grenzen.
- Management der Agentenbefugnis und Berechtigungen.
- Unerwünschte Systeminteraktionen und Privileg-Eskalation.
- Implementierung von Schutzmaßnahmen und menschlicher Überwachungskontrolle.
LLM07: System-Prompt-Lecks
- Verletzbarkeiten der Offenlegung von Systemanweisungen.
- Offenlegung von Anmeldeinformationen und Logik durch Prompts.
- Angriffstechniken zur Extraktion von Systemprompts.
- Sichere Systemanweisungen und externe Konfiguration.
Praktische Übung: Entwurf sicherer Agentenarchitekturen mit angemessenen Zugangskontrollen und Monitoring
Tag 2: Fortgeschrittene Bedrohungen und Implementierung
Modul 5: Emerging AI-Threats (2 Stunden)
Lernziele:
- Verstehen von neuesten KI-Sicherheitsbedrohungen.
- Implementierung fortgeschrittener Erkennungs- und Präventionsmethoden.
- Entwurf widerstandsfähiger KI-Systeme gegen sofistizierte Angriffe.
Behandelte Themen:
LLM08: Vector and Embedding Weaknesses
- Schwachstellen von RAG-Systemen und Sicherheit von Vektordatenbanken.
- Vergiftungsangriffe auf Embeddings und Similarity-Manipulation-Angriffe.
- Adversariale Beispiele in semantischer Suche.
- Sichere Vektorspeicher und Implementierung von Anomaliedetektion.
LLM09: Falschinformationen und Modellzuverlässigkeit
- Erkennung und Abmilderung von Halluzinationen.
- Verstärkung von Vorurteilen und Fairness-Überlegungen.
- Fact-Checking und Quellenverifikationsmechanismen.
- Content-Validierung und Integration menschlicher Überwachung.
LLM10: Unbounded Consumption
- Ressourcenverbrauch und Denial-of-Service-Angriffe.
- Rate-Limiting und Ressourcenmanagementstrategien.
- Kostenoptimierung und Budgetkontrolle.
- Leistungsüberwachung und Alerting-Systeme.
Praktische Übung: Erstellung einer sicheren RAG-Pipeline mit Vektordatenbankschutz und Halluzinationserkennung
Modul 6: Agentic AI Security (2 Stunden)
Lernziele:
- Verstehen der einzigartigen Sicherheitsausforderungen autonomer KI-Agenten.
- Anwendung des OWASP Agentic AI-Taxonomie auf realweltliche Systeme.
- Implementierung von Sicherheitskontrollen für Multi-Agenten-Umgebungen.
Behandelte Themen:
- Einführung in Agentic AI und autonome Systeme.
- OWASP Agentic AI-Threat-Taxonomie: Agent Design, Memory, Planning, Tool Use, Deployment.
- Sicherheit von Multi-Agenten-Systemen und Koordinationsrisiken.
- Missbrauch von Tools, Vergiftung des Speichers und Entführung von Zielen.
- Sichere Kommunikation und Entscheidungsfindungsprozesse der Agenten.
Praktische Übung: Bedrohungsmodellierungsübung unter Verwendung der OWASP Agentic AI-Taxonomie an einem Multi-Agenten-Kundendienstsystem
Modul 7: OWASP Threat Defense COMPASS-Implementierung (2 Stunden)
Lernziele:
- Beherrschung der praktischen Anwendung des Threat Defense COMPASS.
- Integration von KI-Bedrohungsbewertungen in unternehmensweite Sicherheitsprogramme.
- Entwicklung umfassender KI-Risikomanagementstrategien.
Behandelte Themen:
- Tiefgang in die Threat Defense COMPASS-Methodik.
- Integration des OODA-Schleifen: Beobachten, Orientieren, Entscheiden, Handeln.
- Zuordnung von Bedrohungen zu den MITRE ATT&CK- und ATLAS-Frameworks.
- Erstellung von Dashboards zur KI-Bedrohungsrückgewinnung.
- Integration in bestehende Sicherheitstools und -prozesse.
Praktische Übung: Durchführung einer Bedrohungsbewertung unter Verwendung von COMPASS für ein Microsoft Copilot-Bereitstellungsszenario
Modul 8: Praktische Implementierung und Best Practices (2,5 Stunden)
Lernziele:
- Entwurf sicherer KI-Architekturen von Grund auf.
- Implementierung von Monitoring und Vorfallmanagement für KI-Systeme.
- Erstellung von Governance-Frameworks für KI-Sicherheit.
Behandelte Themen:
Sichere AI-Entwicklungslebenszyklen:
- Sicherheitsprinzipien für KI-Anwendungen im Design.
- Code-Review-Praktiken für LLM-Integrationen.
- Testmethodologien und Verletzbarkeitsscanning.
- Bereitstellungssicherheit und Produktionsverfestigung.
Monitoring und Erkennung:
- KI-spezifische Anforderungen für Logging und Monitoring.
- Anomaliedetektion für KI-Systeme.
- Vorfallmanagement-Prozeduren für KI-Sicherheitsereignisse.
- Forensik und Untersuchungstechniken.
Governance und Compliance:
- KI-Risikomanagement-Frameworks und -richtlinien.
- Regulatorische Compliance-Überlegungen (GDPR, AI Act usw.).
- Drittanbieter-Risikobewertung für KI-Anbieter.
- Sicherheitsbewusstseinstraining für KI-Entwicklerteams.
Praktische Übung: Entwurf einer vollständigen Sicherheitsarchitektur für ein Unternehmens-KI-Chatbot, einschließlich Monitoring, Governance und Vorfallmanagementprozeduren
Modul 9: Tools und Technologien (1 Stunde)
Lernziele:
- Auswählen und Implementieren von KI-Sicherheitstools.
- Verständnis der aktuellen KI-Sicherheitslösungslandschaft.
- Aufbau praktischer Erkennungs- und Präventionsfähigkeiten.
Behandelte Themen:
- KI-Sicherheitstools und -Landschaft von Anbietern.
- Open-Source-Sicherheitstools: Garak, PyRIT, Giskard.
- Kommerzielle Lösungen für KI-Sicherheit und -Monitoring.
- Integrationsmuster und Bereitstellungsstrategien.
- Auswahlkriterien für Tools und Bewertungsframeworks.
Praktische Übung: Hands-on Demonstration von KI-Sicherheitstests und Implementierungsplanung
Modul 10: Zukunftstrends und Zusammenfassung (1 Stunde)
Lernziele:
- Verstehen von aufkommenden Bedrohungen und zukünftigen Sicherheitsausforderungen.
- Entwicklung von Strategien für kontinuierliches Lernen und Verbesserung.
- Erstellung von Aktionsplänen für unternehmensweite KI-Sicherheitsprogramme.
Behandelte Themen:
- Aufkommende Bedrohungen: Deepfakes, fortgeschrittene Prompt-Injection, Modellinversion.
- Zukünftige OWASP GenAI-Projektentwicklungen und -Roadmaps.
- Aufbau von KI-Sicherheitsgemeinschaften und Wissensaustausch.
- Kontinuierliche Verbesserung und Integration von Bedrohungsinformationen.
Aktionsplanungsübung: Entwicklung eines 90-Tage-Aktionsplans zur Implementierung von OWASP GenAI-Sicherheitspraktiken in den Organisationen der Teilnehmer
Voraussetzungen
- Allgemeine Kenntnisse der Sicherheitsprinzipien von Webanwendungen.
- Grundkenntnisse in KI/ML-Konzepten.
- Erfahrung mit Sicherheitsrahmen oder Risikobewertungsmethodiken ist erwünscht.
Zielgruppe
- Cybersecurity-Professionals
- KI-Entwickler
- Systemarchitekten
- Compliance-Officer
- Sicherheitspraktiker