Schulungsübersicht
Modul 1 — KI-Systeme für Sicherheitsingenieure
Lab: Lab 01 — 01-Introduction
Verständnis der Architektur.
Themen:
- LLMs vs. normale Anwendungen
- KI-Inferenzpipelines
- Prompt-Fluss
- RAG-Architektur
- Embeddings/Vektor-Datenbanken
- Agentische Workflows
- Tool-Calling
- KI-Gateways
- Copilots
- MCP und Agentenprotokolle
- Wo WAF-Sichtbarkeit existiert
- Wo WAF-Sichtbarkeit endet
Kernbotschaft: Traditionelle WAFs verlieren oft die Sichtbarkeit, nachdem der Prompt das Modell erreicht hat.
Modul 2 — OWASP Top 10 for GenAI
Lab: kein Lab — interaktive Zusammenfassung/Diskussion
Wichtige KI-Angriffskategorien.
Themen:
- Prompt Injection
- Unsichere Ausgabebehandlung
- Training Data Poisoning (Verderben der Trainingsdaten)
- Model DoS (Denial of Service gegen Modelle)
- Lieferketten-Schwachstellen
- Offenlegung sensibler Informationen
- Exzessive Autonomie (Excessive Agency)
- Schwächen bei Vektoren/Embeddings
- Fehlinformationen
- Nicht begrenzter Ressourcenverbrauch (Unbounded Consumption)
Beinhaltet:
- Unterschiede zu klassischen OWASP-Listen
- Zuordnung zu defensiven Kontrollen (WAF, Gateway, App-Ebene)
- Wo jede Kontrolle hilft
- Wo jede Kontrolle versagt
Modul 3 — Erkennung von Prompt Injection
Lab: Lab 02 — 02-Prompt-Injection
Der „SQL-Injection-Moment“ für KI.
Themen:
- Direkte Prompt Injection
- Indirekte Prompt Injection
- Versteckte Anweisungen
- Dokumentbasierte Angriffe
- HTML/Markdown-Injection
- Jailbreak-Muster
- Kontext-Überschreibungsangriffe
- Rollenverwechselungsangriffe
Erkennungsstrategien:
- Schlüsselwort-Heuristiken
- Semantische Klassifizierung
- Prompt-Linting
- Durchsetzung von Anweisungsgrenzen
- Erlaubnis-/Verweigerungsrichtlinien
- KI-bewusste Regex-Muster
Praxislabs:
- Einen Chatbot angreifen
- Banafle Filter umgehen
- Geschichtete Erkennung aufbauen
Modul 4 — KI-gewusste WAF-Regeln
Lab: Lab 03 — 03-WAF-Basics
Wie sich WAF-Regeln für KI-Systeme entwickeln.
- Themen:
- Schutz von LLM-Endpunkten
- Schutz der Inferenz-APIs
- Token-bewusstes Rate Limiting
- Inspektion der Prompt-Größe
- KIspezifische Signaturen
- Erkennung von Gesprächsanomalien
- Mehrstufige Missbrauchsmuster
- Versuche der Modellaufzählung (Model Enumeration)
- Inferenz-Scraping
- Schutz vor Denial-of-Wallet
Beispiele:
- Schutz von /v1/chat/completions
- Verteidigung gegen Streaming-APIs
- Blockieren rekursiver Agentenaufrufe
Modul 5 — Sicherung von RAG-Pipelines
Lab: Lab 04 — 04-RAG-Security
Eine der größten neuen Angriffsflächen.
Themen:
- Drohungen für Vektor-Datenbanken
- Verderben von Embeddings
- Schädliche PDFs/Dokumente
- Manipulation der Abrufe (Retrieval Manipulation)
- Semantisches Verderben
- Versteckte Anweisungen in Dokumenten
- Dokumentübergreifende Kontamination
- Datenexfiltration via Retrieval
Defensive Maßnahmen:
- Sanitisierung der Datenaufnahme (Ingestion Sanitization)
- Vertrauensbewertung
- Metadaten-Isolation
- Dokumentenprovenienz
- Abruf-Richtlinien
- Segmentierung
Fallstudie: „Laden Sie ein vergiftetes PDF hoch und übernehmen Sie die Kontrolle über den KI-Assistenten.“
Modul 6 — Sicherheit von Agentic AI
Lab: Lab 05 — 05-Agent-Security
Wo die Dinge gefährlich werden.
Themen:
- Exzessive Autonomie (Excessive Agency)
- Tool-Missbrauch
- API-Kettung
- Autonome Schleifen
- Berechtigungserweiterung
- Gedächtnisverderben
- Indirekte Tool-Ausführung
- Agenten-Impersonifizierung
- Kennungsleckage (Credential Leakage)
- Mult-Agenten-Angriffe
Defensive Maßnahmen:
- Least Privilege für Agenten
- Zustimmungsschwellen (Approval Gates)
- Laufzeit-Richtlinien-Engines
- Sandboxing
- Eingeschränkte Credentials
- Tool-Whitelisting
- Mensch im Loop (Human-in-the-Loop)
Dies ist der Abschnitt, den Manager normalerweise am meisten interessiert, da das Risiko operational und geschäftsrelevant wird.
Modul 7 — API-Sicherheit für KI
Lab: Lab 06 — 06-Denial-of-Wallet
KI-Systeme sind stark API-lastig.
Themen:
- API-Gateways
- GraphQL-KIschwachstellen
- MCP/API-Missbrauch
- JWT-Schutz
- KI-Plugin-Sicherheit
- Agentenauthentifizierung
- Delegierte Autorisierung
- Geheimnisverwaltung
- Gesigned Prompts
- API-Inventar für KI
Anknüpfung: OWASP API Security Top 10
Modul 8 — Detection Engineering & SOC-Integration
Lab: Lab 07 — 07-Detection
Operative Verteidigung.
Themen:
- KI-Telemetrie
- Prompt-Logging
- Token-Analytik
- Anomalieerkennung
- Semantische SIEM-Pipelines
- KI-Angriffsindikatoren
- Threat Hunting für LLM-Missbrauch
- KI-Laufzeit-Observability
Beispiele:
- Erkennung von Jailbreak-Kampagnen
- Aufspüren automatisierten Agentenmissbrauchs
- Identifizierung von Model Scraping
Modul 9 — Cloud-WAFs und KI-Sicherheit
Lab: kein Lab — interaktive Zusammenfassung/Diskussion
Anbieterspezifische Implementierungen.
Themen:
- AWS WAF für KI-APIs
- Azure WAF
- Cloudflare AI Gateway
- API-Gateways
- Envoy-KI-Filterung
- Kong AI Gateway
- NGINX KI-Sicherheitsmuster
Vergleich:
- Traditionelle WAF vs. KI-Gateway vs. App-Ebene Guardrail
- Proxy-basiert vs. semantische Filterung
Modul 10 — Aufbau einer geschichteten KI-Verteidigung
Lab: Lab 08 — 08-Layered-Defense
Wichtige philosophische Schlussfolgerung:
Keine einzelne Ebene kann KI allein sichern (am wenigsten eine WAF für sich genommen).
Die Teilnehmenden bauen ein geschichtetes Modell auf:
- WAF
- API-Gateway
- KI-Gateway
- Guardrails
- Laufzeitüberwachung
- Identität/Autorisierung
- Sandbox
- Menschliche Zustimmung
- Oberervierbarkeit (Observability)
- Incident Response
Dies stimmt stark mit dem Modell der „mehrstufigen Sicherheit“ überein.
Modul ↔ Lab-Karte
Labs werden in lab-Reihenfolge durchgeführt, welche der Modulreihenfolge folgt.
Der Kurs hat 10 Module, aber 8 Labs: Die Module 2 und 9 sind interaktive Zusammenfassungen/Diskussionen und haben kein Lab.
Jedes Lab ist im gesamten Outline mit seinem entsprechenden Modul gekennzeichnet.
- Lab 01 (Modul 1)
- Ordner: 01-Introduction
- Titel: Ein KI-System erkunden — was ist im Netz?
- Lab 02 (Modul 3)
- Ordner: 02-Prompt-Injection
- Titel: Einen Chatbot angreifen & naive Filter umgehen
- Lab 03 (Modul 4)
- Ordner: 03-WAF-Basics
- Titel: KI-gewusste WAF-Regeln aufbauen
- Lab 04 (Modul 5)
- Ordner: 04-RAG-Security
- Titel: Eine RAG-Pipeline vergiften
- Lab 05 (Modul 6)
- Ordner: 05-Agent-Security
- Titel: Einen autonomen Agenten sichern
- Lab 06 (Modul 7)
- Ordner: 06-Denial-of-Wallet
- Titel: Denial-of-Wallet-Angriffe erkennen
- Lab 07 (Modul 8)
- Ordner: 07-Detection
- Titel: KI-Missbrauchsmuster in Logs überwachen
- Lab 08 (Modul 10)
- Ordner: 08-Layered-Defense
- Titel: Eine geschichtete KI-Verteidigungsarchitektur aufbauen
Capstone-Projekt
Die Teilnehmenden verteidigen einen simulierten Unternehmens-KI-Assistenten.
Angreifer versuchen:
- Prompt Injection
- Tool-Missbrauch
- Kennungsdiebstahl
- Verderben des Retrievals (Retrieval Poisoning)
- Exzessiver API-Verbrauch
- Agenten-Eskalation
Die Teams bauen auf:
- WAF-Regeln
- KI-Gateway-Richtlinien
- Laufzeiterkennung
- Guardrails
- Incident Response
Voraussetzungen
- Die Teilnehmenden sollten bereits über Kenntnisse in HTTP-/API-Sicherheit, Proxies/Reverse-Proxys, Authentifizierung, OWASP Top 10, REST-APIs und grundlegendem Cloud-Netzwerken verfügen.
Zielgruppe
- Sicherheitsingenieure & AppSec
- SOC-Analysten & Detection Engineers
- API-Sicherheitsingenieure
- Cloud-/API-/Plattformsicherheit
- DevSecOps-Ingenieure
- Sicherheitsarchitekten
- WAF-/Netzwerksicherheitsspezialisten
- KI-Plattformingenieure
Erfahrungsberichte (2)
Ich habe viel Spaß beim Erlernen von KI-Angriffen und den verfügbaren Tools gehabt, um mit Sicherheitsprüfungen zu beginnen und diese aktiv einzusetzen. Ich habe viele neue Erkenntnisse gewonnen, die ich zuvor noch nicht hatte, und der Kurs hat meine Erwartungen erfüllt. Mein Lieblingsbereich aus dem Training war der Comet Browser, und ich war von seinen Möglichkeiten beeindruckt. Auf jeden Fall werde ich mich damit intensiver beschäftigen. Insgesamt war es ein großartiger Kurs, und ich habe das Lernen über die OWASP GenAI Top 10 sehr genossen.
Patrick Collins - Optum
Kurs - OWASP GenAI Security
Maschinelle Übersetzung
Das professionelle Wissen und die Art, wie er es uns präsentierte
Miroslav Nachev - PUBLIC COURSE
Kurs - Cybersecurity in AI Systems
Maschinelle Übersetzung