Schulungsübersicht
Modul 1 — Wie KI-Apps versagen
Lab: Keines — Architektur-Durchlauf & Diskussion
Das mentale Modell des Entwicklers für die Angriffsfläche.
Themen:
- LLM-, RAG- und Agent-Architekturen aus Sicht des Entwicklers
- Der Anforderungs-/Antwort-Lebenszyklus eines KI-Features
- Prompt-Flow: System-, Entwickler-, Benutzer- und Tool-Nachrichten
- Wo nicht vertrauenswürdige Daten eintreten (und wieder eintreten) in das Modell
- Die Vertrauensgrenzen, die ein Entwickler besitzt versus erbt
- Warum KI-Angriffe semantisch und nicht syntaktisch sind
- Die OWASP LLM Top 10 auf den geschriebenen Code abbilden
Wichtige Erkenntnis: Jeder Ort, an dem nicht vertrauenswürdiger Text das Modell erreicht — oder die Modellausgabe Ihren Code — ist eine Grenze, die Ihnen gehört.
Modul 2 — Prompt-Injection für Entwickler
Lab: Lab 01 — 01-Prompt-Injection
Der „SQL-Injection-Moment“ für KI — aber Sie können ihn nicht vollständig entkommen.
Themen:
- Direkte versus indirekte Prompt-Injection
- Versteckte Anweisungen in Dokumenten, Webseiten, Tool-Ausgaben
- Jailbreaks und Rollenverwechslung
- Warum die Trennung von Anweisung und Daten wichtig ist
- Defensives Prompt-Design (Delimiters, Struktur, minimale Autorität)
- Warum Prävention nur teilweise funktioniert — Design für Eindämmung
Praxis:
- Greifen Sie Ihren eigenen Chatbot an
- Umgehen Sie einen naiven Filter
- Strukturieren Sie den Prompt um, um die Explosionsradius zu verringern
Modul 3 — Modellausgaben als nicht vertrauenswürdig behandeln
Lab: Lab 02 — 02-Output-Handling
Die Fehlerklasse, die Entwickler am meisten unterschätzen.
Themen:
- Modellausgabe als nicht vertrauenswürdige Eingabe für den Rest der App
- Unsicherer Umgang mit Ausgaben (LLM02): XSS, SSRF, Befehls-/SQL-Injection im weiteren Verlauf
- Raw-Modellausgaben niemals eval/exec/rendern
- G strukturierte Ausnahmen und Schema-Validierung
- Ausgaben-Kodierung und Allowlists
- Sicheres Rendern in Web-/UI-Kontexten
Praxis:
- Eine unsichere Ausgabe-Verarbeitungslücke finden und beheben
- Ein JSON-Schema für Modellausantworten durchsetzen
Modul 4 — RAG-Sicherheit
Lab: Lab 03 — 03-RAG-Security
Eine der größten neuen Angriffsflächen — und sie gehört Ihnen, sie zu bauen.
Themen:
- Vector-DB- und Retrieval-Bedrohungen
- Sanitization bei der Aufnahme
- Dokumentenherkunft und Vertrauensbewertung
- Einschränkung des Retrievals und metadata-Isolation
- Versteckte Anweisungen in abgerufenen Inhalten (indirekte Injection)
- Datenexfiltration via Retrieval
Praxis: - Vergiften Sie eine RAG-Pipeline mit einem böswilligen Dokument - Fügen Sie Sanitization bei der Aufnahme und Einschränkung des Retrievals hinzu, um es zu verteidigen
Modul 5 — Agenten- & Tool-Sicherheit
Lab: Lab 04 — 04-Agent-Safety
Wo ein Fehler zu einer Handlung wird.
Themen:
- Zu viel Hoheit (LLM06) und Tool-Missbrauch
- Geringste Rechte für Agenten
- Tool-Allowlists und Argumentvalidierung
- Genehmigungsstufen und Human-in-the-Loop
- Sandboxing der Tool-Ausführung
- Eingeschränkte, kurzlebige Anmeldeinformationen für Agenten
- Autonome Schleifen und Kettenschaltung einschränken
Praxis:
- Einen zu stark berechtigten Agenten absichern
- Eine Allowlist + Genehmigungsstufe zu einem gefährlichen Tool hinzufügen
Modul 6 — Geheimnisse, Identität & Kosten
Lab: Lab 05 — 05-Secrets-and-Cost
Die operativen Fehler, die am schnellsten wehtun.
Themen:
- API-Schlüssel- und Geheimnisverwaltung (niemals in Prompts, Code oder Logs)
- Pro-Benutzer-Authentifizierung und -Autorisierung für KI-Features
- Weitergeben der Benutzeridentität an Tools und Retrieval
- Denial-of-Wallet: unbegrenzter Token-/Kostenverbrauch
- Rate-Limits, Token-Budgets und Timeouts
- Logging ohne Auslaufen von Geheimnissen oder PII
Praxis:
- Geheimnisse aus dem Prompt-/Code-Pfad entfernen
- Pro-Benutzer-Rate-Limits und ein Token-/Kostenbudget hinzufügen
Modul 7 — Guardrail-Bibliotheken
Lab: Lab 06 — 06-Guardrails
Kaufen versus Bauen für Eingabe-/Ausgabesicherheit.
Themen:
- Was Guardrail-Frameworks tun (und nicht tun)
- Eingabeguardrails: Injection-/PII-/Themaklassifikatoren
- Ausgabeguardrails: Validierung, Filterung, Grounding-Checks
- Wann ein Guardrail angemessen ist versus Ihre eigene deterministische Prüfung
- Verschachteln von Guardrails mit den Kontrollen aus früheren Modulen
- Leistung, False Positives und Fehlermodi
Praxis:
- Eine Eingabe-/Ausgabe-Guardrail-Schicht zu einem KI-Feature hinzufügen
- Messen Sie, was es fängt und was es verpasst
Modul 8 — Red-Teaming der eigenen App
Lab: Lab 07 — 07-Red-Teaming
Stellen Sie es so bereit, als hätte ein Angreifer es bereits übernommen.
Themen:
- Erstellen einer Abuse-/Test-Suite für KI-Features
- Automatisierte Prompt-Injection- und Jailbreak-Tests
- Regressionstests für Guardrails und Richtlinien
- Ausführen von KI-Sicherheitschecks in CI
- Modell- und Abhängigkeitslieferkette (Herkunft, Pinning)
- Eine Pre-Ship-Sicherheitscheckliste für KI-Features
Praxis:
- Automatisierte Red-Team-Tests für ein KI-Feature schreiben
- Sie in einen CI-Check integrieren
Modul 9 — Bewertung der KI-Sicherheit: Das SAIS-100-Framework
Lab: Keines — Bewertungsübung (verwendet die Capstone-App)
Machen Sie alles, was Sie gebaut haben, zu einer wiederholbaren Bewertung.
Themen:
- Der KI-Sicherheits-Hexagon: sechs Fragen statt „Ist es sicher?“
- Die sechs bewerteten Kategorien (Daten, Prompt, Agent, Lieferkette, Detektion, Governance)
- Die 100-Punkte-Rubrik und ihre Gewichtungen
- Urteil-Bänder und die Single-Category-Override-Regel
- Der Elephant Scale Secure AI Score (SAIS-100) als brandfähiges, wiederholbares Framework
- Bewertung vor/nach härten als Metrik
Praxis:
- Bewerten Sie die Capstone-App auf der 100-Punkte-Skala
- Nennen Sie die einzelne Änderung, die den Score am meisten erhöht
Wichtige Erkenntnis: Die drei höchstgewichteten Kategorien entsprechen den Vertrauensgrenzen, die ein Entwickler besitzt — also misst der Score genau das, was dieser Kurs gelehrt hat.
Capstone
Die Teilnehmenden härten eine absichtlich verwundbare KI-Anwendung durchgehend ab.
Die Starter-App enthält:
- Einen injizierbaren Prompt
- Unsichere Ausgabe-Verarbeitung
- Eine uneingeschränkte RAG-Pipeline
- Einen zu stark berechtigten Agenten
- Geheimnisse im Prompt-Pfad
- Keine Kostenlimits
Die Teilnehmenden wenden den Kurs an:
- Prompts für Eindämmung umstrukturieren
- Modellausgaben validieren und kodieren
- Retrieval sanitisieren und einschränken
- Geringste Rechte und Genehmigungsstufen auf den Agenten anwenden
- Geheimnisse entfernen und Kosten-/Rate-Limits hinzufügen
- Guardrails und automatisierte Red-Team-Tests hinzufügen
Lieferung: eine gehärtete App plus eine kurze OWASP LLM Top 10-Selbstbewertung.
Modul - Lab-Zuordnung
Labs werden in der Lab-Reihenfolge ausgeführt, die der Modulreihenfolge folgt. Der Kurs hat 9 Module und 7 Labs: Modul 1 ist ein Architektur-Durchlauf/eine Diskussion und Modul 9 ist eine Bewertungsübung, daher hat keines davon einen eigenen Lab-Ordner.
- Lab 01 - 01-Prompt-Injection: Greifen Sie Ihren Chatbot an & Design für Eindämmung (Modul 2)
- Lab 02 - 02-Output-Handling: Beheben Sie einen Bug für unsichere Ausgabe-Verarbeitung (Modul 3)
- Lab 03 - 03-RAG-Security: Vergiften und dann verteidigen Sie eine RAG-Pipeline (Modul 4)
- Lab 04 - 04-Agent-Safety: Sichern Sie einen zu stark berechtigten Agenten (Modul 5)
- Lab 05 - 05-Secrets-and-Cost: Schlüssel sichern + Kostenschutz hinzufügen (Modul 6)
- Lab 06 - 06-Guardrails: Eine Eingabe-/Ausgabe-Guardrail-Schicht hinzufügen (Modul 7)
- Lab 07 - 07-Red-Teaming: Automatisierte Red-Team-Tests in CI (Modul 8)
Modul 1 (Wie KI-Apps versagen) hat kein Lab — es wird als Architektur-Durchlauf und Diskussion durchgeführt. Modul 9 (KI-Sicherheit bewerten) hat keinen Lab-Ordner — es wird als Bewertungsübung gegen die Capstone-App durchgeführt.
Voraussetzungen
- Fachkunde-Stufe: Fortgeschritten (Intermediate).
- Die Teilnehmenden sollten folgende Kenntnisse haben: Aufbau und Konsum von REST-APIs, eine Skriptsprache (die Labs verwenden Python), grundlegende Anwendungsa Authentifizierung, Git und die CLI.
- Kein maschinelles Lernwissen ist erforderlich – dies ist ein Anwendungssicherheitskurs für Menschen, die mit LLMs bauen, nicht für solche, die sie trainieren.
Zielgruppe
- Software-/Backend-Engineers, die LLM-Features entwickeln
- Fullstack- und API-Entwickler
- AI/ML-Anwendungsingenieure
- Platform Engineers, die Copilots und Agenten bereitstellen
- Tech Leads und Senior Engineers, die für KI-Features verantwortlich sind
Erfahrungsberichte (2)
Ich habe viel Spaß beim Erlernen von KI-Angriffen und den verfügbaren Tools gehabt, um mit Sicherheitsprüfungen zu beginnen und diese aktiv einzusetzen. Ich habe viele neue Erkenntnisse gewonnen, die ich zuvor noch nicht hatte, und der Kurs hat meine Erwartungen erfüllt. Mein Lieblingsbereich aus dem Training war der Comet Browser, und ich war von seinen Möglichkeiten beeindruckt. Auf jeden Fall werde ich mich damit intensiver beschäftigen. Insgesamt war es ein großartiger Kurs, und ich habe das Lernen über die OWASP GenAI Top 10 sehr genossen.
Patrick Collins - Optum
Kurs - OWASP GenAI Security
Maschinelle Übersetzung
Das professionelle Wissen und die Art, wie er es uns präsentierte
Miroslav Nachev - PUBLIC COURSE
Kurs - Cybersecurity in AI Systems
Maschinelle Übersetzung