Kontakt aufnehmen

Schulungsübersicht

Modul 1 — Wie KI-Apps versagen

Lab: Keines — Architektur-Durchlauf & Diskussion

Das mentale Modell des Entwicklers für die Angriffsfläche.

Themen:

  • LLM-, RAG- und Agent-Architekturen aus Sicht des Entwicklers
  • Der Anforderungs-/Antwort-Lebenszyklus eines KI-Features
  • Prompt-Flow: System-, Entwickler-, Benutzer- und Tool-Nachrichten
  • Wo nicht vertrauenswürdige Daten eintreten (und wieder eintreten) in das Modell
  • Die Vertrauensgrenzen, die ein Entwickler besitzt versus erbt
  • Warum KI-Angriffe semantisch und nicht syntaktisch sind
  • Die OWASP LLM Top 10 auf den geschriebenen Code abbilden

Wichtige Erkenntnis: Jeder Ort, an dem nicht vertrauenswürdiger Text das Modell erreicht — oder die Modellausgabe Ihren Code — ist eine Grenze, die Ihnen gehört.

Modul 2 — Prompt-Injection für Entwickler

Lab: Lab 01 — 01-Prompt-Injection

Der „SQL-Injection-Moment“ für KI — aber Sie können ihn nicht vollständig entkommen.

Themen: 

  • Direkte versus indirekte Prompt-Injection
  • Versteckte Anweisungen in Dokumenten, Webseiten, Tool-Ausgaben
  • Jailbreaks und Rollenverwechslung
  • Warum die Trennung von Anweisung und Daten wichtig ist
  • Defensives Prompt-Design (Delimiters, Struktur, minimale Autorität)
  • Warum Prävention nur teilweise funktioniert — Design für Eindämmung

Praxis:

  • Greifen Sie Ihren eigenen Chatbot an
  • Umgehen Sie einen naiven Filter
  • Strukturieren Sie den Prompt um, um die Explosionsradius zu verringern

Modul 3 — Modellausgaben als nicht vertrauenswürdig behandeln

Lab: Lab 02 — 02-Output-Handling

Die Fehlerklasse, die Entwickler am meisten unterschätzen.

Themen:

  • Modellausgabe als nicht vertrauenswürdige Eingabe für den Rest der App
  • Unsicherer Umgang mit Ausgaben (LLM02): XSS, SSRF, Befehls-/SQL-Injection im weiteren Verlauf
  • Raw-Modellausgaben niemals eval/exec/rendern
  • G strukturierte Ausnahmen und Schema-Validierung
  • Ausgaben-Kodierung und Allowlists
  • Sicheres Rendern in Web-/UI-Kontexten

Praxis:

  • Eine unsichere Ausgabe-Verarbeitungslücke finden und beheben
  • Ein JSON-Schema für Modellausantworten durchsetzen

Modul 4 — RAG-Sicherheit

Lab: Lab 03 — 03-RAG-Security

Eine der größten neuen Angriffsflächen — und sie gehört Ihnen, sie zu bauen.

Themen:

  • Vector-DB- und Retrieval-Bedrohungen
  • Sanitization bei der Aufnahme
  • Dokumentenherkunft und Vertrauensbewertung
  • Einschränkung des Retrievals und metadata-Isolation
  • Versteckte Anweisungen in abgerufenen Inhalten (indirekte Injection)
  • Datenexfiltration via Retrieval

Praxis: - Vergiften Sie eine RAG-Pipeline mit einem böswilligen Dokument - Fügen Sie Sanitization bei der Aufnahme und Einschränkung des Retrievals hinzu, um es zu verteidigen

Modul 5 — Agenten- & Tool-Sicherheit

Lab: Lab 04 — 04-Agent-Safety

Wo ein Fehler zu einer Handlung wird.

Themen:

  • Zu viel Hoheit (LLM06) und Tool-Missbrauch
  • Geringste Rechte für Agenten
  • Tool-Allowlists und Argumentvalidierung
  • Genehmigungsstufen und Human-in-the-Loop
  • Sandboxing der Tool-Ausführung
  • Eingeschränkte, kurzlebige Anmeldeinformationen für Agenten
  • Autonome Schleifen und Kettenschaltung einschränken

Praxis:

  • Einen zu stark berechtigten Agenten absichern
  • Eine Allowlist + Genehmigungsstufe zu einem gefährlichen Tool hinzufügen

Modul 6 — Geheimnisse, Identität & Kosten

Lab: Lab 05 — 05-Secrets-and-Cost

Die operativen Fehler, die am schnellsten wehtun.

Themen:

  • API-Schlüssel- und Geheimnisverwaltung (niemals in Prompts, Code oder Logs)
  • Pro-Benutzer-Authentifizierung und -Autorisierung für KI-Features
  • Weitergeben der Benutzeridentität an Tools und Retrieval
  • Denial-of-Wallet: unbegrenzter Token-/Kostenverbrauch
  • Rate-Limits, Token-Budgets und Timeouts
  • Logging ohne Auslaufen von Geheimnissen oder PII

Praxis:

  • Geheimnisse aus dem Prompt-/Code-Pfad entfernen
  • Pro-Benutzer-Rate-Limits und ein Token-/Kostenbudget hinzufügen

Modul 7 — Guardrail-Bibliotheken

Lab: Lab 06 — 06-Guardrails

Kaufen versus Bauen für Eingabe-/Ausgabesicherheit.

Themen:

  • Was Guardrail-Frameworks tun (und nicht tun)
  • Eingabeguardrails: Injection-/PII-/Themaklassifikatoren
  • Ausgabeguardrails: Validierung, Filterung, Grounding-Checks
  • Wann ein Guardrail angemessen ist versus Ihre eigene deterministische Prüfung
  • Verschachteln von Guardrails mit den Kontrollen aus früheren Modulen
  • Leistung, False Positives und Fehlermodi

Praxis:

  • Eine Eingabe-/Ausgabe-Guardrail-Schicht zu einem KI-Feature hinzufügen
  • Messen Sie, was es fängt und was es verpasst

Modul 8 — Red-Teaming der eigenen App

Lab: Lab 07 — 07-Red-Teaming

Stellen Sie es so bereit, als hätte ein Angreifer es bereits übernommen.

Themen:

  • Erstellen einer Abuse-/Test-Suite für KI-Features
  • Automatisierte Prompt-Injection- und Jailbreak-Tests
  • Regressionstests für Guardrails und Richtlinien
  • Ausführen von KI-Sicherheitschecks in CI
  • Modell- und Abhängigkeitslieferkette (Herkunft, Pinning)
  • Eine Pre-Ship-Sicherheitscheckliste für KI-Features

Praxis: 

  • Automatisierte Red-Team-Tests für ein KI-Feature schreiben
  • Sie in einen CI-Check integrieren

Modul 9 — Bewertung der KI-Sicherheit: Das SAIS-100-Framework

Lab: Keines — Bewertungsübung (verwendet die Capstone-App)

Machen Sie alles, was Sie gebaut haben, zu einer wiederholbaren Bewertung.

Themen:

  • Der KI-Sicherheits-Hexagon: sechs Fragen statt „Ist es sicher?“
  • Die sechs bewerteten Kategorien (Daten, Prompt, Agent, Lieferkette, Detektion, Governance)
  • Die 100-Punkte-Rubrik und ihre Gewichtungen
  • Urteil-Bänder und die Single-Category-Override-Regel
  • Der Elephant Scale Secure AI Score (SAIS-100) als brandfähiges, wiederholbares Framework
  • Bewertung vor/nach härten als Metrik

Praxis:

  • Bewerten Sie die Capstone-App auf der 100-Punkte-Skala
  • Nennen Sie die einzelne Änderung, die den Score am meisten erhöht

Wichtige Erkenntnis: Die drei höchstgewichteten Kategorien entsprechen den Vertrauensgrenzen, die ein Entwickler besitzt — also misst der Score genau das, was dieser Kurs gelehrt hat.

Capstone

Die Teilnehmenden härten eine absichtlich verwundbare KI-Anwendung durchgehend ab.

Die Starter-App enthält:

  • Einen injizierbaren Prompt
  • Unsichere Ausgabe-Verarbeitung
  • Eine uneingeschränkte RAG-Pipeline
  • Einen zu stark berechtigten Agenten
  • Geheimnisse im Prompt-Pfad
  • Keine Kostenlimits

Die Teilnehmenden wenden den Kurs an:

  • Prompts für Eindämmung umstrukturieren
  • Modellausgaben validieren und kodieren
  • Retrieval sanitisieren und einschränken
  • Geringste Rechte und Genehmigungsstufen auf den Agenten anwenden
  • Geheimnisse entfernen und Kosten-/Rate-Limits hinzufügen
  • Guardrails und automatisierte Red-Team-Tests hinzufügen

Lieferung: eine gehärtete App plus eine kurze OWASP LLM Top 10-Selbstbewertung.

Modul - Lab-Zuordnung

Labs werden in der Lab-Reihenfolge ausgeführt, die der Modulreihenfolge folgt. Der Kurs hat 9 Module und 7 Labs: Modul 1 ist ein Architektur-Durchlauf/eine Diskussion und Modul 9 ist eine Bewertungsübung, daher hat keines davon einen eigenen Lab-Ordner.

  • Lab 01 - 01-Prompt-Injection: Greifen Sie Ihren Chatbot an & Design für Eindämmung (Modul 2)
  • Lab 02 - 02-Output-Handling: Beheben Sie einen Bug für unsichere Ausgabe-Verarbeitung (Modul 3)
  • Lab 03 - 03-RAG-Security: Vergiften und dann verteidigen Sie eine RAG-Pipeline (Modul 4)
  • Lab 04 - 04-Agent-Safety: Sichern Sie einen zu stark berechtigten Agenten (Modul 5)
  • Lab 05 - 05-Secrets-and-Cost: Schlüssel sichern + Kostenschutz hinzufügen (Modul 6)
  • Lab 06 - 06-Guardrails: Eine Eingabe-/Ausgabe-Guardrail-Schicht hinzufügen (Modul 7)
  • Lab 07 - 07-Red-Teaming: Automatisierte Red-Team-Tests in CI (Modul 8)

Modul 1 (Wie KI-Apps versagen) hat kein Lab — es wird als Architektur-Durchlauf und Diskussion durchgeführt. Modul 9 (KI-Sicherheit bewerten) hat keinen Lab-Ordner — es wird als Bewertungsübung gegen die Capstone-App durchgeführt.

Voraussetzungen

  • Fachkunde-Stufe: Fortgeschritten (Intermediate).
  • Die Teilnehmenden sollten folgende Kenntnisse haben: Aufbau und Konsum von REST-APIs, eine Skriptsprache (die Labs verwenden Python), grundlegende Anwendungsa Authentifizierung, Git und die CLI.
  • Kein maschinelles Lernwissen ist erforderlich – dies ist ein Anwendungssicherheitskurs für Menschen, die mit LLMs bauen, nicht für solche, die sie trainieren.

Zielgruppe

  • Software-/Backend-Engineers, die LLM-Features entwickeln
  • Fullstack- und API-Entwickler
  • AI/ML-Anwendungsingenieure
  • Platform Engineers, die Copilots und Agenten bereitstellen
  • Tech Leads und Senior Engineers, die für KI-Features verantwortlich sind
 21 Stunden

Teilnehmerzahl


Preis je Teilnehmer (exkl. USt)

Erfahrungsberichte (2)

Kommende Kurse

Verwandte Kategorien