Kontakt aufnehmen

Schulungsübersicht

Die AI-Bedrohungslandschaft

  • Warum KI-Sicherheit anders ist: Nicht-Determinismus, intransparente Entscheidungsfindung, Prompt als Angriffsfläche.
  • Angriffstaxonomie: Angriffe während des Trainings, der Inferenz und in der Lieferkette.
  • Das ML-Gegnermodell: Wer greift AI-Systeme an und warum?

OWASP Top 10 für LLM-Anwendungen

  • Prompt-Injection: Direkte und indirekte Angriffsvektoren.
  • Sichere Behandlung von Ausgaben und Cross-Plugin Request Forgery.
  • Data Poisoning beim Training und Schwachstellen in der Lieferkette.
  • Model Denial of Service, Offenlegung sensibler Informationen und übermäßige Handlungsmacht (Excessive Agency).
  • Hands-on-Übung: Ausnutzen jeder OWASP-Kategorie gegen eine Testanwendung.

Prompt-Injection und Jailbreak Red Teaming

  • Taxonomie von Injektionstechniken: Direkt, indirekt, Multi-Turn und Multi-Modal.
  • Automatisiertes Red Teaming mit Giskard, Garak und benutzerdefinierten Fuzzing-Tools.
  • Klassifizierung von Jailbreaks und Bewertung der Gegenmaßnahmen.
  • Erstellung eines Red-Team-Frameworks für kontinuierliche Sicherheitstests von LLMs.

Angriffe und Abwehrmaßnahmen auf Modellebene

  • Model Extraction: Diebstahl von Modellgewichten und Funktionalität über API-Abfragen.
  • Membership Inference: Feststellen, ob Daten im Trainingsset enthalten waren.
  • Adversarial Examples: Störungen, die Klassifikatoren und Embeddings täuschen.
  • Data Poisoning: Korrumpierung der Trainingsdaten, um Backdoors zu installieren oder die Leistung zu verschlechtern.

Sicherheitskontrollen für Eingabe und Ausgabe

  • Eingabesanitisierung über herkömmliche Web-Sicherheitsmaßnahmen hinaus.
  • Ausgabefilterung: Toxizität, PII-Leckage (Leckage personenbezogener Daten), halluzinierte Codeausführung.
  • Guardrails als Sicherheitsinfrastruktur: NeMo, Guardrails AI und benutzerdefinierte Richtlinien.
  • Erfassung strukturierter Ausgaben als Sicherheitsgrenze.

Sicherheit in der KI-Lieferkette

  • Modellherkunft: Überprüfung der Authentizität und Integrität des Modells.
  • Scanning von Abhängigkeiten für ML-Frameworks und Modellformate.
  • Sicheres Model Serving: Sandboxing, Netzwerkisolation und Least-Privilege-Zugriff.
  • Bewertung von feinabgestimmten und Community-Modellen auf eingebettete Malware.

Operative Sicherheit für AI-Systeme

  • Zugriffskontrollen für Model-Endpoints, Vektorspeicher und Agent-Tools.
  • Audit-Logging für jede Modellinteraktion und Entscheidung.
  • Incident Response für AI-spezifische Sicherheitsvorfälle: Wenn das Modell selbst kompromittiert ist.
  • Kontinuierliche Sicherheitstests in CI/CD für ML-Pipelines.

Aufbau eines KI-Sicherheitsprogramms

  • Reifegradmodell und Roadmap für AI-Sicherheit.
  • Integration der AI-Sicherheit in bestehende AppSec- und Cloud-Sicherheitsprogramme.
  • Governance-Rahmenwerke und aufkommende Regulierungen für AI-Systeme.
  • Erstellung und Pflege eines organisationalen Spielplans für AI-Sicherheit.

Voraussetzungen

  • Erfahrung mit dem Deployment von ML-Modellen oder LLM-Anwendungen in der Produktion.
  • Vertrautheit mit Sicherheitskonzepten wie Authentifizierung, Autorisierung und Threat Modeling.
  • Python-Kenntnisse für Übungen zum adversarialen Testen.

Zielgruppe

  • Sicherheitsingenieure, die sich in die Bedrohungsflächen von AI/ML vorwagen.
  • ML-Ingenieure, die für die Sicherheit und Robustheit von Modellen verantwortlich sind.
  • Red-Team-Mitglieder, die AI-Systeme in ihren Prüfungsumfang aufnehmen.
 14 Stunden

Teilnehmerzahl


Preis je Teilnehmer (exkl. USt)

Kommende Kurse

Verwandte Kategorien