Schulungsübersicht
Einführung in AI Red Teaming
- Verständnis der Bedrohungslage im Bereich KI
- Rollen von Red Teams in der KI-Sicherheit
- Ethische und rechtliche Aspekte
Adversarial Machine Learning
- Angriffsarten: Evasion, Poisoning, Extraction, Inference
- Generierung von Adversarial Examples (z. B. FGSM, PGD)
- Zielgerichtete vs. untargeted-Angriffe sowie Erfolgsmetriken
Testen der Modellrobustheit
- Bewertung der Robustheit unter Störungen
- Erkundung von Blindstellen und Fehlermodi des Modells
- Lasttests für Klassifikations-, Vision- und NLP-Modelle
Red Teaming von KI-Pipelines
- Angriffsfläche von KI-Pipelines: Daten, Modelle, Deployment
- Ausnutzen unsicherer Modell-APIs und Endpunkte
- Reverse Engineering des Modellverhaltens und der Ausgaben
Simulation und Tooling
- Verwendung der Adversarial Robustness Toolbox (ART)
- Red Teaming mit Tools wie TextAttack und IBM ART
- Sandboxing-, Monitoring- und Observability-Tools
Strategie für AI Red Teams und Zusammenarbeit bei Verteidigungsmaßnahmen
- Entwicklung von Red-Teaming-Übungen und Zielen
- Kommunikation der Ergebnisse an Blue Teams
- Integration von Red Teaming ins KI-Risikomanagement
Zusammenfassung und nächste Schritte
Voraussetzungen
- Kenntnisse in Machine-Learning- und Deep-Learning-Architekturen
- Erfahrung mit Python und ML-Frameworks (z. B. TensorFlow, PyTorch)
- Vertrautheit mit Koncepten der Cybersicherheit oder Techniken der Offensive Security
Zielgruppe
- Sicherheitsforscherinnen und -forscher
- Offensive-Security-Teams
- Fachkräfte für KI-Überwachung und Red Teaming
Erfahrungsberichte (2)
Ich habe viel Spaß beim Erlernen von KI-Angriffen und den verfügbaren Tools gehabt, um mit Sicherheitsprüfungen zu beginnen und diese aktiv einzusetzen. Ich habe viele neue Erkenntnisse gewonnen, die ich zuvor noch nicht hatte, und der Kurs hat meine Erwartungen erfüllt. Mein Lieblingsbereich aus dem Training war der Comet Browser, und ich war von seinen Möglichkeiten beeindruckt. Auf jeden Fall werde ich mich damit intensiver beschäftigen. Insgesamt war es ein großartiger Kurs, und ich habe das Lernen über die OWASP GenAI Top 10 sehr genossen.
Patrick Collins - Optum
Kurs - OWASP GenAI Security
Maschinelle Übersetzung
Das professionelle Wissen und die Art, wie er es uns präsentierte
Miroslav Nachev - PUBLIC COURSE
Kurs - Cybersecurity in AI Systems
Maschinelle Übersetzung