Schulungsübersicht
Einführung in das Red Teaming für KI
- Verständnis des KI-Gefährdungsgebiets
- Rollen von Red Teams in der KI-Sicherheit
- Ethische und rechtliche Überlegungen
Adversariales maschinelles Lernen
- Arten von Angriffen: Evasion, Vergiftung, Extraktion, Inferenz
- Generierung adversarischer Beispiele (z. B. FGSM, PGD)
- Zielgerichtete vs. nicht zielgerichtete Angriffe und Erfolgsmaße
Überprüfung der Modellrobustheit
- Bewertung der Robustheit unter Störungen
- Erforschung von Modellblindflecken und Fehlern
- Stress-Tests für Klassifikations-, Vision- und NLP-Modelle
Red Teaming von KI-Pipelines
- Angriffsfläche von KI-Pipelines: Daten, Modell, Bereitstellung
- Ausnutzen unsicherer Modell-APIs und -Endpunkte
- Reverse Engineering des Modellverhaltens und der Ausgaben
Simulation und Werkzeuge
- Verwendung des Adversarial Robustness Toolboxes (ART)
- Red Teaming mit Werkzeugen wie TextAttack und IBM ART
- Sandboxing, Überwachung und Observabilitätswerkzeuge
AI-Red-Team-Strategie und Verteidigungs-Zusammenarbeit
- Entwicklung von Red-Team-Übungen und Zielen
- Kommunikation der Erkenntnisse mit Blue Teams
- Integration des Red Teaming in die KI-Risikomanagementstrategien
Zusammenfassung und weitere Schritte
Voraussetzungen
- Ein Verständnis von maschinellem Lernen und tiefen Lernarchitekturen
- Erfahrung mit Python und ML-Frameworks (z. B. TensorFlow, PyTorch)
- Vertrautheit mit Sicherheitskonzepten oder offensiven Sicherheitstechniken
Zielgruppe
- Sicherheitsforscher
- Offensiv-Sicherheitsteams
- KI-Garantie- und Red-Team-Profis
Erfahrungsberichte (2)
Ich habe viel Spaß beim Erlernen von KI-Angriffen und den verfügbaren Tools gehabt, um mit Sicherheitsprüfungen zu beginnen und diese aktiv einzusetzen. Ich habe viele neue Erkenntnisse gewonnen, die ich zuvor noch nicht hatte, und der Kurs hat meine Erwartungen erfüllt. Mein Lieblingsbereich aus dem Training war der Comet Browser, und ich war von seinen Möglichkeiten beeindruckt. Auf jeden Fall werde ich mich damit intensiver beschäftigen. Insgesamt war es ein großartiger Kurs, und ich habe das Lernen über die OWASP GenAI Top 10 sehr genossen.
Patrick Collins - Optum
Kurs - OWASP GenAI Security
Maschinelle Übersetzung
Das professionelle Wissen und die Art, wie er es uns präsentierte
Miroslav Nachev - PUBLIC COURSE
Kurs - Cybersecurity in AI Systems
Maschinelle Übersetzung