Vielen Dank für die Zusendung Ihrer Anfrage! Eines unserer Teammitglieder wird Sie in Kürze kontaktieren.
Vielen Dank, dass Sie Ihre Buchung abgeschickt haben! Eines unserer Teammitglieder wird Sie in Kürze kontaktieren.
Schulungsübersicht
Offline-Bereitstellung von EXO
- Nutzung von EXO_OFFLINE zur Verhinderung des Internetzugriffs während der Laufzeit
- Vorladen von Modellen in EXO_MODELS_READ_ONLY_DIRS von vertrauenswürdigen internen Spiegelservern
- Überprüfung der Modellgewichtsintegrität mittels SHA-256-Prüfsummen und signierten Model Cards
- Betrieb von EXO in abgeschotteten Netzwerken (Air-Gap) ohne Abhängigkeiten von HuggingFace
Steuerung des Dashboard- und API-Zugriffs
- Installation und Konfiguration von Reverse Proxies (nginx, Caddy) mit TLS-Terminierung
- Implementierung einer rollenbasierten Zugriffskontrolle für das EXO-Dashboard und die REST-API
- Nutzung des macOS-Schlüsselbundes oder von Linux 'pass' zur Speicherung von Geheimnissen für die API-Authentifizierung
- Einschränkung der administrativen Endpunkte auf bestimmte Quell-IP-Bereiche
Cluster-Isolierung und Netzwerksicherheit
- Segmentierung von EXO-Clustern mit EXO_LIBP2P_NAMESPACE und VLANs
- Konfiguration von Host-Firewalls (macOS-Anwendungsfenster, iptables, nftables) für EXO-Ports
- Verhinderung unberechtigter Geräteerkennung und Einspeisung falscher Knoten
- Verschlüsselung des libp2p-Datenverkehrs zwischen Knoten, wenn RDMA nicht verfügbar ist
Modell-Governance und Herkunft (Provenance)
- Aufbau eines internen Modellregisters mit genehmigten Modelllisten und Metadaten
- Kennzeichnung und Versionierung von quantisierten Gewichten (4-Bit, 8-Bit) zusammen mit den ursprünglichen Checkpoints
- Durchsetzung, dass nur bestimmte HuggingFace-Repos oder interne Artefakte geladen werden dürfen
- Dokumentation der Modellabstammung, Lizenzbestimmungen und Richtlinien für die akzeptable Nutzung
Audit-Protokollierung und Compliance
- Konfiguration des EXO-Log-Forwardings zu unveränderlichen Audit-Trails (SIEM, WORM-Speicher)
- Korrelation von API-Aufrufprotokollen mit Benutzeridentität und Zeitstempel
- Erfassung von Ereignissen zur Erstellung und Löschung von Modellan Instanzen sowie zu Inferenzanfragen
- Erstellung regelmäßiger Compliance-Berichte für interne und externe Prüfer
Bedrohungsmodellierung und Incident Response
- Identifizierung von Bedrohungen: Datenexfiltration über Modellausgaben, Prompt-Injection, Side-Channel-Lecks
- Implementierung von Prompt-Monitoring und Content-Filtering-Pipelines
- Erstellung von Incident-Response-Runbooks für Szenarien eines Cluster-Kompromitts
- Isolierung betroffener Knoten, Sicherung forensischer Protokolle und Neuerstellung sauberer Umgebungen
Physische Sicherheit und Hardware-Grenzen
- Absicherung von Thunderbolt-Anschlüssen gegen unberechtigte RDMA-Kabelverbindungen
- Nutzung sicherer Enklaven und der Apple Silicon Hardware-Attestierung, wo zutreffend
- Kontrolle des physischen Zugriffs auf clustergebundene Macs und gemeinsame Speicherlösungen
- Dokumentation des Lebenszyklus der Hardware sowie Verfahren zur Außerbetriebnahme
Regulatorische Aspekte
- Abbildung von EXO-Bereitstellungen auf die Anforderungen von GDPR, HIPAA und SOC 2
- Aufrechterhaltung der Datenresidenz durch Aufrechterhaltung der Inferenz vor Ort
- Dokumentation von Lieferanten-Lieferkettenrisiken (MLX, EXO, Modellgewichte)
- Vorbereitung auf KI-Governance-Rahmenwerke wie Artikel 53 des EU AI Act
Voraussetzungen
- Erfahrung mit EXO oder einer anderen lokalen LLM-Laufzeitumgebung
- Verständnis von Unix-Dateisystemberechtigungen und Netzwerk-ACLs
- Kenntnisse im Umgang mit TLS/SSL-Zertifikaten und Grundlagen der Verschlüsselung
Zielgruppe
- Sicherheitsexperten
- Compliance-Verantwortliche
- KI-Infrastrukturadministratoren, die mit sensiblen Daten umgehen
14 Stunden
Erfahrungsberichte (1)
Der Trainer hatte ein ausgezeichnetes Wissen über FortiGate und vermittelte den Inhalt sehr gut. Vielen Dank an Soroush.
Colin Donohue - Technological University of the Shannon: Midlands Midwest
Kurs - FortiGate 7.4 Administration
Maschinelle Übersetzung