Kontakt aufnehmen

Schulungsübersicht

Offline-Bereitstellung von EXO

  • Nutzung von EXO_OFFLINE zur Verhinderung des Internetzugriffs während der Laufzeit
  • Vorladen von Modellen in EXO_MODELS_READ_ONLY_DIRS von vertrauenswürdigen internen Spiegelservern
  • Überprüfung der Modellgewichtsintegrität mittels SHA-256-Prüfsummen und signierten Model Cards
  • Betrieb von EXO in abgeschotteten Netzwerken (Air-Gap) ohne Abhängigkeiten von HuggingFace

Steuerung des Dashboard- und API-Zugriffs

  • Installation und Konfiguration von Reverse Proxies (nginx, Caddy) mit TLS-Terminierung
  • Implementierung einer rollenbasierten Zugriffskontrolle für das EXO-Dashboard und die REST-API
  • Nutzung des macOS-Schlüsselbundes oder von Linux 'pass' zur Speicherung von Geheimnissen für die API-Authentifizierung
  • Einschränkung der administrativen Endpunkte auf bestimmte Quell-IP-Bereiche

Cluster-Isolierung und Netzwerksicherheit

  • Segmentierung von EXO-Clustern mit EXO_LIBP2P_NAMESPACE und VLANs
  • Konfiguration von Host-Firewalls (macOS-Anwendungsfenster, iptables, nftables) für EXO-Ports
  • Verhinderung unberechtigter Geräteerkennung und Einspeisung falscher Knoten
  • Verschlüsselung des libp2p-Datenverkehrs zwischen Knoten, wenn RDMA nicht verfügbar ist

Modell-Governance und Herkunft (Provenance)

  • Aufbau eines internen Modellregisters mit genehmigten Modelllisten und Metadaten
  • Kennzeichnung und Versionierung von quantisierten Gewichten (4-Bit, 8-Bit) zusammen mit den ursprünglichen Checkpoints
  • Durchsetzung, dass nur bestimmte HuggingFace-Repos oder interne Artefakte geladen werden dürfen
  • Dokumentation der Modellabstammung, Lizenzbestimmungen und Richtlinien für die akzeptable Nutzung

Audit-Protokollierung und Compliance

  • Konfiguration des EXO-Log-Forwardings zu unveränderlichen Audit-Trails (SIEM, WORM-Speicher)
  • Korrelation von API-Aufrufprotokollen mit Benutzeridentität und Zeitstempel
  • Erfassung von Ereignissen zur Erstellung und Löschung von Modellan Instanzen sowie zu Inferenzanfragen
  • Erstellung regelmäßiger Compliance-Berichte für interne und externe Prüfer

Bedrohungsmodellierung und Incident Response

  • Identifizierung von Bedrohungen: Datenexfiltration über Modellausgaben, Prompt-Injection, Side-Channel-Lecks
  • Implementierung von Prompt-Monitoring und Content-Filtering-Pipelines
  • Erstellung von Incident-Response-Runbooks für Szenarien eines Cluster-Kompromitts
  • Isolierung betroffener Knoten, Sicherung forensischer Protokolle und Neuerstellung sauberer Umgebungen

Physische Sicherheit und Hardware-Grenzen

  • Absicherung von Thunderbolt-Anschlüssen gegen unberechtigte RDMA-Kabelverbindungen
  • Nutzung sicherer Enklaven und der Apple Silicon Hardware-Attestierung, wo zutreffend
  • Kontrolle des physischen Zugriffs auf clustergebundene Macs und gemeinsame Speicherlösungen
  • Dokumentation des Lebenszyklus der Hardware sowie Verfahren zur Außerbetriebnahme

Regulatorische Aspekte

  • Abbildung von EXO-Bereitstellungen auf die Anforderungen von GDPR, HIPAA und SOC 2
  • Aufrechterhaltung der Datenresidenz durch Aufrechterhaltung der Inferenz vor Ort
  • Dokumentation von Lieferanten-Lieferkettenrisiken (MLX, EXO, Modellgewichte)
  • Vorbereitung auf KI-Governance-Rahmenwerke wie Artikel 53 des EU AI Act

Voraussetzungen

  • Erfahrung mit EXO oder einer anderen lokalen LLM-Laufzeitumgebung
  • Verständnis von Unix-Dateisystemberechtigungen und Netzwerk-ACLs
  • Kenntnisse im Umgang mit TLS/SSL-Zertifikaten und Grundlagen der Verschlüsselung

Zielgruppe

  • Sicherheitsexperten
  • Compliance-Verantwortliche
  • KI-Infrastrukturadministratoren, die mit sensiblen Daten umgehen
 14 Stunden

Teilnehmerzahl


Preis je Teilnehmer (exkl. USt)

Erfahrungsberichte (1)

Kommende Kurse

Verwandte Kategorien