Kontakt aufnehmen

Schulungsübersicht

Einführung in die Ollama-Skalierung

  • Ollamas Architektur und Aspekte der Skalierbarkeit
  • Häufige Engpässe bei Multi-User-Deployments
  • Best Practices für die Infrastruktur-Bereitstellung

Ressourcenzuteilung und GPU-Optimierung

  • Effiziente CPU/GPU-Nutzungsstrategien
  • Aspekte des Speichers und der Bandbreite
  • Ressourcenbeschränkungen auf Container-Ebene

Deployment mit Containern und Kubernetes

  • Containarisierung von Ollama mit Docker
  • Ausführen von Ollama in Kubernetes-Clustern
  • Lastverteilung und Service Discovery

Auto-Scaling und Batching

  • Entwurf von Auto-Scaling-Policies für Ollama
  • Batch-Inference-Techniken zur Optimierung des Durchsatzes
  • Trade-offs zwischen Latenz und Durchsatz

Latenzoptimierung

  • Profiling der Inference-Leistung
  • Caching-Strategien und Model-Warm-Up
  • Reduzierung des E/A- und Kommunikations-Overheads

Monitoring und Observability

  • Anbindung von Prometheus für Metriken
  • Erstellung von Dashboards mit Grafana
  • Alarmierung und Incident Response für die Ollama-Infrastruktur

Kostenmanagement und Skalierungsstrategien

  • Kostensensitive GPU-Zuteilung
  • Überlegungen zu Cloud- vs. On-Premise-Deployments
  • Strategien für nachhaltiges Skalieren

Zusammenfassung und nächste Schritte

Voraussetzungen

  • Erfahrung in der Linux-Systemverwaltung
  • Verständnis von Containerisierung und Orchestrierung
  • Kenntnisse im Deployment von Machine-Learning-Modellen

Zielgruppe

  • DevOps-Ingenieur:innen
  • Teams für ML-Infrastruktur
  • Site-Reliability-Ingenieur:innen
 21 Stunden

Teilnehmerzahl


Preis je Teilnehmer (exkl. USt)

Kommende Kurse

Verwandte Kategorien