Ollama: Selbst gehostete Large Language Models, die die APIs von OpenAI und Claude ersetzen Schulung
Ollama ist ein quelloffenes Tool zum lokalen Ausführen von Large Language Models auf Consumer- und Enterprise-Hardware. Es kapselt Modellquantisierung, GPU-Zuweisung und API-Bereitstellung in einer einzigen Befehlszeilenschnittstelle und ermöglicht es Organisationen, LLMs wie Llama, Mistral und Qwen selbst zu hosten, ohne Prompts oder Daten an OpenAI, Anthropic oder Google zu senden.
Dieser Instructor-Led, Live-Training (online oder vor Ort) richtet sich an erfahrene KI-Ingenieure und Plattformbetreiber, die Ollama nutzen möchten, um Cloud-LLM-APIs durch selbst gehostete, souveräne Sprachmodell-Inferenz zu ersetzen.
Nach Abschluss dieses Trainings werden die Teilnehmer in der Lage sein:
- Ollama auf Linux, macOS und Windows mit GPU-Unterstützung zu installieren.
- Modelle aus dem Ollama-Registry und HuggingFace zu ziehen, zu quantisieren und bereitzustellen.
- Individuelle Modelfiles mit System-Prompts und Parameteranpassungen zu erstellen.
- Lokale LLMs über die OpenAI-kompatible API in Anwendungen zu integrieren.
- Die Inferenzleistung für CPU-Only- und Multi-GPU-Konfigurationen zu optimieren.
Kursformat
- Interaktiver Vortrag und Diskussion.
- Viele Übungen und praktische Anwendungen.
- Praxisnahe Implementierung in einer Live-Lab-Umgebung.
Maßschneiderungsoptionen für den Kurs
- Um ein maßgeschneidertes Training für diesen Kurs zu beantragen, kontaktieren Sie uns bitte zur Vereinbarung.
Schulungsübersicht
KI-Souveränität und lokale Bereitstellung von LLMs
- Risiken von Cloud-LLMs: Datenspeicherung, Training mit Eingaben, ausländische Jurisdiktion.
- Ollama-Architektur: Modellservier, Registry und OpenAI-kompatible API.
- Vergleich mit vLLM, llama.cpp und Text Generation Inference.
- Modelllizenzen: Bedingungen für Llama, Mistral, Qwen und Gemma.
Installation und Hardwareeinrichtung
- Installation von Ollama auf Linux mit CUDA- und ROCm-Unterstützung.
- Fallback für CPU-only und AVX/AVX2-Optimierung.
- Docker-Bereitstellung und persistente Volume-Zuordnung.
- Multi-GPU-Einrichtung und VRAM-Zuweisungsstrategien.
Modellverwaltung
- Abrufen von Modellen aus dem Ollama-Registry: ollama pull llama3.
- Importieren von GGUF-Modellen von HuggingFace und TheBloke.
- Quantisierungsstufen: Q4_K_M, Q5_K_M, Q8_0 und deren Abwägungen.
- Modellwechsel und Limits für gleichzeitiges Laden von Modellen.
Individuelle Modelfiles
- Schreiben der Modelfile-Syntax: FROM, PARAMETER, SYSTEM, TEMPLATE.
- Anpassung von Temperatur, top_p und repeat_penalty.
- System-Prompt-Engineering für rollenspezifisches Verhalten.
- Erstellen und Veröffentlichen benutzerdefinierter Modelle im lokalen Registry.
API-Integration
- OpenAI-kompatibles /v1/chat/completions-Endpunkt.
- Streaming-Antworten und JSON-Modus.
- Integration mit LangChain, LlamaIndex und benutzerdefinierten Apps.
- Authentifizierung und Rate-Limiting über Reverse Proxy.
Leistungsoptimierung
- Kontextfenster-Größe und KV-Cache-Verwaltung.
- Batch-Inferenz und parallele Anforderungsverarbeitung.
- CPU-Thread-Zuweisung und NUMA-Bewusstsein.
- Überwachung der GPU-Auslastung und Speicherdruck.
Sicherheit und Compliance
- Netzwerkisolation für Modellservier-Endpunkte.
- Eingabe-Filterung und Ausgabemoderation-Pipelines.
- Audit-Protokollierung von Prompts und Fertigstellungen.
- Modellherkunft und Hash-Verifikation.
Voraussetzungen
- Mittelstufe in Linux- und Container-Verwaltung.
- Grundlegendes Verständnis von Machine Learning und Transformer-Modellen auf hoher Ebene.
- Bekanntschaft mit REST-APIs und JSON.
Zielgruppe
- KI-Ingenieure und Entwickler, die Cloud-LLM-APIs ersetzen möchten.
- Organisationen mit hohen Datenschutzanforderungen, die eine Nutzung von Cloud-Modellen ausschließen.
- Regierungs- und Verteidigungsteams, die luftgetrennte (air-gapped) Sprachmodelle benötigen.
Offene Schulungskurse erfordern mindestens 5 Teilnehmer.
Ollama: Selbst gehostete Large Language Models, die die APIs von OpenAI und Claude ersetzen Schulung - Buchung
Ollama: Selbst gehostete Large Language Models, die die APIs von OpenAI und Claude ersetzen Schulung - Anfrage
Ollama: Selbst gehostete Large Language Models, die die APIs von OpenAI und Claude ersetzen - Beratungsanfrage
Kommende Kurse
Kombinierte Kurse
Fortgeschrittenes Debuggen und Bewerten von Ollama-Modellen
35 StundenFortgeschrittenes Debuggen und Bewerten von Ollama-Modellen ist ein intensiver Kurs, der sich auf das Diagnostizieren, Testen und Messen des Modellverhaltens bei lokalen oder privaten Ollama-Bereitstellungen konzentriert.
Dieser vom Dozenten geleitete Live-Kurs (online oder vor Ort) richtet sich an fortgeschrittene KI-Ingenieure, MLOps-Experten und QA-Praktiker, die die Zuverlässigkeit, Genauigkeit und operative Bereitschaft von Ollama-basierten Modellen in der Produktion sicherstellen möchten.
Nach Abschluss dieses Trainings können die Teilnehmer:
- Systematisches Debuggen von Ollama-hosteten Modellen durchführen und Fehlermoden zuverlässig reproduzieren.
- Fundierte Evaluierungs-Pipelines mit quantitativen und qualitativen Metriken entwerfen und ausführen.
- Beobachtbarkeit (Logs, Traces, Metriken) implementieren, um die Modellgesundheit und Drift zu überwachen.
- Testing, Validierung und Regressionstests automatisieren und in CI/CD-Pipelines integrieren.
Kursformat
- Interaktive Vorlesungen und Diskussionen.
- Praxislabs und Debugging-Übungen mit Ollama-Bereitstellungen.
- Fallstudien, Gruppen-Fehlersuchsitzungen und Automatisierungs-Workshops.
Anpassungsoptionen des Kurses
- Um ein maßgeschneidertes Training für diesen Kurs anzufordern, kontaktieren Sie uns bitte zur Vereinbarung.
Private KI-Workflows mit Ollama aufbauen
14 StundenDiese live stattfindende Schulung mit Trainerleitung an <Ort> (online oder vor Ort) richtet sich an fortgeschrittene Fachkräfte, die sichere und effiziente KI-gestützte Workflows mit Ollama implementieren möchten.
Nach Abschluss dieser Schulung sind die Teilnehmer in der Lage:
- Ollama für private KI-Verarbeitung bereitzustellen und zu konfigurieren.
- KI-Modelle in sichere Unternehmensworkflows zu integrieren.
- Die KI-Leistung zu optimieren, wobei die Datenprivatsphäre gewahrt bleibt.
- Geschäftsprozesse mit lokalen (On-Premise) KI-Funktionen zu automatisieren.
- Die Einhaltung unternehmensweiter Sicherheits- und Governance-Richtlinien sicherzustellen.
Bereitstellung und Optimierung von LLMs mit Ollama
14 StundenDieser dozentengeleitete Live-Trainingkurs in Österreich (online oder vor Ort) richtet sich an Fachkräfte mit mittlerem Kenntnisstand, die LLMs mit Ollama bereitstellen, optimieren und integrieren möchten.
Nach Abschluss dieses Trainings können die Teilnehmer:
- LLMs mit Ollama einrichten und bereitstellen.
- KI-Modelle für Leistung und Effizienz optimieren.
- GPU-Beschleunigung nutzen, um die Inferenzgeschwindigkeit zu verbessern.
- Ollama in Workflows und Anwendungen integrieren.
- Die Leistung von KI-Modellen über die Zeit hinweg überwachen und warten.
EXO: End-to-End-Bereitstellung eines lokalen KI-Cluster
21 StundenDieses dozentengestützte Live-Training in Österreich (online oder vor Ort) richtet sich an Systemadministratoren und DevOps-Ingenieure, die EXO-Cluster für private LLM-Inferenz über mehrere Apple-Silicon- oder Linux-Knoten bereitstellen, konfigurieren und verwalten möchten.
EXO für DevOps: Aufbau privater AI-Infrastruktur
21 StundenDieses instruktionsgeleitete Live-Training in Österreich (online oder vor Ort) richtet sich an DevOps-Ingenieure und Architekturverantwortliche, die die Bereitstellung, Überwachung und Lebenszyklusverwaltung privater AI-Cluster, die auf EXO basieren, automatisieren möchten.
EXO-Sicherheit und Governance: Management von Offline-Modellen
14 StundenDieses live angebotene Training in Österreich (online oder vor Ort) richtet sich an Sicherheitsexperten und Compliance-Verantwortliche, die EXO-Bereitstellungen härten, den Modellzugriff kontrollieren und KI-Workloads, die vollständig auf eigenen Servern laufen, steuern möchten.
Feinabstimmung und Anpassung von KI-Modellen in Ollama
14 StundenDieses instruktorengestützte, live stattfindende Training in Österreich (online oder vor Ort) richtet sich an fortgeschrittene Fachkräfte, die KI-Modelle in Ollama feinabstimmen und anpassen möchten, um die Leistung zu steigern und domänenspezifische Anwendungen zu realisieren.
Nach Abschluss dieses Trainings sind die Teilnehmenden in der Lage:
- eine effiziente Umgebung für die Feinabstimmung von KI-Modellen in Ollama einzurichten.
- Datensätze für supervised Fine-Tuning und Reinforcement Learning vorzubereiten.
- KI-Modelle hinsichtlich Leistung, Genauigkeit und Effizienz zu optimieren.
- angepasste Modelle in Produktionsumgebungen bereitzustellen.
- die Verbesserungen der Modelle zu bewerten und deren Robustheit sicherzustellen.
Sichere lokale agentic KI: On-Prem Ollama-Entwicklung für regulierte Branchen
21 StundenDieses dozentengeleitete Live-Training in Österreich (online oder vor Ort) richtet sich an Entwickler und technische Teams, die Ollama und Open-Source-Modelle nutzen möchten, um private agentic KI-Lösungen auf interner Infrastruktur zu erstellen und betreiben.
Nach Abschluss dieses Trainings können Teilnehmer:innen Ollama installieren und konfigurieren, Open-Source-Modelle lokal evaluieren und ausführen, einfache agentic und retrieval-basierte Workflows erstellen sowie Sicherheits- und Governance-Kontrollen für regulierte Umgebungen anwenden.
Multimodale Anwendungen mit Ollama
21 StundenOllama ist eine Plattform, die das Ausführen und Fine-Tuning von großen Sprachmodellen und multimodalen Modellen lokal ermöglicht.
Diese live angebotene Schulung mit Dozenten (online oder vor Ort) richtet sich an fortgeschrittene ML-Ingenieure, KI-Forscher und Produktentwickler, die multimodale Anwendungen mit Ollama erstellen und bereitstellen möchten.
Am Ende dieser Schulung werden die Teilnehmer in der Lage sein:
- Multimodale Modelle mit Ollama einzurichten und auszuführen.
- Text-, Bild- und Audioeingaben für reale Anwendungen zu integrieren.
- Dokumentverständnis und visuelle Frage-Antwort-Systeme (Visual QA) zu entwickeln.
- Multimodale Agenten zu entwickeln, die übergreifend in verschiedenen Modalitäten logisch schlussfolgern können.
Form der Schulung
- Interaktive Vorträge und Diskussionen.
- Praktische Übungen mit realen multimodalen Datensätzen.
- Liv-Lab-Implementierung multimodaler Pipelines unter Verwendung von Ollama.
Möglichkeiten zur Kursanpassung
- Um eine maßgeschneiderte Schulung für diesen Kurs anzufordern, kontaktieren Sie uns bitte zwecks Organisation.
Erste Schritte mit Ollama: Lokale KI-Modelle ausführen
7 StundenDieses von einem Dozenten geleitete, live stattfindende Training in Österreich (online oder vor Ort) richtet sich an Anfänger, die Ollama installieren, konfigurieren und zur Ausführung von KI-Modellen auf ihren lokalen Computern nutzen möchten.
Am Ende dieses Trainings können die Teilnehmer:
- Die Grundlagen von Ollama und dessen Möglichkeiten verstehen.
- Ollama für den Einsatz lokaler KI-Modelle einrichten.
- LLMs mit Ollama bereitstellen und mit diesen interagieren.
- Leistung und Ressourcennutzung für KI-Anwendungen optimieren.
- Anwendungsfälle für den lokalen KI-Einsatz in verschiedenen Branchen erkunden.
Ollama & Datenschutz: Sichere Bereitstellungsmodi
14 StundenOllama ist eine Plattform, die das lokale Ausführen von großen Sprachmodellen und Multimodal-Modellen ermöglicht und dabei sichere Bereitstellungsstrategien unterstützt.
Dieses instruktionsgeleitete Live-Training (online oder vor Ort) richtet sich an Fachleute auf mittlerem Niveau, die Ollama mit starken Datenschutzmaßnahmen und regulatorischer Compliance bereitstellen möchten.
Nach Abschluss dieser Schulung können Teilnehmer:
- Ollama sicher in containerisierten und On-Premise-Umgebungen bereitstellen.
- Techniken der differentiellen Privatsphäre anwenden, um sensible Daten zu schützen.
- Sichere Praktiken für Protokollierung, Überwachung und Auditierung implementieren.
- Datenzugriffskontrollen gemäß den Compliance-Anforderungen durchsetzen.
Kursformat
- Interaktive Vorträge und Diskussionen.
- Praxisnahe Laborübungen mit sicheren Bereitstellungsmodi.
- Compliance-fokussierte Fallstudien und praktische Übungen.
Anpassungsoptionen für den Kurs
- Um eine maßgeschneiderte Schulung für diesen Kurs anzufordern, kontaktieren Sie uns bitte zur Organisation.
Anwendungen von Ollama im Finanzwesen
14 StundenOllama ist eine leichte Plattform zum lokalen Ausführen großer Sprachmodelle (LLMs).
Dieses vom Dozenten geleitete Live-Training (online oder vor Ort) richtet sich an fortgeschrittene Finanzpraktiker und IT-Fachkräfte, die darauf abzielen, Ollama-basierte KI-Lösungen in Finanzumgebungen zu implementieren, anzupassen und produktiv einzusetzen.
Durch die Teilnahme an diesem Training erwerben die Teilnehmer die erforderlichen Fähigkeiten für:
- Die Bereitstellung und Konfiguration von Ollama für den sicheren Einsatz im Finanzbetrieb.
- Die Integration lokaler LLMs in analytische Berichtsworkflows.
- Die Anpassung der Modelle an finanzspezifische Begriffe und Aufgaben.
- Die Anwendung bewährter Praktiken für Sicherheit, Datenschutz und Compliance.
Kursformat
- Interaktive Vorträge und Diskussionen.
- Praxisnahe Übungen mit Finanzdaten.
- Live-Lab-Implementierung finanzorientierter Szenarien.
Optionen zur Kursanpassung
- Wenn Sie ein maßgeschneidertes Training für diesen Kurs wünschen, kontaktieren Sie uns bitte, um die Details zu vereinbaren.
Ollama-Anwendungen im Gesundheitswesen
14 StundenOllama ist eine leichte Plattform zum lokalen Ausführen von Large Language Models.
Dieser instructor-led-Live-Kurs (online oder vor Ort) richtet sich an medizinische Fachkräfte auf mittlerem Niveau und IT-Teams, die darauf abzielen, Ollama-basierte KI-Lösungen in klinischen und administrativen Umgebungen einzusetzen, anzupassen und produktiv zu betreiben.
Nach Abschluss dieser Schulung werden die Teilnehmer folgende Fähigkeiten erworben haben:
- Ollama für den sicheren Einsatz im Gesundheitswesen installieren und konfigurieren.
- Lokale LLMs in klinische Arbeitsabläufe und administrative Prozesse integrieren.
- Modelle für krankheitsspezifische Terminologie und Aufgaben anpassen.
- Bewährte Praktiken für Datenschutz, Sicherheit und regulatorische Compliance anwenden.
Formate des Kurses
- Interaktiver Vortrag und Diskussion.
- Praktische Demonstrationen und geführte Übungen.
- Praktische Implementierung in einer gesicherten Simulationsumgebung für das Gesundheitswesen.
Möglichkeiten zur Kursanpassung
- Um eine maßgeschneiderte Schulung für diesen Kurs anzufordern, nehmen Sie bitte Kontakt mit uns auf.
Ollama für Responsible AI und Governance
14 StundenOllama ist eine Plattform zum lokalen Ausführen großer Sprach- und multimodaler Modelle, die Governance und verantwortungsvolle KI-Praktiken unterstützt.
Diese vonInstruktoren geleitete Live-Schulung (online oder vor Ort) richtet sich an Fachleute auf fortgeschrittenem bis mittlerem Niveau, die Fairness, Transparenz und Verantwortlichkeit in mit Ollama betriebenen Anwendungen implementieren möchten.
Am Ende dieser Schulung werden die Teilnehmer:
- Prinzipien für verantwortungsvolle KI in Ollama-Deployments anwenden können.
- Content-Filtering- und Bias-Minderungsstrategien implementieren können.
- Governance-Workflows für KI-Ausrichtung und Prüfbereitschaft entwerfen können.
- Monitoring- und Berichterstattungsrahmen für Compliance etablieren können.
Format des Kurses
- Interaktiver Vortrag und Diskussion.
- Praxisorientierte Labors zur Entwerfung von Governance-Workflows.
- Fallstudien und auf Compliance fokussierte Übungen.
Anpassungsoptionen für den Kurs
- Um eine maßgeschneiderte Schulung für diesen Kurs anzufordern, wenden Sie sich bitte an uns, um die Details zu besprechen.
Souveräne KI für regulierte Organisationen: Kontrolle über Daten, Modelle und Inferenzumgebungen
7 StundenDiese Dozentengeleitete Live-Schulung in Österreich (online oder vor Ort) richtet sich an IT-Führungskräfte auf mittlerem Niveau, Compliance-Experten, Sicherheitsteams und Unternehmensarchitekten, die Souveränitätsprinzipien der KI sowie Governance-Richtlinien nutzen möchten, um KI-Umgebungen zu entwerfen, die sensible Daten schützen, Anforderungen an die Lokalisierung erfüllen und die Abhängigkeit von Anbietern verringern.
Am Ende dieser Schulung werden die Teilnehmer in der Lage sein: Souveräne-KI-Konzepte zu erläutern, Hosting- und Governance-Optionen zu bewerten, Kontrollen für Prompts und Logs zu definieren und einen praktischen Implementierungsfahrplan zu erstellen.
