Schulungsübersicht
Kafka-Administrations-Grundlagen
- Wo Kafka in einer modernen Datenplattform einsetzt und typische Produktivverantwortlichkeiten.
- Kernkonzepte für Betreiber: Broker, Themen, Partitionen, Offsets, Consumer-Gruppen
- Grundlagen der Replikation: Leader und Follower, in-sync-Repliken, Verfügbarkeits-Tradeoffs
- Kafka-Betriebs-Highlights und gängige Termini in Runbooks.
KRaft-Modus und Clustergestaltung
- KRaft-Basis: Controller, Metadaten-Quorum, Wahlen und ihre operative Bedeutung.
- Deployment-Planung: Größenberechnung für Durchsatz, Partitionen, Retention und Wachstum.
- Node-Rollen und Layouts: kombiniert vs. dedizierte Controller, Betrachtungen zu Fehlertoleranzdomänen.
- Labor: Inspektion von KRaft-Metadaten, Überprüfung der Quorum-Integrität und Interpretation der Controller-Logs.
Installation, Konfiguration und Alltag-Betrieb
- Installationsansätze (Pakete, Tarball, Container) und was in Unternehmensumgebungen standardisiert werden sollte.
- Kernelemente der Broker-Konfiguration, die die Zuverlässigkeit beeinflussen: Listener, Replikation, Log-Verzeichnisse, Retention.
- Sicherer Service-Betrieb: Startreihenfolge, sauberer Shutdown und Validierungsprüfungen.
- Labor: Bereitstellung eines mehrknotigen Clusters, Überprüfung der Broker-Registrierung und Bestätigung des Baseline-Produzierens und -Konsumierens.
Verwaltung von Themen, Partitionen und Datenplatzierung
- Themenlebenszyklus mit der Kafka-CLI: Erstellen, Beschreiben, Konfiguration aktualisieren, Löschen.
- Wahl von Partitionen und Replikationsfaktoren für echte Workloads, einschließlich gängiger Anti-Patterns.
- Neuzuordnungen und Balancierung: Wann Partitionen verschoben werden sollten und wie der Fortschritt sicher überprüft wird.
- Labor: Themen erstellen, eine Partition umzuweisen auslösen, einen Broker-Ausfall simulieren und die Wiederherstellung bestätigen.
Kafka in der Produktion sichern
- TLS für Client- und Inter-Broker-Traffic: Zertifikate, Trust-Chains und Validierungsschritte.
- Authentifizierung mit SASL: Auswahl gängiger Mechanismen und Vermeidung von Fehlkonfigurationen.
- Autorisierung mit ACLs: Least-Privilege-Muster für Admins, Producer und Consumer.
- Labor: TLS und SASL aktivieren, Client-Konnektivität validieren und ACLs für Anwendungrollen anwenden.
Beobachtbarkeit, Zuverlässigkeit und Fehlerbehebung
- Überwachungsgrundlagen: Controller-Integrität, unterrepräsentierte Partitionen, Anfragelatenz, Festplatten- und Netzwerk-Sättigung.
- Logs und Metriken: Lesen von Broker-Logs und Exponieren von Metriken über den JMX-Exporter an gängige Beobachtungsstacks.
- Betriebsanleitungen: Rollierende Neustarts, sichere Konfigurationsänderungen, Handhabung von voller Festplatte und ISR-Problemen.
- Labor: Ein minimales Alarmset erstellen, einen degradierten Cluster diagnostizieren und eine gesunde Replikation wiederherstellen.
Upgrades und Vorbereitung auf Katastrophenwiederherstellung
- Upgrade-Planung für Kafka: Kompatibilitätstests, Staging und Rollback-Strategie.
- Backups und Wiederherstellungserwartungen: Was gesichert werden kann, was nicht, und Grundlagen der Konfigurationswiederherstellung.
- Überblick über Cross-Cluster-Replikation und wann MirrorMaker 2 für DR und Migrationen verwendet werden sollte.
- Abschluss: Betriebscheckliste, Übergabeartefakte und nächste Schritte für die Produktionsausrollung.
Voraussetzungen
- Grundkenntnisse in Linux-Administration (Benutzer, Dienste, Dateien, Berechtigungen)
- Erfahrung mit TCP/IP-Netzwerk-Konzepten (DNS, Ports, Firewall, Load Balancer)
- Grundkenntnisse in Skripting (Bash, PowerShell oder ähnlich) für Routine-Betriebsaufgaben
Zielgruppe
- Kafka-Administratoren und Plattform-Ingenieure, die für den Betrieb von Kafka-Clustern verantwortlich sind
- Site Reliability Engineers und DevOps-Ingenieure, die Streaming-Plattformen unterstützen
- Infrastruktur- und Operations-Teams, die neue KRaft-basierte Kafka-Cluster bereitstellen oder von ZooKeeper migrieren
Erfahrungsberichte (5)
Möglichkeit, unabhängig Übungen im Trainingsumfeld durchzuführen.
Tomasz - PKO Zycie Towarzystwo Ubezpieczen S.A.
Kurs - Kafka for Administrators
Maschinelle Übersetzung
Kurz und prägnant, angemessenes Tempo (Grundkenntnisse in Bash erforderlich)
Krzysztof - Agora SA
Kurs - Kafka for Administrators
Maschinelle Übersetzung
Der Trainer akzeptiert Fragen zu jeder Zeit des Workshops, auch wenn das Thema vor wenigen Tagen behandelt wurde.
GOODLUCK MASHIMBA - Tanzania Revenue Authority
Kurs - Kafka for Administrators
Maschinelle Übersetzung
Gute Präsentationsfähigkeiten
Md Maruf Hossain - ATOS PGS sp. z o.o.
Kurs - Kafka for Administrators
Maschinelle Übersetzung
Gute Fähigkeiten, Beispiele und sehr gute Übungen
Marek Konieczny - G2A.COM Limited
Kurs - Kafka for Administrators
Maschinelle Übersetzung