Kafka für Administratoren Schulung

Grundlagen der Kafka-Administration

• Die Rolle von Kafka in einer modernen Datenplattform und typische Verantwortungsbereiche im Betrieb
• Kernkonzepte für Operatoren: Broker, Themen (Topics), Partitionen, Offsets, Consumer-Gruppen
• Grundlagen der Replikation: Leaders und Followers, In-Sync Replicas, Verfügbarkeitsabwägungen
• Wichtige Aspekte im Kafka-Betrieb und häufige Begriffe in Betriebsanleitungen (Runbooks)

KRaft-Modus und Clustering-Design

• KRaft-Grundlagen: Controller, Metadaten-Qurorum, Wahlen und deren operative Bedeutung
• Bereitstellungsplanung: Dimensionierung für Durchsatz, Partitionen, Aufbewahrungsdauer und Wachstum
• Knotenrollen und -layouts: Kombinierte versus dedizierte Controller, Berücksichtigung von Fehlerdomänen
• Lab: Inspektion der KRaft-Metadaten, Überprüfung der Qurorum-Gesundheit und Interpretation der Controller-Logs

Installation, Konfiguration und täglicher Betrieb

• Installationsmethoden (Pakete, Tarball, Container) und zu standardisierende Elemente in Unternehmensumgebungen
• Wichtige Broker-Konfigurationen mit Auswirkungen auf die Zuverlässigkeit: Listener, Replikation, Log-Verzeichnisse, Aufbewahrungsdauer
• Sicherer Service-Betrieb: Startreihenfolge, kontrollierter Shutdown und Validierungschecks
• Lab: Bereitstellung eines Multi-Node-Clusters, Überprüfung der Broker-Registrierung und Bestätigung von Basis-Produce- und Consume-Aktivitäten

Verwaltung von Themen, Partitionen und Datenplatzierung

• Thema-Lebenszyklus über die Kafka CLI: Erstellen, Beschreiben, Aktualisieren der Konfiguration, Löschen
• Auswahl von Partitionen und Replikationsfaktoren für reale Arbeitslasten, einschließlich häufiger Anti-Patterns
• Neuordnung (Reassignments) und Lastausgleich: Wann Partitionen verschoben werden sollten und wie der Fortschritt sicher überprüft wird
• Lab: Erstellen von Themen, Auslösen einer Partition-Neuordnung, Simulieren eines Broker-Ausfalls und Bestätigen der Wiederherstellung

Absicherung von Kafka für die Produktion

• TLS für Client- und Inter-Broker-Verkehr: Zertifikate, Vertrauensketten und Validierungsschritte
• Authentifizierung mit SASL: Auswahl gängiger Mechanismen und Vermeidung von Fehlkonfigurationen
• Autorisierung mit ACLs: Least-Privilege-Muster für Administratoren, Produzenten und Konsumenten
• Lab: Aktivierung von TLS und SASL, Überprüfung der Client-Konnektivität und Anwenden von ACLs für Anwendungsrollen

Beobachtbarkeit (Observability), Zuverlässigkeit und Fehlerbehebung

• Überwachungswesentliches: Controller-Gesundheit, unterreplizierte Partitionen, Anforderungslatenz, Speicher- und Netzwerksättigung
• Logs und Metriken: Lesen der Broker-Logs und Freigabe von Metriken über den JMX-Exporter für gängige Observability-Stacks
• Betriebsanleitungen (Playbooks): Rollierende Neustarts, sichere Konfigurationsänderungen, Umgang mit vollen Festplatten und ISR-Problemen
• Lab: Aufbau eines minimalen Warnsatzes, Diagnose eines degradierten Clusters und Wiederherstellung einer gesunden Replikation

Upgrades und Disaster-Recovery-Vorbereitung

• Upgrade-Planung für Kafka: Kompatibilitätsprüfungen, Staging und Ansatz zum Rollback
• Erwartungen an Backups und Wiederherstellung: Was gesichert werden kann, was nicht, und Grundlagen der Konfigurationswiederherstellung
• Überblick über Cluster-übergreifende Replikation und wann MirrorMaker 2 für Disaster Recovery und Migrationen genutzt werden sollte
• Abschluss: Betriebscheckliste, Übergabeunterlagen und nächste Schritte für die Produktivrollout