Stream Processing mit Kafka Streams Schulung
Kafka Streams ist eine clientseitige Bibliothek zum Erstellen von Anwendungen und Microservices, deren Daten in ein Kafka Messaging-System übertragen werden. Traditionell hat Apache Kafka auf Apache Spark oder Apache Storm zur Verarbeitung der Daten zwischen den Nachrichtenproduzenten und -verbrauchern zurückgegriffen. Durch Aufruf der Kafka Streams API innerhalb einer Anwendung kann die Datenverarbeitung direkt in Kafka erfolgen, ohne dass die Daten an einen separaten Cluster zur Verarbeitung gesendet werden müssen.
In diesem von einem Dozenten geleiteten, live Training lernen die Teilnehmer, wie sie Kafka Streams in eine Reihe von Beispiel-Java-Anwendungen integrieren können, die Daten an und von Apache Kafka für Stream-Verarbeitung übertragen.
Am Ende dieses Trainings werden die Teilnehmer in der Lage sein:
- Kafka Streams-Funktionen und -Vorteile gegenüber anderen Stream-Verarbeitungsframeworks zu verstehen
- Datenstromdaten direkt innerhalb eines Kafka-Clusters zu verarbeiten
- Eine Java- oder Scala-Anwendung oder einen Microservice zu schreiben, der mit Kafka und Kafka Streams integriert ist
- Kompakten Code zu schreiben, der Eingangstopics von Kafka in Ausgangstopics von Kafka transformiert
- Die Anwendung aufzubauen, einzupacken und bereitzustellen
Zielgruppe
- Entwickler
Kursformat
- Teil Vorlesung, teil Diskussion, Übungen und intensive praktische Übungen
Anmerkungen
- Um ein personalisiertes Training für diesen Kurs anzufordern, kontaktieren Sie uns bitte zur Absprache
Schulungsübersicht
Einführung
- Kafka im Vergleich zu Spark, Flink und Storm
Überblick über die Funktionen von Kafka Streams
- Statusbehaftete und statuslose Verarbeitung, Ereigniszeitverarbeitung, DSL, ereigniszeitbasierte Fensteroperationen usw.
Fallstudie: Kafka Streams API für vorhersagebasiertes Budgeting
Einrichtung der Entwicklungsumgebung
Erstellen einer Streams-Anwendung
Starten des Kafka-Clusters
Vorbereiten der Topics und Eingabedaten
Möglichkeiten zur Verarbeitung von Stream-Daten
- Hochgradige Kafka Streams DSL
- Niedriggradiger Processor
Transformieren der Eingabedaten
Prüfen der Ausgabedaten
Aufheben des Kafka-Clusters
Möglichkeiten zur Bereitstellung der Anwendung
- Klassische Ops-Tools (Puppet, Chef und Salt)
- Docker
- WAR-Datei
Fehlerbehebung
Zusammenfassung und Fazit
Voraussetzungen
- Eine Verständnis von Apache Kafka
- Erfahrung in Java-Programmierung
Offene Schulungskurse erfordern mindestens 5 Teilnehmer.
Stream Processing mit Kafka Streams Schulung - Buchung
Stream Processing mit Kafka Streams Schulung - Anfrage
Stream Processing mit Kafka Streams - Beratungsanfrage
Beratungsanfrage
Erfahrungsberichte (1)
Wiederholung/Betrachtung der wesentlichen Punkte der besprochenen Themen.
Paolo Angelo Gaton - SMS Global Technologies Inc.
Kurs - Building Stream Processing Applications with Kafka Streams
Maschinelle Übersetzung
Kommende Kurse
Kombinierte Kurse
Apache Kafka Connect
7 StundenDieses von einem Dozenten angeführte, lebendige Training in Österreich (online oder vor Ort) richtet sich an Entwickler, die Apache Kafka mit bestehenden Datenbanken und Anwendungen zur Verarbeitung, Analyse etc. integrieren möchten.
Am Ende dieses Trainings werden die Teilnehmer in der Lage sein:
- Mit Kafka Connect große Mengen von Daten aus einer Datenbank in Kafka-Topics zu übertragen.
- Logdaten, die von Anwendungsservern erzeugt wurden, in Kafka-Topics zu übertragen.
- Jede gesammelte Daten für die Streamverarbeitung verfügbar zu machen.
- Daten aus Kafka-Topics in sekundäre Systeme zur Speicherung und Analyse zu exportieren.
Aufbau von Kafka-Lösungen mit Confluent
14 StundenDieses von einem Dozenten angeführte, lebendige Training (online oder vor Ort) richtet sich an Ingenieure, die Confluent (eine Distribution von Kafka) verwenden möchten, um eine Echtzeit-Datenverarbeitungsplattform für ihre Anwendungen zu bauen und zu verwalten.
Am Ende dieses Trainings werden die Teilnehmer in der Lage sein:
- Confluent Platform zu installieren und zu konfigurieren.
- Mit Confluents Verwaltungstools und -diensten Kafka einfacher zu betreiben.
- Eingehende Streamdaten zu speichern und zu verarbeiten.
- Kafka-Cluster zu optimieren und zu verwalten.
- Datenströme sicherzustellen.
Kursformat
- Interaktive Vorlesung und Diskussion.
- Viele Übungen und Praxis.
- Hands-on Implementierung in einer live-Lab-Umgebung.
Möglichkeiten zur Kursanpassung
- Dieser Kurs basiert auf der Open-Source-Version von Confluent: Confluent Open Source.
- Um eine angepasste Schulung für diesen Kurs anzufordern, kontaktieren Sie uns bitte zur Anordnung.
Datapipelines mit Apache Kafka aufbauen
7 StundenApache Kafka ist eine verteilte Streaming-Plattform. Es ist de facto der Standard für die Erstellung von Datapipelines und löst viele verschiedene Anwendungsfälle im Bereich der Datenverarbeitung: es kann als Message Queue, verteilter Log oder Streamprozessor verwendet werden, usw.
Wir beginnen mit einigen Theorien zu Datapipelines im Allgemeinen, bevor wir uns den grundlegenden Konzepten von Kafka widmen. Wir werden auch wichtige Komponenten wie Kafka Streams und Kafka Connect erkunden.
Eine praktische Einführung in das Stream Processing
21 StundenIn dieser von einem Dozenten geleiteten Live-Training in Österreich (vor Ort oder remote) lernen die Teilnehmer, verschiedene Stream Processing-Frameworks mit bestehenden Big Data-Speichersystemen und verwandten Softwareanwendungen und Microservices zu integrieren.
Am Ende dieses Trainings werden die Teilnehmer in der Lage sein:
- verschiedene Stream Processing-Frameworks wie Spark Streaming und Kafka Streaming zu installieren und zu konfigurieren.
- das für die Aufgabe am besten geeignete Framework auszuwählen.
- Daten kontinuierlich, parallel und zeile für Zeile zu verarbeiten.
- Stream Processing-Lösungen mit bestehenden Datenbanken, Data Warehouses, Data Lakes usw. zu integrieren.
- die für Unternehmen am besten geeignete Stream-Processing-Bibliothek mit Anwendungen und Microservices zu integrieren.
Distributed Messaging with Apache Kafka
14 StundenDieses Kurs ist für Unternehmensarchitekten, Entwickler, Systemadministratoren und alle, die ein Hochdurchsatz-Distributed-Messaging-System verstehen und verwenden möchten. Wenn Sie spezifischere Anforderungen haben (z. B. nur die Systemadministration), kann dieser Kurs angepasst werden, um besser Ihren Bedürfnissen zu entsprechen.
Kafka für Administratoren
21 StundenDieses von einem Dozenten geführte Live-Training in Österreich (online oder vor Ort) richtet sich an Systemadministratoren, die einen unternehmensreifen Kafka-Cluster einrichten, bereitstellen, verwalten und optimieren möchten.
Am Ende dieses Trainings werden die Teilnehmer in der Lage sein:
- Einen Kafka-Cluster einzurichten und zu verwalten.
- Die Vorteile und Nachteile einer lokalen vs. Cloud-Bereitstellung von Kafka zu evaluieren.
- Kafka unter Verwendung verschiedener lokaler und cloudbasierter Umgebungstools bereitzustellen und zu überwachen.
Apache Kafka für Entwickler
21 StundenDieses von einem Dozenten angeführte Live-Training in Österreich (online oder vor Ort) richtet sich an fortgeschrittene Entwickler, die Big Data-Anwendungen mit Apache Kafka entwickeln möchten.
Am Ende dieses Trainings werden die Teilnehmer in der Lage sein:
- Kafka-Produzenten und -Verbraucher zu entwickeln, um Daten an Kafka zu senden und von dort zu lesen.
- Kafka mit externen Systemen mittels Kafka Connect zu integrieren.
- Streaminganwendungen mit Kafka Streams & ksqlDB zu schreiben.
- Eine Kafka-Client-Anwendung mit Confluent Cloud für cloudbasierte Kafka-Bereitstellungen zu integrieren.
- Durch praktische Übungen und realistische Anwendungsfälle praktische Erfahrungen zu sammeln.
Apache Kafka für Python-Programmierer
7 StundenDiese von einem Kursleiter geleitete Live-Schulung in Österreich (online oder vor Ort) richtet sich an Dateningenieure, Datenwissenschaftler und Programmierer, die die Apache Kafka-Funktionen in Datenströmen mit Python nutzen möchten.
Am Ende dieser Schulung werden die Teilnehmer in der Lage sein, Apache Kafka zur Überwachung und Verwaltung von Bedingungen in kontinuierlichen Datenströmen mit Python-Programmierung zu verwenden.
Kafka Grundlagen für Java-Entwickler
14 StundenDieses von einem Dozenten angeführte und live durchgeführte Training in Österreich (online oder vor Ort) richtet sich an fortgeschrittene Java-Entwickler, die Apache Kafka in ihre Anwendungen integrieren möchten, um verlässliche, skalierbare und leistungsstarke Messaging-Lösungen zu implementieren.
Am Ende dieses Trainings werden die Teilnehmer in der Lage sein:
- Die Architektur und Kernkomponenten von Kafka zu verstehen.
- Einen Kafka-Cluster einzurichten und zu konfigurieren.
- Mitteils Java Nachrichten zu produzieren und zu konsumieren.
- Kafka Streams für die Echtzeit-Datenverarbeitung zu implementieren.
- Fehlertoleranz und Skalierbarkeit in Kafka-Anwendungen sicherzustellen.
Administration of Kafka Message Queue
14 StundenDiese Live-Schulung in Österreich (online oder vor Ort) richtet sich an fortgeschrittene Systemadministratoren, die die Message-Queuing-Funktionen von Kafka effektiv nutzen möchten.
Am Ende dieser Schulung werden die Teilnehmer in der Lage sein:
- die Message Queuing-Funktionen und die Architektur von Kafka zu verstehen.
- Kafka-Themen für Message-Queuing-Szenarien zu konfigurieren.
- Nachrichten mit Kafka zu produzieren und zu konsumieren.
- Kafka als Nachrichtenwarteschlange zu überwachen und zu verwalten.
Sicherheit für Apache Kafka
7 StundenDieses von einem Dozenten angeführte, Live-Training in Österreich (online oder vor Ort) richtet sich an Softwaretester, die Sicherheitsmaßnahmen für Netzwerke in einer Apache Kafka-Anwendung implementieren möchten.
Am Ende dieses Trainings werden die Teilnehmer in der Lage sein:
- Apache Kafka auf einem cloudbasierten Server bereitzustellen.
- SSL-Verschlüsselung zu implementieren, um Angriffe zu verhindern.
- ACL-Authentifizierung hinzuzufügen, um den Zugriff und die Kontrolle von Benutzern zu überwachen.
- Sicherzustellen, dass vertrauenswürdige Clients mit SSL- und SASL-Authentifizierung auf Kafka-Cluster zugreifen können.
Apache Kafka und Spring Boot
7 StundenDieses von einem Trainer geleitete Live-Training in Österreich (online oder vor Ort) richtet sich an fortgeschrittene Entwickler, die das Grundlagenwissen zu Kafka erwerben möchten und es mit Spring Boot integrieren wollen.
Am Ende dieses Trainings werden die Teilnehmer in der Lage sein:
- Kafka und seine Architektur zu verstehen.
- Zu lernen, wie man eine grundlegende Kafka-Umgebung installiert, konfiguriert und einrichtet.
- Kafka mit Spring Boot zu integrieren.
Administration of Kafka Topic
14 StundenDiese von einem Trainer geleitete Live-Schulung in Österreich (online oder vor Ort) richtet sich an Anfänger und fortgeschrittene Systemadministratoren, die lernen möchten, wie sie Kafka-Themen für effizientes Datenstreaming und -verarbeitung effektiv verwalten können.
Am Ende dieser Schulung werden die Teilnehmer in der Lage sein:
- Die Grundlagen und die Architektur von Kafka-Themen zu verstehen.
- Kafka-Themen erstellen, konfigurieren und verwalten.
- Kafka-Topics auf Zustand, Leistung und Verfügbarkeit zu überwachen.
- Sicherheitsmaßnahmen für Kafka-Themen zu implementieren.
SMACK-Stack für Data Science
14 StundenDieses von einem Trainer angeleitete, Live-Training in Österreich (online oder vor Ort) richtet sich an Datenwissenschaftler, die das SMACK Stack verwenden möchten, um Datenverarbeitungsplattformen für Big Data-Lösungen zu erstellen.
Am Ende dieses Trainings werden die Teilnehmer in der Lage sein:
- Eine Datenpipeline-Architektur zur Verarbeitung von Big Data zu implementieren.
- Eine Cluster-Infrastruktur mit Apache Mesos und Docker zu entwickeln.
- Daten mit Spark und Scala zu analysieren.
- Unstrukturierte Daten mit Apache Cassandra zu verwalten.
Microservices mit Spring Cloud und Kafka
21 StundenDieses von einem Trainer geleitete Live-Training in Österreich (online oder vor Ort) richtet sich an Entwickler, die eine traditionelle Architektur in eine hochgradig konkurrierende Microservices-basierte Architektur mit Spring Cloud, Kafka, Docker, Kubernetes und Redis transformieren möchten.
Am Ende dieses Trainings werden die Teilnehmer in der Lage sein:
- Die notwendige Entwicklungsumgebung für die Erstellung von Microservices einzurichten.
- Eine hochgradig konkurrierende Microservices-Ökosystem mit Spring Cloud, Kafka, Redis, Docker und Kubernetes zu entwerfen und umzusetzen.
- Monolithische und SOA-Dienste in eine Microservices-basierte Architektur zu transformieren.
- Einen DevOps-Ansatz bei der Entwicklung, dem Testen und dem Release von Software zu adoptieren.
- Hochgradige Konkurrenz unter den Microservices in der Produktion sicherzustellen.
- Microservices zu überwachen und Wiederherstellungsstrategien umzusetzen.
- Leistungsoptimierungen durchzuführen.
- Sich über zukünftige Trends in der Microservices-Architektur zu informieren.
