Stream Processing with Kafka Streams Schulung

Diese von einem Ausbilder geleitete Live-Schulung (online oder vor Ort) richtet sich an Entwickler, die Apache Kafka in bestehende Datenbanken und Anwendungen zur Verarbeitung, Analyse usw. integrieren möchten.

Am Ende dieser Schulung werden die Teilnehmer in der Lage sein:

• Kafka Connect verwenden, um große Mengen an Daten aus einer Datenbank in Kafka-Themen einzufügen.
• Datenlogs, die von Anwendungsservern generiert wurden, in Kafka-Themen einfügen.
• Make alle gesammelten Daten für die Streamverarbeitung verfügbar machen.
• Daten aus Kafka-Themen in sekundäre Systeme zur Speicherung und Analyse exportieren.

Apache Beam ist ein quelloffenes, einheitliches Programmiermodell für die Definition und Ausführung von parallelen Datenverarbeitungspipelines. Seine Stärke liegt in der Fähigkeit, sowohl Batch- als auch Streaming-Pipelines auszuführen, wobei die Ausführung von einem der von Beam unterstützten verteilten Verarbeitungs-Backends übernommen wird: Apache Apex, Apache Flink, Apache Spark, und Google Cloud Dataflow. Apache Beam ist nützlich für ETL-Aufgaben (Extrahieren, Transformieren und Laden) wie das Verschieben von Daten zwischen verschiedenen Speichermedien und Datenquellen, das Transformieren von Daten in ein gewünschtes Format und das Laden von Daten in ein neues System.

In dieser von einem Trainer geleiteten Live-Schulung (vor Ort oder per Fernzugriff) lernen die Teilnehmer, wie sie die Apache Beam-SDKs in einer Java- oder Python-Anwendung implementieren, die eine Datenverarbeitungspipeline zur Zerlegung eines großen Datensatzes in kleinere Teile für eine unabhängige, parallele Verarbeitung definiert.

Am Ende dieser Schulung werden die Teilnehmer in der Lage sein:

• Installieren und konfigurieren Apache Beam.
• ein einziges Programmiermodell zu verwenden, um sowohl Batch- als auch Stream-Verarbeitung innerhalb ihrer Java oder Python Anwendung auszuführen.
• Pipelines über mehrere Umgebungen hinweg auszuführen.

Format des Kurses

• Teilweise Vorlesung, teilweise Diskussion, Übungen und umfangreiche praktische Übungen

Hinweis

• Dieser Kurs wird in Zukunft Scala verfügbar sein. Bitte kontaktieren Sie uns zur Absprache.

Diese Live-Schulung (vor Ort oder per Fernzugriff) richtet sich an Techniker, die Confluent (eine Distribution von Kafka) verwenden möchten, um eine Echtzeit-Datenverarbeitungsplattform für ihre Anwendungen zu erstellen und zu verwalten.

Am Ende dieser Schulung können die Teilnehmer:

• Confluent Platform installieren und konfigurieren.
• Confluents Verwaltungstools und -dienste nutzen, um Kafka einfacher zu betreiben.
• Eingehende Stream-Daten speichern und verarbeiten.
• Kafka-Cluster optimieren und verwalten.
• Datensätze sichern.

Format des Kurses

• Interaktive Vorlesung und Diskussion.
• Viele Übungen und Praxis.
• Händische Implementierung in einer Live-Lab-Umgebung.

Anpassungsoptionen für den Kurs

• Dieser Kurs basiert auf der Open-Source-Version von Confluent: Confluent Open Source.
• Für eine angepasste Ausbildung zu diesem Kurs wenden Sie sich bitte an uns, um dies zu vereinbaren.

Apache Kafka ist eine verteilte Streaming-Plattform. Es ist de facto ein Standard für den Bau von Datenpipelines und löst viele verschiedene Anwendungsfälle im Bereich der Datenverarbeitung: Es kann als Nachrichtenwarteschlange, verteiltes Protokoll, Stream-Prozessor usw. verwendet werden.

Wir beginnen mit einer Theorie hinter Daten-Pipelines im Allgemeinen und fahren dann mit grundlegenden Konzepten hinter Kafka fort. Wir werden auch wichtige Komponenten wie Kafka Streams und Kafka Connect entdecken.

Diese Live-Schulung in Österreich (online oder vor Ort) führt die Teilnehmer in die Prinzipien und Ansätze der verteilten Stream- und Batch-Datenverarbeitung ein und führt sie durch die Erstellung einer Echtzeit-Daten-Streaming-Anwendung in Apache Flink.

Am Ende dieser Schulung werden die Teilnehmer in der Lage sein,:

• Eine Umgebung für die Entwicklung von Datenanalyseanwendungen einrichten.
• Verstehen, wie die graphverarbeitende Bibliothek (Gelly) von Apache Flink funktioniert.
• Flink-basierte, fehlertolerante Daten-Streaming-Anwendungen paketieren, ausführen und überwachen.
• Verschiedene Workloads verwalten.
• Fortgeschrittene Analysen durchführen.
• Einrichten eines Flink-Clusters mit mehreren Knoten.
• Messen und Optimieren der Leistung.
• Flink mit verschiedenen Big Data Systemen integrieren.
• Flink-Funktionen mit denen anderer Big-Data-Verarbeitungs-Frameworks vergleichen.

In dieser von einem Trainer geleiteten Live-Schulung (vor Ort oder per Fernzugriff) lernen die Teilnehmer, wie sie verschiedene Stream Processing Frameworks mit bestehenden Big-Data-Speichersystemen und zugehörigen Softwareanwendungen und Microservices einrichten und integrieren können.

Am Ende dieser Schulung werden die Teilnehmer in der Lage sein:

• Installieren und Konfigurieren verschiedener Stream Processing Frameworks, wie Spark Streaming und Kafka Streaming.
• Das am besten geeignete Framework für die jeweilige Aufgabe verstehen und auswählen.
• Daten kontinuierlich, gleichzeitig und Datensatz für Datensatz verarbeiten.
• Lösungen mit bestehenden Datenbanken, Data Warehouses, Data Lakes usw. integrieren Stream Processing.
• Integrieren Sie die am besten geeignete Stream-Processing-Bibliothek in Unternehmensanwendungen und Microservices.

Dieser Kurs richtet sich an Unternehmensarchitekten, Entwickler, Systemadministratoren und alle, die ein verteiltes Messagingsystem mit hohem Durchsatz verstehen und verwenden möchten. Wenn Sie spezifischere Anforderungen haben (z. B. nur Systemadministration), kann dieser Kurs besser auf Ihre Bedürfnisse zugeschnitten werden.

Diese von einem Trainer geleitete Live-Schulung (online oder vor Ort) richtet sich an Systemadministratoren, die einen unternehmenstauglichen Kafka-Cluster einrichten, bereitstellen, verwalten und optimieren möchten.

Am Ende dieser Schulung werden die Teilnehmer in der Lage sein:

• Einrichten und Verwalten eines Kafka-Clusters.
• Die Vor- und Nachteile der Bereitstellung von Kafka vor Ort und in der Cloud abwägen.
• Kafka in verschiedenen On-Premise- und Cloud-Umgebungen mit Hilfe von Tools bereitstellen und überwachen.

Diese von einem Kursleiter geleitete Live-Schulung in Österreich (online oder vor Ort) richtet sich an Dateningenieure, Datenwissenschaftler und Programmierer, die die Apache Kafka-Funktionen in Datenströmen mit Python nutzen möchten.

Am Ende dieser Schulung werden die Teilnehmer in der Lage sein, Apache Kafka zur Überwachung und Verwaltung von Bedingungen in kontinuierlichen Datenströmen mit Python-Programmierung zu verwenden.

Diese von einem Kursleiter geleitete Live-Schulung in Österreich (online oder vor Ort) richtet sich an Entwickler, die Apache Kafka Stream Processing implementieren möchten, ohne Code zu schreiben.

Am Ende dieser Schulung werden die Teilnehmer in der Lage sein,:

• Confluent KSQL zu installieren und zu konfigurieren.
• eine Stream-Processing-Pipeline nur mit SQL-Befehlen einzurichten (keine Java- oder Python-Codierung).
• Datenfilterung, Transformationen, Aggregationen, Joins, Windowing und Sessionization vollständig in SQL durchzuführen.
• Interaktive, kontinuierliche Abfragen für Streaming ETL und Echtzeit-Analysen entwerfen und einsetzen.

In dieser von einem Ausbilder geleiteten Live-Schulung in Österreich (vor Ort oder per Fernzugriff) lernen die Teilnehmer, wie sie Apache NiFi in einer Live-Laborumgebung einsetzen und verwalten.

Am Ende dieser Schulung werden die Teilnehmer in der Lage sein:

• Apachi NiFi zu installieren und zu konfigurieren.
• Daten aus unterschiedlichen, verteilten Datenquellen, einschließlich Datenbanken und Big Data Lakes, zu beschaffen, umzuwandeln und zu verwalten.
• Datenflüsse zu automatisieren.
• Streaming-Analysen zu ermöglichen.
• Wenden Sie verschiedene Ansätze für die Datenerfassung an.
• Transformieren Sie Big Data und in Geschäftseinblicke.

In dieser Live-Schulung unter Anleitung in Österreich lernen die Teilnehmer die Grundlagen der ablaufbasierten Programmierung, während sie eine Reihe von Demo-Erweiterungen, Komponenten und Prozessoren mit Apache NiFi entwickeln.

Am Ende dieses Kurses werden die Teilnehmer in der Lage sein:

• Die Architektur von NiFi und Datenflusskonzepte zu verstehen.
• Erweiterungen mit NiFi und APIs von Drittanbietern zu entwickeln.
• Ihren eigenen Apache-NiFi-Prozessor zu entwickeln.
• Echtzeitdaten aus unterschiedlichen und ungewöhnlichen Dateiformaten und Datenquellen einlesen und verarbeiten.

Diese von einem Kursleiter geleitete Live-Schulung in Österreich (online oder vor Ort) richtet sich an Dateningenieure, Datenwissenschaftler und Programmierer, die die Funktionen von Spark Streaming zur Verarbeitung und Analyse von Echtzeitdaten nutzen möchten.

Am Ende dieser Schulung werden die Teilnehmer in der Lage sein, mit Spark Streaming Live-Datenströme zur Verwendung in Datenbanken, Dateisystemen und Live-Dashboards zu verarbeiten.