Stream processing Schulungen in Österreich

Apache Samza ist ein Open-Source-Framework für die asynchrone Stream-Verarbeitung in Echtzeit. Es verwendet Apache Kafka für Messaging und Apache Hadoop YARN für Fehlertoleranz, Prozessorisolation, Sicherheit und Ressourcenverwaltung. Dieses von Lehrern geleitete Live-Training führt in die Prinzipien von Messaging-Systemen und der verteilten Stream-Verarbeitung ein und führt die Teilnehmer durch die Erstellung eines Samza-basierten Beispielprojekts und die Auftragsausführung. Am Ende dieser Schulung können die Teilnehmer:

• Verwenden Sie Samza, um den Code zum Erstellen und Verarbeiten von Nachrichten zu vereinfachen.
• Entkoppeln Sie die Verarbeitung von Nachrichten aus einer Anwendung.
• Verwenden Sie Samza, um zeitnahe asynchrone Berechnungen durchzuführen.
• Verwenden Sie die Stream-Verarbeitung, um eine höhere Abstraktionsebene für Messagingsysteme bereitzustellen.

Publikum

• Entwickler

Format des Kurses

• Teilvorlesung, Teildiskussion, Übungen und viel praktisches Üben

Kafka Streams ist eine clientseitige Bibliothek zum Erstellen von Anwendungen und Mikrodiensten, deren Daten an ein und von einem Kafka-Messagingsystem übertragen werden. Traditionell hat sich Apache Kafka auf Apache Spark oder Apache Storm , um Daten zwischen Nachrichtenproduzenten und -konsumenten zu verarbeiten. Durch Aufrufen der Kafka Streams-API aus einer Anwendung heraus können Daten direkt in Kafka verarbeitet werden, ohne dass die Daten zur Verarbeitung an einen separaten Cluster gesendet werden müssen. In diesem von Lehrern geführten Live-Training lernen die Teilnehmer, wie sie Kafka-Streams in eine Reihe von Java Beispielanwendungen integrieren, die Daten zur Stream-Verarbeitung an Apache Kafka und von diesem weitergeben. Am Ende dieser Schulung können die Teilnehmer:

• Verstehen der Funktionen und Vorteile von Kafka Streams gegenüber anderen Frameworks für die Stream-Verarbeitung
• Verarbeiten Sie Stream-Daten direkt in einem Kafka-Cluster
• Schreiben Sie eine Java oder Scala Anwendung oder einen Microservice, der sich in Kafka und Kafka Streams integrieren lässt
• Schreiben Sie prägnanten Code, der Eingabe-Kafka-Themen in Ausgabe-Kafka-Themen umwandelt
• Erstellen, packen und implementieren Sie die Anwendung

Publikum

• Entwickler

Format des Kurses

• Teilvorlesung, Teildiskussion, Übungen und viel praktisches Üben

Anmerkungen

• Um ein individuelles Training für diesen Kurs anzufordern, kontaktieren Sie uns bitte, um dies zu arrangieren

In dieser von einem Trainer geleiteten Live-Schulung (vor Ort oder per Fernzugriff) lernen die Teilnehmer, wie sie verschiedene Stream Processing Frameworks mit bestehenden Big-Data-Speichersystemen und zugehörigen Softwareanwendungen und Microservices einrichten und integrieren können. Am Ende dieser Schulung werden die Teilnehmer in der Lage sein:

• Installieren und Konfigurieren verschiedener Stream Processing Frameworks, wie Spark Streaming und Kafka Streaming.
• Das am besten geeignete Framework für die jeweilige Aufgabe verstehen und auswählen.
• Daten kontinuierlich, gleichzeitig und Datensatz für Datensatz verarbeiten.
• Lösungen mit bestehenden Datenbanken, Data Warehouses, Data Lakes usw. integrieren Stream Processing.
• Integrieren Sie die am besten geeignete Stream-Processing-Bibliothek in Unternehmensanwendungen und Microservices.

Diese Live-Schulung (vor Ort oder per Fernzugriff) richtet sich an Techniker, die Confluent (eine Distribution von Kafka) verwenden möchten, um eine Echtzeit-Datenverarbeitungsplattform für ihre Anwendungen zu erstellen und zu verwalten. Am Ende dieser Schulung können die Teilnehmer:

• Installieren und konfigurieren Sie Confluent Platform.
• Verwenden Sie die Verwaltungstools und -dienste von Confluent, um Kafka einfacher auszuführen.
• Speichern und verarbeiten Sie eingehende Stream-Daten.
• Optimieren und verwalten Sie Kafka-Cluster.
• Sichere Datenströme.

Format des Kurses

• Interaktiver Vortrag und Diskussion.
• Viele Übungen und Übungen.
• Praktische Implementierung in einer Live-Laborumgebung.

Anpassungsoptionen für den Kurs

• Dieser Kurs basiert auf der Open Source-Version von Confluent: Confluent Open Source.
• Um ein individuelles Training für diesen Kurs anzufordern, kontaktieren Sie uns bitte, um dies zu arrangieren.

Diese von einem Trainer geleitete Live-Schulung (online oder vor Ort) richtet sich an Dateningenieure, Datenwissenschaftler und Programmierer, die die Funktionen von Apache Kafka für das Datenstreaming mit Python nutzen möchten. Am Ende dieser Schulung werden die Teilnehmer in der Lage sein, Apache Kafka zu verwenden, um Bedingungen in kontinuierlichen Datenströmen mit Hilfe von Python Programmierung zu überwachen und zu verwalten.

Diese Live-Schulung unter Anleitung (online oder vor Ort) richtet sich an Dateningenieure, Datenwissenschaftler und Programmierer, die die Funktionen von Spark Streaming bei der Verarbeitung und Analyse von Echtzeitdaten nutzen möchten. Am Ende dieser Schulung werden die Teilnehmer in der Lage sein, Spark Streaming zu verwenden, um Live-Datenströme für die Verwendung in Datenbanken, Dateisystemen und Live-Dashboards zu verarbeiten.

Diese von einem Trainer geleitete Live-Schulung (online oder vor Ort) richtet sich an Entwickler, die Apache Kafka Stream Processing implementieren möchten, ohne Code zu schreiben. Am Ende dieser Schulung werden die Teilnehmer in der Lage sein:

• Installieren und konfigurieren Sie Confluent KSQL.
• Einrichten einer Stromverarbeitungspipeline nur mit SQL-Befehlen (keine Java- oder Python-Codierung).
• Datenfilterung, Transformationen, Aggregationen, Joins, Windowing und Sessionisierung vollständig in SQL durchführen.
• Entwerfen und Bereitstellen interaktiver, kontinuierlicher Abfragen für Streaming ETL und Echtzeit-Analysen.

Diese von einem Trainer geleitete Live-Schulung (online oder vor Ort) richtet sich an Entwickler, die die Prinzipien der persistenten und reinen In-Memory-Speicherung kennenlernen möchten, während sie die Erstellung eines In-Memory-Computing-Beispielprojekts durchlaufen. Am Ende dieser Schulung werden die Teilnehmer in der Lage sein:

Verwenden Sie Ignite sowohl für In-Memory- und On-Disk-Persistenz als auch für eine rein verteilte In-Memory-Datenbank. Erzielen Sie Persistenz, ohne Daten mit einer relationalen Datenbank zu synchronisieren. Verwenden Sie Ignite zur Durchführung von SQL und verteilten Joins. Verbessern Sie die Leistung, indem Sie Daten näher an die CPU verlagern und RAM als Speicher verwenden. Verteilen Sie Datensätze über einen Cluster, um horizontale Skalierbarkeit zu erreichen. Integrieren Sie Ignite mit RDBMS, NoSQL, Hadoop und Prozessoren für maschinelles Lernen.

Apache Beam ist ein Open-Source-Programm zur einheitlichen Definition und Ausführung von parallelen Datenverarbeitungspipelines Seine Stärke liegt in der Fähigkeit, sowohl Batch- als auch Streaming-Pipelines auszuführen, wobei die Ausführung durch eines der von Beam unterstützten verteilten Verarbeitungs-Backends ausgeführt wird: Apache Apex, Apache Fink, Apache Spark und Google Cloud Dataflow Apache Beam ist nützlich für ETL-Aufgaben (Extrahieren, Transformieren und Laden), z B zum Verschieben von Daten zwischen verschiedenen Speichermedien und Datenquellen, zum Umwandeln von Daten in ein wünschenswertes Format und zum Laden von Daten in ein neues System In diesem instruierten Live-Training (vor Ort oder remote) lernen die Teilnehmer, wie sie die Apache Beam SDKs in einer Java- oder Python-Anwendung implementieren, die eine Datenverarbeitungspipeline zum Zerlegen eines großen Datensatzes in kleinere Blöcke für die unabhängige, parallele Verarbeitung definiert Am Ende dieses Trainings werden die Teilnehmer in der Lage sein: Installieren und konfigurieren Sie Apache Beam Verwenden Sie ein einzelnes Programmiermodell, um sowohl die Batch- als auch die Stream-Verarbeitung auszuführen, indem Sie ihre Java- oder Python-Anwendung verwenden Führen Sie Pipelines über mehrere Umgebungen hinweg aus Publikum Entwickler Format des Kurses Teilvorlesung, Teildiskussion, Übungen und schwere Handsonsübungen Hinweis Dieser Kurs wird in Zukunft Scala zur Verfügung stehen Bitte kontaktieren Sie uns, um zu vereinbaren .

Apache Apex ist eine YARNnative-Plattform, die Stream- und Batch-Verarbeitung vereint Es verarbeitet große Datenbewegungen in einer Weise, die skalierbar, performant, fehlertolerant, zustandsorientiert, sicher, verteilt und einfach zu bedienen ist Dieses integrierte Live-Training stellt Apache Apex's vereinheitlichte Stream-Processing-Architektur vor und führt die Teilnehmer durch die Erstellung einer verteilten Anwendung mit Apex auf Hadoop Am Ende dieses Trainings werden die Teilnehmer in der Lage sein: Verständnis von Datenverarbeitungs-Pipeline-Konzepten wie Konnektoren für Quellen und Senken, gemeinsame Datentransformationen usw Erstellen, skalieren und optimieren Sie eine Apex-Anwendung Verarbeiten Sie Echtzeitdatenströme zuverlässig und mit minimaler Latenz Verwenden Sie Apex Core und die Apex Malhar-Bibliothek, um eine schnelle Anwendungsentwicklung zu ermöglichen Verwenden Sie die Apex-API, um vorhandenen Java-Code zu schreiben und wiederzuverwenden Integrieren Sie Apex als Verarbeitungsmodul in andere Anwendungen Optimieren, testen und skalieren Sie Apex-Anwendungen Publikum Entwickler Unternehmensarchitekten Format des Kurses Teilvorlesung, Teildiskussion, Übungen und schwere Handsonsübungen .

Apache Storm ist ein verteilter, real-time Computing-Motor, der zur Bereitstellung von Business Intelligence in real-time verwendet wird. Es tut dies, indem Anwendungen zuverlässig unbegrenzte Datenströme verarbeiten können (z. B. Übertragung von Stream). "Storm ist für Echtzeitverarbeitung, was Hadoop für Batchverarbeitung ist!" In diesem Live-Training unter Anweisung lernen die Teilnehmer, wie man Apache Storm installiert und konfiguriert und dann eine Apache Storm Anwendung entwickelt und implementiert, um große Daten in Echtzeit zu verarbeiten. Einige der in dieser Ausbildung enthaltenen Themen umfassen:

• Apache Storm im Zusammenhang mit Hadoop
• Arbeiten mit unbegrenzten Daten
• kontinuierliche Berechnung
• Analysen in Echtzeit
• Distribuierte RPC und ETL-Verarbeitung

Bitte beantragen Sie diesen Kurs jetzt! Publikum

• Software und ETL Entwickler
• Mainframe Fachkräfte
• Datenwissenschaftler
• Big Data Analytiker
• [ 0 ] Fachleute

Format des Kurses

• Teilverhandlungen, Teildiskussionen, Übungen und schwere Praktiken

In dieser von einem Ausbilder geleiteten Live-Schulung (vor Ort oder per Fernzugriff) lernen die Teilnehmer, wie sie Apache NiFi in einer Live-Laborumgebung einsetzen und verwalten. Am Ende dieser Schulung werden die Teilnehmer in der Lage sein:

• Installation und Konfiguration von Apachi NiFi.
• Daten aus unterschiedlichen, verteilten Datenquellen, einschließlich Datenbanken und Big Data Lakes, beschaffen, umwandeln und verwalten.
• Automatisieren von Datenflüssen.
• Streaming-Analysen ermöglichen.
• Unterschiedliche Ansätze für die Datenaufnahme anwenden.
• Umwandeln Big Data und in Geschäftseinblicke.

In dieser von einem Trainer geleiteten Live-Schulung lernen die Teilnehmer die Grundlagen der ablaufbasierten Programmierung, während sie eine Reihe von Demo-Erweiterungen, Komponenten und Prozessoren mit Apache NiFi entwickeln. Am Ende dieser Schulung werden die Teilnehmer in der Lage sein:

• Die Architektur von NiFi und die Datenflusskonzepte verstehen.
• Erweiterungen mit NiFi und APIs von Drittanbietern entwickeln.
• Eigene Apache-NiFi-Prozessoren entwickeln.
• Echtzeitdaten aus unterschiedlichen und unüblichen Dateiformaten und Datenquellen erfassen und verarbeiten.

Diese Live-Schulung unter Anleitung eines Dozenten (online oder vor Ort) führt in die Prinzipien und Ansätze der verteilten Stream- und Batch-Datenverarbeitung ein und führt die Teilnehmer durch die Erstellung einer Echtzeit-Daten-Streaming-Anwendung in Apache Flink. Am Ende dieser Schulung werden die Teilnehmer in der Lage sein:

Eine Umgebung für die Entwicklung von Datenanalyseanwendungen einrichten. Verstehen, wie Apache Flink's graph-verarbeitende Bibliothek (Gelly) funktioniert. Flink-basierte, fehlertolerante Daten-Streaming-Anwendungen paketieren, ausführen und überwachen. Verwalten verschiedener Arbeitslasten. Erweiterte Analysen durchführen. Einrichten eines Flink-Clusters mit mehreren Knoten. Messen und Optimieren der Leistung. Flink mit verschiedenen Big Data Systemen integrieren. Flink-Funktionen mit denen anderer Big-Data-Verarbeitungs-Frameworks vergleichen.