Schulungsübersicht

    Scala-Grundierung Eine kurze Einführung in Scala Labs: Kennenlernen der Scala Spark-Grundlagen Hintergrund und Geschichte Spark und Hadoop Spark-Konzepte und -Architektur Spark-Ökosystem (Kern, Spark SQL, Mlib, Streaming) Labs: Installieren und Ausführen von Spark Erster Blick auf Spark Running Spark in lokaler Modus Spark-Web-Benutzeroberfläche Spark-Shell Analysieren von Datensätzen – Teil 1 Überprüfen von RDDs Labore: Spark-Shell-Exploration von RDDs RDDs-Konzepte Partitionen RDD-Operationen/Transformationen RDD-Typen Schlüssel-Wert-Paar RDDs MapReduce für RDD Caching und Persistenz Labore: Erstellen und Überprüfen von RDDs; Caching von RDDs, Spark-API-Programmierung, Einführung in die Spark-API/RDD-API, Senden des ersten Programms an Spark, Debuggen/Protokollieren, Konfigurationseigenschaften, Labore: Programmieren in der Spark-API, Senden von Jobs, Spark-Unterstützung SQL SQL in Spark-Datenrahmen, Definieren von Tabellen und Importieren von Datensätzen, Abfragen von Daten Frames unter Verwendung von SQL Speicherformate: JSON / Parquet Labs: Erstellen und Abfragen von Datenframes; Auswerten von Datenformaten MLlib MLlib-Einführung MLlib-Algorithmen Übungen: Schreiben von MLib-Anwendungen GraphX Übersicht über die GraphX-Bibliothek GraphX-APIs Übungen: Verarbeiten von Diagrammdaten mit Spark Spark Streaming Streaming-Übersicht Evaluieren von Streaming-Plattformen Streaming-Operationen Schiebefensteroperationen Übungen: Schreiben von Spark-Streaming-Anwendungen Spark und Hadoop Hadoop-Einführung ( HDFS/YARN) Hadoop + Spark-Architektur Ausführen von Spark auf Hadoop YARN Verarbeiten von HDFS-Dateien mit Spark Spark-Leistung und -Tuning Broadcast-Variablen Akkumulatoren Speicherverwaltung und Caching Spark-Vorgänge Bereitstellen von Spark in der Produktion Beispielbereitstellungsvorlagen Konfigurationen Überwachung Fehlerbehebung

Voraussetzungen

VORAUSSETZUNGEN

Vertrautheit mit der Sprache Java / Scala / Python (unsere Praktika in Scala und Python) Grundkenntnisse der Linux-Entwicklungsumgebung (Befehlszeilennavigation / Bearbeitung von Dateien mit VI oder nano)

  21 Stunden
 

Teilnehmerzahl


Beginnt

Endet


Die Termine sind abhängig von der Verfügbarkeit und finden zwischen 09:30 und 16:30 statt.
Offene Schulungskurse erfordern mindestens 5 Teilnehmer.

Kombinierte Kurse

Verwandte Kategorien