Kurs Code

sparkcloud

Dauer

21 hours (üblicherweise 3 Tage inklusive Pausen)

Voraussetzungen

Programing skills (preferably python, scala)

SQL basics

Überblick

Apache Spark Lernkurve von Apache Spark nimmt zu Beginn langsam zu, es erfordert viel Mühe, um die erste Rendite zu erzielen. Dieser Kurs zielt darauf ab, durch den ersten schwierigen Teil zu springen. Nach dem Besuch dieses Kurses werden die Teilnehmer die Grundlagen von Apache Spark verstehen, RDD klar von DataFrame unterscheiden, Python und Scala API erlernen, Ausführende und Aufgaben verstehen usw. Auch nach den bewährten Methoden konzentriert sich dieser Kurs stark auf Cloud-Bereitstellung, Databricks und AWS. Die Schüler werden auch die Unterschiede zwischen AWS EMR und AWS Glue, einem der neuesten Spark-Services von AWS, verstehen.

PUBLIKUM:

Dateningenieur, DevOps , Datenwissenschaftler

Machine Translated

Schulungsübersicht

Introduction:

Apache Spark in Hadoop Ecosystem
Short intro for python, scala

Basics (theory):

Architecture
RDD
Transformation and Actions
Stage, Task, Dependencies

Using Databricks environment understand the basics (hands-on workshop):

Exercises using RDD API
Basic action and transformation functions
PairRDD
Join
Caching strategies
Exercises using DataFrame API
SparkSQL
DataFrame: select, filter, group, sort
UDF (User Defined Function)
Looking into DataSet API
Streaming

Using AWS environment understand the deployment (hands-on workshop):

Basics of AWS Glue
Understand differencies between AWS EMR and AWS Glue
Example jobs on both environment
Understand pros and cons

Extra:

Introduction to Apache Airflow orchestration

Erfahrungsberichte

★★★★★

Richard ist sehr ruhig und methodisch, mit einer analytischen Einsicht - genau die Qualitäten, die nötig sind, um diese Art von Kurs zu präsentieren.

Kieran Mac Kenna

Kurs:Spark for Developers

Machine Translated

Wir wissen viel mehr über die gesamte Umgebung.

John Kidd

Kurs:Spark for Developers

Machine Translated

Der Trainer hat die Klasse interessant und unterhaltsam gemacht, was beim täglichen Training sehr hilfreich ist.

Ryan Speelman

Kurs:Spark for Developers

Machine Translated

Ernesto hat einen großartigen Job gemacht und die hochrangigen Konzepte der Verwendung von Spark und seiner verschiedenen Module erklärt.

Michael Nemerouf

Kurs:Spark for Developers

Machine Translated

Ich mochte die von Jorge erwartete Methode

Experian Colombia S.A

Kurs:Spark for Developers

Machine Translated

Richard war sehr bereit zu schweigen, als wir halbbezogene Fragen zu Dingen stellen wollten, die nicht auf dem Lehrplan standen. Die Erklärungen waren klar und er war in jedem Rat, den er uns gab, in Bezug auf Vorbehalte offen.

ARM Limited

Kurs:Spark for Developers

Machine Translated

Die VM hat mir sehr gut gefallen Der Lehrer war sehr kenntnisreich über das Thema sowie andere Themen, er war sehr nett und freundlich Die Anlage in Dubai hat mir gefallen.

Safar Alqahtani - Elm Information Security

Kurs:Big Data Analytics in Health

Machine Translated

Small group (4 trainees) and we could progress together. Also the trainer could so help everybody.

ICE International Copyright Enterprise Germany GmbH

Kurs:Spark for Developers

Ajay war sehr freundlich, hilfsbereit und kannte sich auch mit dem Thema aus, über das er diskutierte.

Biniam Guulay - ICE International Copyright Enterprise Germany GmbH

Kurs:Spark for Developers

Machine Translated

Die Laborübungen. Anwendung der Theorie ab dem ersten Tag in den folgenden Tagen.

Dell

Kurs:A Practical Introduction to Stream Processing

Machine Translated

Ich denke, der Trainer hatte einen exzellenten Stil, Humor und Geschichten aus dem wirklichen Leben zu kombinieren, um die Themen sehr zugänglich zu machen. Ich würde diesen Professor in Zukunft sehr empfehlen.

Kurs:Spark for Developers

Machine Translated

The trainer was passionate and well-known what he said I appreciate his help and answers all our questions and suggested cases.

Kurs:A Practical Introduction to Stream Processing