Kurs Code

sparkdev

Dauer

21 hours (üblicherweise 3 Tage inklusive Pausen)

Voraussetzungen

PRE-REQUISITES

familiarity with either Java / Scala / Python language (our labs in Scala and Python)
basic understanding of Linux development environment (command line navigation / editing files using VI or nano)

Überblick

ZIELSETZUNG:

Dieser Kurs wird Apache Spark vorstellen. Die Schüler lernen, wie Spark in das Big Data Ökosystem passt und wie Spark für die Datenanalyse verwendet wird. Der Kurs behandelt die Spark-Shell für die interaktive Datenanalyse, Spark-Interna, Spark-APIs, Spark- SQL , Spark-Streaming sowie maschinelles Lernen und graphX.

PUBLIKUM:

Entwickler / Datenanalysten

Machine Translated

Schulungsübersicht

Scala primer
- A quick introduction to Scala
- Labs : Getting know Scala
Spark Basics
- Background and history
- Spark and Hadoop
- Spark concepts and architecture
- Spark eco system (core, spark sql, mlib, streaming)
- Labs : Installing and running Spark
First Look at Spark
- Running Spark in local mode
- Spark web UI
- Spark shell
- Analyzing dataset – part 1
- Inspecting RDDs
- Labs: Spark shell exploration
RDDs
- RDDs concepts
- Partitions
- RDD Operations / transformations
- RDD types
- Key-Value pair RDDs
- MapReduce on RDD
- Caching and persistence
- Labs : creating & inspecting RDDs; Caching RDDs
Spark API programming
- Introduction to Spark API / RDD API
- Submitting the first program to Spark
- Debugging / logging
- Configuration properties
- Labs : Programming in Spark API, Submitting jobs
Spark SQL
- SQL support in Spark
- Dataframes
- Defining tables and importing datasets
- Querying data frames using SQL
- Storage formats : JSON / Parquet
- Labs : Creating and querying data frames; evaluating data formats
MLlib
- MLlib intro
- MLlib algorithms
- Labs : Writing MLib applications
GraphX
- GraphX library overview
- GraphX APIs
- Labs : Processing graph data using Spark
Spark Streaming
- Streaming overview
- Evaluating Streaming platforms
- Streaming operations
- Sliding window operations
- Labs : Writing spark streaming applications
Spark and Hadoop
- Hadoop Intro (HDFS / YARN)
- Hadoop + Spark architecture
- Running Spark on Hadoop YARN
- Processing HDFS files using Spark
Spark Performance and Tuning
- Broadcast variables
- Accumulators
- Memory management & caching
Spark Operations
- Deploying Spark in production
- Sample deployment templates
- Configurations
- Monitoring
- Troubleshooting

Erfahrungsberichte

★★★★★

Richard ist sehr ruhig und methodisch, mit einer analytischen Einsicht - genau die Qualitäten, die nötig sind, um diese Art von Kurs zu präsentieren.

Kieran Mac Kenna

Machine Translated

Anwendbare Szenarien und Fälle

zhaopeng liu - Fmr

Machine Translated

Fallanalyse

国栋张

Machine Translated

alle Teile dieser Sitzung

Eric Han - Fmr

Machine Translated

Wir wissen viel mehr über die gesamte Umgebung.

John Kidd

Machine Translated

Der Trainer hat die Klasse interessant und unterhaltsam gemacht, was beim täglichen Training sehr hilfreich ist.

Ryan Speelman

Machine Translated

Ernesto hat einen großartigen Job gemacht und die hochrangigen Konzepte der Verwendung von Spark und seiner verschiedenen Module erklärt.

Michael Nemerouf

Machine Translated

Ich mochte die von Jorge erwartete Methode

Experian Colombia S.A

Machine Translated

Richard war sehr bereit zu schweigen, als wir halbbezogene Fragen zu Dingen stellen wollten, die nicht auf dem Lehrplan standen. Die Erklärungen waren klar und er war in jedem Rat, den er uns gab, in Bezug auf Vorbehalte offen.

ARM Limited

Machine Translated

Small group (4 trainees) and we could progress together. Also the trainer could so help everybody.

ICE International Copyright Enterprise Germany GmbH

Ajay war sehr freundlich, hilfsbereit und kannte sich auch mit dem Thema aus, über das er diskutierte.

Biniam Guulay - ICE International Copyright Enterprise Germany GmbH

Machine Translated

Ich denke, der Trainer hatte einen exzellenten Stil, Humor und Geschichten aus dem wirklichen Leben zu kombinieren, um die Themen sehr zugänglich zu machen. Ich würde diesen Professor in Zukunft sehr empfehlen.

Machine Translated