Kurs Code

spmllib

Dauer

35 hours (üblicherweise 5 Tage inklusive Pausen)

Voraussetzungen

Knowledge of one of the following:

Java
Scala
Python
SparkR.

Überblick

MLlib ist die ML-Bibliothek (Machine Learning) von Spark. Ziel ist es, praktisches maschinelles Lernen skalierbar und einfach zu machen. Es besteht aus allgemeinen Lernalgorithmen und Dienstprogrammen, einschließlich Klassifizierung, Regression, Clustering, kollaborativer Filterung, Dimensionsreduzierung sowie Optimierungsprimitiven auf niedrigerer Ebene und Pipeline-APIs auf höherer Ebene.

Es teilt sich in zwei Pakete:

spark.mllib enthält die ursprüngliche API, die auf RDDs basiert.
spark.ml bietet eine API auf höherer Ebene, die auf DataFrames zum Erstellen von ML-Pipelines basiert.

Publikum

Dieser Kurs richtet sich an Ingenieure und Entwickler, die eine integrierte Maschinenbibliothek für Apache Spark

Machine Translated

Schulungsübersicht

spark.mllib: data types, algorithms, and utilities

Data types
Basic statistics
- summary statistics
- correlations
- stratified sampling
- hypothesis testing
- streaming significance testing
- random data generation
Classification and regression
- linear models (SVMs, logistic regression, linear regression)
- naive Bayes
- decision trees
- ensembles of trees (Random Forests and Gradient-Boosted Trees)
- isotonic regression
Collaborative filtering
- alternating least squares (ALS)
Clustering
- k-means
- Gaussian mixture
- power iteration clustering (PIC)
- latent Dirichlet allocation (LDA)
- bisecting k-means
- streaming k-means
Dimensionality reduction
- singular value decomposition (SVD)
- principal component analysis (PCA)
Feature extraction and transformation
Frequent pattern mining
- FP-growth
- association rules
- PrefixSpan
Evaluation metrics
PMML model export
Optimization (developer)
- stochastic gradient descent
- limited-memory BFGS (L-BFGS)

spark.ml: high-level APIs for ML pipelines

Overview: estimators, transformers and pipelines
Extracting, transforming and selecting features
Classification and regression
Clustering
Advanced topics

Erfahrungsberichte

★★★★★

Dies ist einer der besten praktischen Übungen, die ich je gemacht habe.

Laura Kahn

Kurs:Artificial Intelligence - the most applied stuff - Data Analysis + Distributed AI + NLP

Machine Translated

Richard ist sehr ruhig und methodisch, mit einer analytischen Einsicht - genau die Qualitäten, die nötig sind, um diese Art von Kurs zu präsentieren.

Kieran Mac Kenna

Kurs:Spark for Developers

Machine Translated

Wir wissen viel mehr über die gesamte Umgebung.

John Kidd

Kurs:Spark for Developers

Machine Translated

Der Trainer hat die Klasse interessant und unterhaltsam gemacht, was beim täglichen Training sehr hilfreich ist.

Ryan Speelman

Kurs:Spark for Developers

Machine Translated

Ernesto hat einen großartigen Job gemacht und die hochrangigen Konzepte der Verwendung von Spark und seiner verschiedenen Module erklärt.

Michael Nemerouf

Kurs:Spark for Developers

Machine Translated

Ich mochte die von Jorge erwartete Methode

Experian Colombia S.A

Kurs:Spark for Developers

Machine Translated

Richard war sehr bereit zu schweigen, als wir halbbezogene Fragen zu Dingen stellen wollten, die nicht auf dem Lehrplan standen. Die Erklärungen waren klar und er war in jedem Rat, den er uns gab, in Bezug auf Vorbehalte offen.

ARM Limited

Kurs:Spark for Developers

Machine Translated

Die VM hat mir sehr gut gefallen Der Lehrer war sehr kenntnisreich über das Thema sowie andere Themen, er war sehr nett und freundlich Die Anlage in Dubai hat mir gefallen.

Safar Alqahtani - Elm Information Security

Kurs:Big Data Analytics in Health

Machine Translated

Small group (4 trainees) and we could progress together. Also the trainer could so help everybody.

ICE International Copyright Enterprise Germany GmbH

Kurs:Spark for Developers

Ajay war sehr freundlich, hilfsbereit und kannte sich auch mit dem Thema aus, über das er diskutierte.

Biniam Guulay - ICE International Copyright Enterprise Germany GmbH

Kurs:Spark for Developers

Machine Translated

Die Laborübungen. Anwendung der Theorie ab dem ersten Tag in den folgenden Tagen.

Dell

Kurs:A Practical Introduction to Stream Processing

Machine Translated

Dies ist eines der besten Online-Trainings, die ich je in meiner 13-jährigen Karriere gemacht habe. Mach weiter so!

Kurs:Artificial Intelligence - the most applied stuff - Data Analysis + Distributed AI + NLP

Machine Translated

Ich denke, der Trainer hatte einen exzellenten Stil, Humor und Geschichten aus dem wirklichen Leben zu kombinieren, um die Themen sehr zugänglich zu machen. Ich würde diesen Professor in Zukunft sehr empfehlen.

Kurs:Spark for Developers

Machine Translated

The trainer was passionate and well-known what he said I appreciate his help and answers all our questions and suggested cases.

Kurs:A Practical Introduction to Stream Processing