Schulungsübersicht
Einführung
Big Data verstehen
Überblick über Spark
Überblick über Python
Überblick über PySpark
- Datenaufteilung mit dem Resilient Distributed Datasets Framework
- Aufteilung der Berechnungen mit Spark-API-Operatoren
Einrichtung von Python mit Spark
Einrichtung von PySpark
Nutzung von Amazon Web Services (AWS) EC2-Instanzen für Spark
Einrichtung von Databricks
Einrichtung des AWS EMR-Clusters
Grundlagen der Python-Programmierung lernen
- Einführung in Python
- Nutzung von Jupyter Notebooks
- Verwendung von Variablen und einfachen Datentypen
- Arbeit mit Listen
- Verwendung von if-Anweisungen
- Nutzung von Benutzereingaben
- Arbeit mit while-Schleifen
- Implementierung von Funktionen
- Arbeit mit Klassen
- Arbeit mit Dateien und Ausnahmen
- Arbeit mit Projekten, Daten und APIs
Grundlagen des Spark DataFrame lernen
- Einführung in Spark DataFrames
- Implementierung grundlegender Operationen mit Spark
- Verwendung von Groupby- und Aggregationsoperationen
- Arbeit mit Zeitstempeln und Datumsangaben
Projektübung zu Spark DataFrames
Machine Learning mit MLlib verstehen
Arbeit mit MLlib, Spark und Python für Machine Learning
Regressionen verstehen
- Lineare Regressionstheorie lernen
- Implementierung eines Regressionsauswertungscodes
- Beispielübung zur linearen Regression
- Logistische Regressionstheorie lernen
- Implementierung eines logistischen Regressionscodes
- Beispielübung zur logistischen Regression
Zufallswälder und Entscheidungsbaumverfahren verstehen
- Theorie der Baumbasierten Methoden lernen
- Implementierung von Code für Entscheidungsbaumverfahren und Zufallswälder
- Beispielübung zur Klassifizierung mit Zufallswäldern
K-means-Clustering
- Theorie des K-means-Clusterings verstehen
- Implementierung eines K-means-Clustering-Codes
- Beispielübung zum Clustering
Empfehlungssysteme
Implementierung von Natural Language Processing
- Natural Language Processing (NLP) verstehen
- Überblick über NLP-Werkzeuge
- Beispielübung zu NLP
Streaming mit Spark in Python
- Überblick über Streaming mit Spark
- Beispielübung zum Spark-Streaming
Voraussetzungen
- Grundlegende Programmierkenntnisse
Zielgruppe
- Entwickler
- IT-Profis
- Data Scientists
Erfahrungsberichte (6)
Ich mochte es, dass es praktisch war. Ich liebte es, die theoretischen Kenntnisse mit praktischen Beispielen anzuwenden.
Aurelia-Adriana - Allianz Services Romania
Kurs - Python and Spark for Big Data (PySpark)
Maschinelle Übersetzung
Der Kurs befasste sich mit einer Reihe sehr komplexer und zusammenhängender Themen, und Pablo verfügt über umfassende Expertise in jedem von ihnen. Manchmal gingen Nuancen in der Kommunikation verloren oder lagen an zeitlichen Druck und möglicherweise wurden die Erwartungen dadurch nicht ganz erfüllt. Auch gab es einige UHG/Azure Databricks Setup-Probleme, die jedoch schnell gelöst wurden, sobald sie offensichtlich wurden. Dies zeigte für mich ein hohes Maß an Verständnis und Professionalität zwischen UHG und Pablo,
Michael Monks - Tech NorthWest Skillnet
Kurs - Python and Spark for Big Data (PySpark)
Maschinelle Übersetzung
Individuelle Betreuung.
ARCHANA ANILKUMAR - PPL
Kurs - Python and Spark for Big Data (PySpark)
Maschinelle Übersetzung
Praktische Übungen...
Abraham Thomas - PPL
Kurs - Python and Spark for Big Data (PySpark)
Maschinelle Übersetzung
Die Lektionen wurden in einem Jupyter-Notebook unterrichtet. Die Themen waren strukturiert und folgten einer logischen Abfolge, die es natürlich erscheinen ließ, wie sich die Sitzung von den einfacheren Teilen zu den komplexeren entwickelte. Ich bin bereits ein fortgeschrittener Python-Benutzer mit Hintergrund in Maschinellem Lernen, daher fand ich den Kurs leichter zu verfolgen als möglicherweise einige meiner Kommilitonen, die den Trainingskurs besucht haben. Ich schätze, dass einige der elementarsten Konzepte übersprungen wurden und er sich auf die wichtigsten Themen konzentrierte.
Angela DeLaMora - ADT, LLC
Kurs - Python and Spark for Big Data (PySpark)
Maschinelle Übersetzung
Übungsaufgaben
Pawel Kozikowski - GE Medical Systems Polska Sp. Zoo
Kurs - Python and Spark for Big Data (PySpark)
Maschinelle Übersetzung
