Schulungsübersicht
Einführung
Verstehen Big Data
Überblick über Spark
Überblick über Python
Überblick über PySpark
- Verteilen von Daten mit dem Resilient Distributed Datasets Framework
- Verteilen von Berechnungen mithilfe von Spark-API-Operatoren
Einrichten von Python mit Spark
Einrichten von PySpark
Verwendung von Amazon Web Services (AWS) EC2-Instanzen für Spark
Einrichten von Databricks
Einrichten des AWS EMR-Clusters
Erlernen der Grundlagen von Python Programming
- Erste Schritte mit Python
- Verwenden des Jupyter-Notebooks
- Verwendung von Variablen und einfachen Datentypen
- Arbeiten mit Listen
- if-Anweisungen verwenden
- Benutzereingaben verwenden
- Arbeiten mit while-Schleifen
- Funktionen implementieren
- Arbeiten mit Klassen
- Arbeiten mit Dateien und Ausnahmen
- Arbeiten mit Projekten, Daten und APIs
Lernen der Grundlagen von Spark DataFrame
- Erste Schritte mit Spark DataFrames
- Implementieren grundlegender Operationen mit Spark
- Verwenden von Groupby- und Aggregat-Operationen
- Arbeiten mit Zeitstempeln und Daten
Arbeiten an einem Spark DataFrame-Projekt - Übung
Verstehen von Machine Learning mit MLlib
Arbeiten mit MLlib, Spark und Python für Machine Learning
Verstehen von Regressionen
- Erlernen der linearen Regressionstheorie
- Implementieren eines Regressionsauswertungscodes
- Arbeiten an einer Beispielübung zur linearen Regression
- Erlernen der logistischen Regressionstheorie
- Implementieren eines Codes für logistische Regression
- Arbeiten an einer Beispielübung zur logistischen Regression
Verstehen von Random Forests und Entscheidungsbäumen
- Theorie der Baummethoden lernen
- Implementieren von Entscheidungsbäumen und Random Forest-Codes
- Arbeiten an einer Random Forest-Klassifizierungsübung
Arbeiten mit K-means Clustering
- Verstehen der K-means Clustering Theorie
- Implementieren eines K-means Clustering Codes
- Arbeiten an einer beispielhaften Clustering-Übung
Arbeiten mit Recommender Systems
Natürliche Sprachverarbeitung implementieren
- Verstehen Natural Language Processing (NLP)
- Überblick über NLP-Tools
- Arbeiten an einer NLP-Beispielübung
Streaming mit Spark auf Python
- Übersicht Streaming mit Spark
- Beispielhafte Spark Streaming-Übung
Schlussbemerkungen
Voraussetzungen
- Allgemeine Programmierkenntnisse
Zielgruppe
- Entwickler
- IT-Fachleute
- Datenwissenschaftler
Erfahrungsberichte (6)
Ich mochte es, dass es praktisch war. Ich liebte es, die theoretischen Kenntnisse mit praktischen Beispielen anzuwenden.
Aurelia-Adriana - Allianz Services Romania
Kurs - Python and Spark for Big Data (PySpark)
Maschinelle Übersetzung
Der Kurs befasste sich mit einer Reihe sehr komplexer und zusammenhängender Themen, und Pablo verfügt über umfassende Expertise in jedem von ihnen. Manchmal gingen Nuancen in der Kommunikation verloren oder lagen an zeitlichen Druck und möglicherweise wurden die Erwartungen dadurch nicht ganz erfüllt. Auch gab es einige UHG/Azure Databricks Setup-Probleme, die jedoch schnell gelöst wurden, sobald sie offensichtlich wurden. Dies zeigte für mich ein hohes Maß an Verständnis und Professionalität zwischen UHG und Pablo,
Michael Monks - Tech NorthWest Skillnet
Kurs - Python and Spark for Big Data (PySpark)
Maschinelle Übersetzung
Individuelle Betreuung.
ARCHANA ANILKUMAR - PPL
Kurs - Python and Spark for Big Data (PySpark)
Maschinelle Übersetzung
Praktische Übungen...
Abraham Thomas - PPL
Kurs - Python and Spark for Big Data (PySpark)
Maschinelle Übersetzung
Die Lektionen wurden in einem Jupyter-Notebook unterrichtet. Die Themen waren strukturiert und folgten einer logischen Abfolge, die es natürlich erscheinen ließ, wie sich die Sitzung von den einfacheren Teilen zu den komplexeren entwickelte. Ich bin bereits ein fortgeschrittener Python-Benutzer mit Hintergrund in Maschinellem Lernen, daher fand ich den Kurs leichter zu verfolgen als möglicherweise einige meiner Kommilitonen, die den Trainingskurs besucht haben. Ich schätze, dass einige der elementarsten Konzepte übersprungen wurden und er sich auf die wichtigsten Themen konzentrierte.
Angela DeLaMora - ADT, LLC
Kurs - Python and Spark for Big Data (PySpark)
Maschinelle Übersetzung
Übungsaufgaben
Pawel Kozikowski - GE Medical Systems Polska Sp. Zoo
Kurs - Python and Spark for Big Data (PySpark)
Maschinelle Übersetzung