Schulungsübersicht
Einführung
Verstehen Big Data
Überblick über Spark
Überblick über Python
Überblick über PySpark
- Verteilen von Daten mit dem Resilient Distributed Datasets Framework
- Verteilen von Berechnungen mithilfe von Spark-API-Operatoren
Einrichten von Python mit Spark
Einrichten von PySpark
Verwendung von Amazon Web Services (AWS) EC2-Instanzen für Spark
Einrichten von Databricks
Einrichten des AWS EMR-Clusters
Erlernen der Grundlagen von Python Programming
- Erste Schritte mit Python
- Verwenden des Jupyter-Notebooks
- Verwendung von Variablen und einfachen Datentypen
- Arbeiten mit Listen
- if-Anweisungen verwenden
- Benutzereingaben verwenden
- Arbeiten mit while-Schleifen
- Funktionen implementieren
- Arbeiten mit Klassen
- Arbeiten mit Dateien und Ausnahmen
- Arbeiten mit Projekten, Daten und APIs
Lernen der Grundlagen von Spark DataFrame
- Erste Schritte mit Spark DataFrames
- Implementieren grundlegender Operationen mit Spark
- Verwenden von Groupby- und Aggregat-Operationen
- Arbeiten mit Zeitstempeln und Daten
Arbeiten an einem Spark DataFrame-Projekt - Übung
Verstehen von Machine Learning mit MLlib
Arbeiten mit MLlib, Spark und Python für Machine Learning
Verstehen von Regressionen
- Erlernen der linearen Regressionstheorie
- Implementieren eines Regressionsauswertungscodes
- Arbeiten an einer Beispielübung zur linearen Regression
- Erlernen der logistischen Regressionstheorie
- Implementieren eines Codes für logistische Regression
- Arbeiten an einer Beispielübung zur logistischen Regression
Verstehen von Random Forests und Entscheidungsbäumen
- Theorie der Baummethoden lernen
- Implementieren von Entscheidungsbäumen und Random Forest-Codes
- Arbeiten an einer Random Forest-Klassifizierungsübung
Arbeiten mit K-means Clustering
- Verstehen der K-means Clustering Theorie
- Implementieren eines K-means Clustering Codes
- Arbeiten an einer beispielhaften Clustering-Übung
Arbeiten mit Recommender Systems
Natürliche Sprachverarbeitung implementieren
- Verstehen Natural Language Processing (NLP)
- Überblick über NLP-Tools
- Arbeiten an einer NLP-Beispielübung
Streaming mit Spark auf Python
- Übersicht Streaming mit Spark
- Beispielhafte Spark Streaming-Übung
Schlussbemerkungen
Voraussetzungen
- Allgemeine Programmierkenntnisse
Zielgruppe
- Entwickler
- IT-Fachleute
- Datenwissenschaftler
Erfahrungsberichte (6)
Ich mochte es, dass es praxisorientiert war. Es hat Spaß gemacht, die theoretischen Kenntnisse mit praktischen Beispielen anzuwenden.
Aurelia-Adriana - Allianz Services Romania
Kurs - Python and Spark for Big Data (PySpark)
Maschinelle Übersetzung
Der Kurs befasste sich mit einer Reihe sehr komplexer und miteinander verwandter Themen, bei denen Pablo ein tiefes Fachwissen zu jedem einzelnen hatte. Manchmal wurden Nuancen im Kommunikationsprozess verloren oder aufgrund von Zeitdruck, was möglicherweise dazu führte, dass die Erwartungen nicht ganz erreicht wurden. Darüber hinaus gab es einige UHG/Azure Databricks Setup-Probleme, die jedoch Pablo und UHG schnell lösten, sobald sie auftraten – dies zeigte mir ein hohes Maß an Verständnis und Professionalität zwischen UHG und Pablo.
Michael Monks - Tech NorthWest Skillnet
Kurs - Python and Spark for Big Data (PySpark)
Maschinelle Übersetzung
Individuelle Betreuung.
ARCHANA ANILKUMAR - PPL
Kurs - Python and Spark for Big Data (PySpark)
Maschinelle Übersetzung
Praktisches Training..
Abraham Thomas - PPL
Kurs - Python and Spark for Big Data (PySpark)
Maschinelle Übersetzung
Die Lektionen wurden in einem Jupyter Notebook durchgeführt. Die Themen waren logisch strukturiert und förderten natürlichen Übergang vom Einfacheren zum Komplexeren. Da ich bereits ein fortgeschrittener Benutzer von Python mit Hintergrund in Machine Learning bin, fand ich den Kurs leichter zu folgen als möglicherweise einige meiner Klassenkameraden, die den Trainingskurs absolviert haben. Ich schätze, dass einige der grundlegendsten Konzepte übersprungen wurden und sich der Fokus auf die wesentlichen Themen richtete.
Angela DeLaMora - ADT, LLC
Kurs - Python and Spark for Big Data (PySpark)
Maschinelle Übersetzung
Übungsaufgaben
Pawel Kozikowski - GE Medical Systems Polska Sp. Zoo
Kurs - Python and Spark for Big Data (PySpark)
Maschinelle Übersetzung