Databricks-Migrationsworkshop: Von gespeicherten Prozeduren zum Lakehouse (5-tägiges Intensivtraining) Schulung

Einführung, Ziele und Migrationsstrategie

• Kursziele, Ausrichtung auf das Teilnehmerprofil und Erfolgskriterien
• High-Level-Migrationsansätze und Risikobetrachtungen
• Einrichten von Workspaces, Repositories und Lab-Datensätzen

Tag 1 — Migrationsgrundlagen und Architektur

• Lakehouse-Konzepte, Überblick über Delta Lake und Databricks-Architektur
• Unterschiede und Implikationen zwischen SMP und MPP für Migrationen
• Entwurf nach Medaillon-Prinzip (Bronze→Silver→Gold) und Überblick über Unity Catalog

Tag 1 Labor — Übersetzung einer gespeicherten Prozedur

• Praxisnahe Migration einer Beispiel-gespeicherten Prozedur in ein Notebook
• Abbildung temporärer Tabellen und Cursor auf DataFrame-Transformationen
• Validierung und Vergleich mit dem ursprünglichen Output

Tag 2 — Erweiterte Delta Lake-Funktionen & Inkrementelles Laden

• ACID-Transaktionen, Commit-Logs, Versionierung und Time Travel
• Auto Loader, MERGE INTO-Muster, Upserts und Schema-Evolution
• OPTIMIZE, VACUUM, Z-ORDER, Partitionierung und Storage-Tuning

Tag 2 Labor — Inkrementelle Datenerfassung & Optimierung

• Implementierung von Auto Loader-Ingestion und MERGE-Workflows
• Anwendung von OPTIMIZE, Z-ORDER und VACUUM; Validierung der Ergebnisse
• Messung der Lese-/Schreibleistungsverbesserungen

Tag 3 — SQL in Databricks, Performance & Debugging

• Analytische SQL-Funktionen: Window Functions, Higher-Order Functions, JSON-/Array-Behandlung
• Analyse der Spark UI, DAGs, Shuffles, Stages, Tasks und Diagnose von Engpässen
• Abfrageoptimierungsmuster: Broadcast Joins, Hints, Caching und Reduzierung von Spill

Tag 3 Labor — SQL-Refactoring & Leistungsoptimierung

• Refaktorieren einer komplexen SQL-Prozessabläufe in optimiertes Spark SQL
• Nutzung der Spark UI-Traces zur Identifizierung und Behebung von Skew- und Shuffle-Problemen
• Benchmark vor/nachher und Dokumentation der Tuning-Schritte

Tag 4 — Praktisches PySpark: Ersetzung prozeduraler Logik

• Spark-Ausführungsmodell: Driver, Executors, Lazy Evaluation und Partitionierungsstrategien
• Umwandlung von Loops und Cursorn in vektorisierte DataFrame-Operationen
• Modularisierung, UDFs / Pandas UDFs, Widgets und wiederverwendbare Bibliotheken

Tag 4 Labor — Refactoring von prozeduralen Skripten

• Umstellung eines prozeduralen ETL-Skripts in modulare PySpark-Notebooks
• Einführung von Parametrisierung, unit-testähnlichen Tests und wiederverwendbaren Funktionen
• Code-Review und Anwendung einer Checkliste für Best Practices

Tag 5 — Orchestrierung, durchgängige Pipeline & Best Practices

• Databricks Workflows: Job-Design, Task-Abhängigkeiten, Trigger und Fehlerbehandlung
• Entwurf von inkrementellen Medaillon-Pipelines mit Qualitätsregeln und Schema-Validierung
• Integration mit Git (GitHub / Azure DevOps), CI und Teststrategien für PySpark-Logik

Tag 5 Labor — Aufbau einer vollständigen durchgängigen Pipeline

• Zusammenstellung der Bronze→Silver→Gold-Pipeline, orchestriert mit Workflows
• Implementierung von Logging, Auditierung, Retries und automatisierten Validierungen
• Ausführung der vollständigen Pipeline, Validierung der Outputs und Vorbereitung der Deployment-Notizen

Operationalisierung, Governance und Produktionsreife

• Best Practices für Unity Catalog Governance, Datenherkunft (Lineage) und Zugriffskontrollen
• Kosten, Cluster-Größe, Auto Scaling und Job-Concurrency-Muster
• Deployment-Checklisten, Rollback-Strategien und Erstellung von Runbooks

Abschlussprüfung, Wissenstransfer und Next Steps

• Teilnehmerpräsentationen der Migrationsarbeiten und gewonnene Erkenntnisse
• Lückenanalyse, empfohlene Follow-up-Aktivitäten und Übergabe der Schulungsmaterialien
• Referenzen, weitere Lernpfade und Support-Optionen