Schulungsübersicht
Zusammenfassung der Grundlagen von Apache Airflow
- Konzepte: DAGs, Operatoren und Ablaufsteuerung
- Airflow-Architektur und Komponenten
- Verständnis fortgeschrittener Anwendungsfälle und Workflows
Erstellung benutzerdefinierter Operatoren
- Anatomie eines Airflow-Operators verstehen
- Entwicklung benutzerdefinierter Operatoren für spezifische Aufgaben
- Testen und Debuggen benutzerdefinierter Operatoren
Benuutzerdefinierte Hooks und Sensoren
- Hooks zur Integration externer Systeme implementieren
- Sensoren zur Überwachung externer Trigger erstellen
- Workflows mit benutzerdefinierten Sensoren interaktiver gestalten
Entwicklung von Airflow-Plugins
- Plugin-Architektur verstehen
- Plugins entwerfen, um die Funktionalität von Airflow zu erweitern
- Best Practices für das Management und Deployment von Plugins
Integration von Airflow mit externen Systemen
- Airflow mit Datenbanken, APIs und Cloud-Diensten verbinden
- Einsatz von Airflow für ETL-Workflows und Echtzeitdatenverarbeitung
- Abhängigkeiten zwischen Airflow und externen Systemen verwalten
Fortschrittliches Debugging und Monitoring
- Airflow-Logs und Metriken zur Fehlerbehebung nutzen
- Alarme und Benachrichtigungen für Workflow-Probleme konfigurieren
- Externe Überwachungstools mit Airflow nutzen
Optimierung der Leistung und Skalierbarkeit
- Skalierung von Airflow mit Celery- und Kubernetes-Executors
- Ressourcennutzung in komplexen Workflows optimieren
- Strategien für hohe Verfügbarkeit und Fehlertoleranz
Fallstudien und reale Anwendungen
- Fortgeschrittene Anwendungsfälle in Data Engineering und DevOps erkunden
- Fallstudie: Implementierung eines benutzerdefinierten Operators für großskalige ETL-Prozesse
- Best Practices für das Management von Workflow auf Unternehmensebene
Zusammenfassung und nächste Schritte
Voraussetzungen
- Starkes Verständnis der Grundlagen von Apache Airflow, einschließlich DAGs, Operatoren und Ausführungsarchitektur
- Fortschrittliche Kenntnisse in Python-Programmierung
- Erfahrung mit der Integration von Datensystemen und Workflow-Orchestrierung
Zielgruppe
- Data Engineers
- DevOps-Ingenieure
- Softwarearchitekten
Erfahrungsberichte (1)
Der Dozent hat das Training an das Niveau der Teilnehmer angepasst und alle Fragen beantwortet. Er war sehr kommunikativ, und es war einfach, mit ihm zu interagieren. Ich schätzte die Formatierung des Trainings, die viele praktische Übungen einschloss. Insgesamt war es eine sehr ansprechende und gut organisierte Sitzung.
Jacek Chlopik - ZAKLAD UBEZPIECZEN SPOLECZNYCH
Kurs - Apache Airflow: Building and Managing Data Pipelines
Maschinelle Übersetzung
