Schulungsübersicht
Übersicht über die Grundlagen von Apache Airflow
- Konzepte: DAGs, Tasks und Operatoren
- Airflow-Architektur und Komponenten
- Zusammenfassung gängiger Anwendungsfälle und Workflows
Optimierung der Workflow-Leistung
- Engpassanalyse in Airflow-Pipelines
- Techniken zur Optimierung auf Task-Ebene
- Nutzung von Task-Wiederholungen, Parallelität und Nebenläufigkeit
Management komplexer Abhängigkeiten
- Definition dynamischer Abhängigkeiten in Workflows
- Bearbeitung bedingter und verzweigender Workflows
- Effektive Nutzung von Task Groups und Sub-DAGs
Erweiterte Funktionen in Apache Airflow
- Erstellung benutzerdefinierter Operatoren und Hooks
- Implementierung von Sensoren für externe Auslöser
- Anbindung von Drittanbieterservices und Plugins
Skalierung von Apache Airflow-Bereitstellungen
- Horizontale und vertikale Skalierungsansätze
- Nutzung von Celery Executoren für verteilte Ausführung
- Bewährte Verfahren zur Skalierung in Cloud-Umgebungen
Monitoring und Debugging von Workflows
- Konfiguration der Protokollierung und Alarmierung zum Workflow-Monitoring
- Nutzung der Airflow-Benutzeroberfläche und CLI zur Fehlerbehebung
- Identifizierung und Lösung gängiger Probleme in Airflow-Bereitstellungen
Sicherheit von Apache Airflow
- Authentifizierung und Zugriffskontrolle in Airflow
- Schutz sensibler Daten und Umgebungskonfigurationen
- Implementierung von Audit-Trails für Workflows
Unternehmensanwendungsfälle und Best Practices
- Entwicklung robuster Workflows für Produktionsumgebungen
- Nutzung von Airflow für Data Engineering und ETL-Pipelines
- Betrachtung realer Fallbeispiele skalierbarer Airflow-Bereitstellungen
Zusammenfassung und nächste Schritte
Voraussetzungen
- Grundlegende Kenntnisse in Apache Airflow
- Vertrautheit mit Python-Programmierung und Konzepten der Workflow-Orchestrierung
- Erfahrung im Verwalten und Bereitstellen von Anwendungen in Linux-Umgebungen
Zielgruppe
- Data Engineers
- DevOps-Fachkräfte
- Softwareentwickler
Erfahrungsberichte (1)
Der Dozent hat das Training an das Niveau der Teilnehmer angepasst und alle Fragen beantwortet. Er war sehr kommunikativ, und es war einfach, mit ihm zu interagieren. Ich schätzte die Formatierung des Trainings, die viele praktische Übungen einschloss. Insgesamt war es eine sehr ansprechende und gut organisierte Sitzung.
Jacek Chlopik - ZAKLAD UBEZPIECZEN SPOLECZNYCH
Kurs - Apache Airflow: Building and Managing Data Pipelines
Maschinelle Übersetzung
