Data Pipeline Orchestrierung: Airflow, Cloud Workflows & CI/CD
Ziele der Schulung
In dieser 2-tägigen Schulung "Data Pipeline Orchestrierung: Airflow, Cloud Workflows & CI/CD" lernen Sie, Workflows für Datenpipelines professionell zu orchestrieren und automatisierte Batch- sowie Streaming-Pipelines mit Apache Airflow, Oozie und Cloud-Services aufzubauen. Sie verstehen DAG-Design, Task Dependencies, Scheduling, Fehlerbehandlung und Monitoring sowie die Integration mit Spark, Data Lakes und CI/CD-Pipelines. Nach dem Kurs können Sie produktionsreife Workflow-Orchestrierungen implementieren inklusive Cloud-Integration (AWS Glue, Azure Data Factory, Databricks Jobs) und automatisierter Pipeline-Betriebsprozesse.
Zielgruppe Seminar
- Data Engineers, die Pipelines automatisieren wollen
- Cloud Teams mit Workflow-Management-Anforderungen
- DevOps Engineers für Data Pipeline CI/CD
- BI-Architekten mit automatisierter Datenverarbeitung
Voraussetzungen
- Big Data Pipelines (Spark, ETL)
- Python Grundkenntnisse (für Airflow DAGs)
- Linux/Mac Terminal
- Optional: Docker, Cloud Services (AWS/Azure/GCP)
Lernmethodik
Die Schulung bietet Ihnen eine ausgewogene Mischung aus Theorie und Praxis in einer erstklassigen Lernumgebung. Profitieren Sie vom direkten Austausch mit unseren projekterfahrenen Trainern und anderen Teilnehmern, um Ihren Lernerfolg zu maximieren.
Seminarinhalt
Workflow Orchestrierung Grundlagen
- Prinzipien von Workflow Orchestration
- Batch & Streaming Integration
- Scheduling & Triggering
- Fehlerbehandlung
Apache Airflow
- DAG-Design & Operators
- Task Dependencies & Branching
- Monitoring & Alerting
- Integration mit Spark, Kubernetes,Cloud Services
Apache Oozie
- Workflow Design & Coordinator
- Scheduler & Workflow Management
- Best Practices & häufige Fallstricke
Cloud Workflow Management
- AWS Glue, ADF, Databricks Jobs
- Automation & CI/CD
- Monitoring & Logging
Praxisübungen
- Aufbau eines orchestrierten Workflows
- Automatisierte Batch & Streaming Pipelines
- Testfälle & Debugging
Open Badge für dieses Seminar - Ihr digitaler Kompetenznachweis
Durch die erfolgreiche Teilnahme an einem Kurs bei IT-Schulungen.com erhalten Sie zusätzlich zu Ihrem Teilnehmerzertifikat ein digitales Open Badge (Zertifikat) – Ihren modernen Nachweis für erworbene Kompetenzen.
Ihr Open Badge ist jederzeit in Ihrem persönlichen und kostenfreien Mein IT-Schulungen.com-Konto verfügbar. Mit wenigen Klicks können Sie diesen digitalen Nachweis in sozialen Netzwerken teilen, um Ihre Expertise sichtbar zu machen und Ihr berufliches Profil gezielt zu stärken.
Übersicht: Big Data Schulungen Portfolio
