Data Pipeline Orchestrierung: Airflow, Cloud Workflows & CI/CD

Ziele der Schulung

In dieser 2-tägigen Schulung "Data Pipeline Orchestrierung: Airflow, Cloud Workflows & CI/CD" lernen Sie, Workflows für Datenpipelines professionell zu orchestrieren und automatisierte Batch- sowie Streaming-Pipelines mit Apache Airflow, Oozie und Cloud-Services aufzubauen. Sie verstehen DAG-Design, Task Dependencies, Scheduling, Fehlerbehandlung und Monitoring sowie die Integration mit Spark, Data Lakes und CI/CD-Pipelines. Nach dem Kurs können Sie produktionsreife Workflow-Orchestrierungen implementieren inklusive Cloud-Integration (AWS Glue, Azure Data Factory, Databricks Jobs) und automatisierter Pipeline-Betriebsprozesse.

Zielgruppe Seminar

• Data Engineers, die Pipelines automatisieren wollen
• Cloud Teams mit Workflow-Management-Anforderungen
• DevOps Engineers für Data Pipeline CI/CD
• BI-Architekten mit automatisierter Datenverarbeitung

Voraussetzungen

• Big Data Pipelines (Spark, ETL)
• Python Grundkenntnisse (für Airflow DAGs)
• Linux/Mac Terminal
• Optional: Docker, Cloud Services (AWS/Azure/GCP)

Seminarinhalt

Workflow Orchestrierung Grundlagen

• Prinzipien von Workflow Orchestration
• Batch & Streaming Integration
• Scheduling & Triggering
• Fehlerbehandlung

Apache Airflow

• DAG-Design & Operators
• Task Dependencies & Branching
• Monitoring & Alerting
• Integration mit Spark, Kubernetes,Cloud Services

Apache Oozie

• Workflow Design & Coordinator
• Scheduler & Workflow Management
• Best Practices & häufige Fallstricke

Cloud Workflow Management

• AWS Glue, ADF, Databricks Jobs
• Automation & CI/CD
• Monitoring & Logging

Praxisübungen

• Aufbau eines orchestrierten Workflows
• Automatisierte Batch & Streaming Pipelines
• Testfälle & Debugging

Open Badge für dieses Seminar - Ihr digitaler Kompetenznachweis

Durch die erfolgreiche Teilnahme an einem Kurs bei IT-Schulungen.com erhalten Sie zusätzlich zu Ihrem Teilnehmerzertifikat ein digitales Open Badge (Zertifikat) – Ihren modernen Nachweis für erworbene Kompetenzen.

Ihr Open Badge ist jederzeit in Ihrem persönlichen und kostenfreien Mein IT-Schulungen.com-Konto verfügbar. Mit wenigen Klicks können Sie diesen digitalen Nachweis in sozialen Netzwerken teilen, um Ihre Expertise sichtbar zu machen und Ihr berufliches Profil gezielt zu stärken.

Übersicht: Big Data Schulungen Portfolio

Mehr zu den Vorteilen von Badges

Gesicherte Kurstermine

Seminare kurz vor der Durchführung