Databricks Data Engineering Advanced – DLT, Streaming & Workflows

Ziele der Schulung

In dieser 3-tägigen Schulung "Databricks Data Engineering Advanced – DLT, Streaming & Workflows" lernen Sie, produktionsreife Data Engineering Pipelines mit Databricks im Lakehouse-Umfeld zu entwickeln, zu automatisieren und zuverlässig zu betreiben. Sie vertiefen fortgeschrittene Delta-Lake-Techniken wie Optimierung, MERGE/UPSERT, Change Data Feed sowie Schema Enforcement für performante Enterprise-Workloads. Ein zentraler Schwerpunkt liegt auf Delta Live Tables zur Umsetzung skalierbarer Batch- und Streaming-Pipelines inklusive Monitoring, Fehlerbehandlung und Alerting. Darüber hinaus orchestrieren Sie komplexe End-to-End-Prozesse mit Databricks Workflows, Multi-Task Jobs, Abhängigkeiten sowie Git- und CI/CD-Integration. Sie lernen, Streaming-Architekturen mit Kafka robust umzusetzen und Exactly-Once Processing sowie State Management in Echtzeit-Szenarien sicherzustellen. Nach dem Kurs sind Sie in der Lage, observierbare, kostenoptimierte und skalierbare Data Engineering Plattformen auf Databricks für den Unternehmenseinsatz nachhaltig zu etablieren.

Zielgruppe Seminar

• Data Engineers
• ETL-Entwickler
• DevOps Engineers

Voraussetzungen

• Databricks Lakehouse Fundamentals oder vergleichbare Erfahrung
• Python/SQL
• Cloud Object Storage

Seminarinhalt

Advanced Delta Lake Engineering

• Delta Lake Optimierung: Z-Order, Compaction, Liquid Clustering
• MERGE, UPSERT, Change Data Feed
• Schema Enforcement & Evolution

Production Delta Live Tables (DLT)

• Advanced DLT Patterns: Streaming Tables, Views
• Error Handling & Retry Logic
• Pipeline Monitoring & Alerts

Databricks Workflows & Orchestration

• Multi-Task Jobs mit Dependencies
• Dynamic Cluster Allocation & Spot Instances
• Git Integration & CI/CD Pipelines

Streaming Data Pipelines

• Structured Streaming mit Delta Live Tables
• Kafka/Confluent Cloud Integration
• Exactly-Once Processing & State Management

MLflow on Databricks

• Model Training & Registry
• Feature Store Operations
• Batch Inference Pipelines

Production Best Practices

• Cluster Sizing & Autoscaling
• Cost Optimization & Tagging
• Monitoring & Lakehouse Observability

Open Badge für dieses Seminar - Ihr digitaler Kompetenznachweis

Durch die erfolgreiche Teilnahme an einem Kurs bei IT-Schulungen.com erhalten Sie zusätzlich zu Ihrem Teilnehmerzertifikat ein digitales Open Badge (Zertifikat) – Ihren modernen Nachweis für erworbene Kompetenzen.

Ihr Open Badge ist jederzeit in Ihrem persönlichen und kostenfreien Mein IT-Schulungen.com-Konto verfügbar. Mit wenigen Klicks können Sie diesen digitalen Nachweis in sozialen Netzwerken teilen, um Ihre Expertise sichtbar zu machen und Ihr berufliches Profil gezielt zu stärken.

Übersicht: Databricks Schulungen Portfolio

Mehr zu den Vorteilen von Badges

Seminare kurz vor der Durchführung