Data Engineering mit Python Praxis – Dask, PySpark & Parquet

Ziele der Schulung

In dieser 2-tägigen Schulung "Data Engineering mit Python Praxis – Dask, PySpark & Parquet" lernen Sie, wie Python gezielt für Data-Engineering-Aufgaben im Big-Data-Umfeld eingesetzt wird. Sie verarbeiten große Datenmengen effizient mit modernen Datenformaten wie Parquet sowie Frameworks wie Dask und PySpark.

Nach Abschluss des Seminars sind Sie in der Lage, Pandas-Ansätze auf Dask und PySpark zu skalieren, große Datenmengen effizient mit Parquet zu verarbeiten, Datenbereinigung und Transformation produktionsreif umzusetzen, Performanceunterschiede zwischen Pandas, Dask und PySpark systematisch zu bewerten und robuste Python-basierte Data-Engineering-Lösungen für große Datenvolumina zu entwerfen.

Zielgruppe Seminar

• Data Engineers
• Data Analysts
• Entwickler

Voraussetzungen

Grundkenntnisse Python

Seminarinhalt

Python für Data Engineering

• Grundlagen Python für Datenverarbeitung
• Unterschied klassische Skripte vs. Big Data Workflows
• Überblick Libraries: NumPy, Pandas, Dask, PySpark

Pandas Performance & Parquet

• DataFrames, Chunking, Sparse/Categorical Coding
• Parquet: Lesen, Schreiben, Vor-/Nachteile
• Übung 1: CSV → Parquet Konvertierung
• Übung 2: Performance CSV vs. Parquet

Fehlerbehandlung & Logging

• Try/Except, Logging Basics
• Best Practices produktive Pipelines
• Übung 3: Logging in Data Pipelines implementieren

Einführung Dask

• Vorteile vs. Pandas, Datentypen, Operationen
• Übung 4: Pandas → Dask DataFrame, Laden, Filtern, Aggregieren
• Performance-Vergleich Pandas vs. Dask

Einführung PySpark

• PySpark im Big Data Ökosystem
• Spark vs. Dask vs. Pandas
• RDDs, DataFrames, Spark SQL Basics

PySpark Performanceoptimierung

• Partitionierung, Persist/Cache, Broadcast Joins
• Lazy Evaluation & DAG Optimierung
• Übung 5: Große Datenmengen mit PySpark verarbeiten

End-to-End Pipeline & Best Practices

• Komplette Data Engineering Pipeline (Parquet → PySpark → Output)
• Performance-Vergleich Dask vs. PySpark
• Logging & Fehlerbehandlung in produktiven Pipelines
• Cloud-Cluster-Workflows, Best Practices

Open Badge für dieses Seminar - Ihr digitaler Kompetenznachweis

Durch die erfolgreiche Teilnahme an einem Kurs bei IT-Schulungen.com erhalten Sie zusätzlich zu Ihrem Teilnehmerzertifikat ein digitales Open Badge (Zertifikat) – Ihren modernen Nachweis für erworbene Kompetenzen.

Ihr Open Badge ist jederzeit in Ihrem persönlichen und kostenfreien Mein IT-Schulungen.com-Konto verfügbar. Mit wenigen Klicks können Sie diesen digitalen Nachweis in sozialen Netzwerken teilen, um Ihre Expertise sichtbar zu machen und Ihr berufliches Profil gezielt zu stärken.

Übersicht: Python Schulungen Portfolio

Mehr zu den Vorteilen von Badges

Seminare kurz vor der Durchführung