Apache Spark Structured Streaming - Echtzeit-Datenverarbeitung

Ziele der Schulung

In diesem 1-tägigen Kurs "Apache Spark Structured Streaming - Echtzeit-Datenverarbeitung" lernen Sie, Echtzeit-Realtime Datastreams mit Apache Spark Structured Streaming zu verarbeiten und robuste Streaming-Pipelines für produktive Umgebungen aufzubauen. Sie können Datenströme über das DataFrame- und SQL-Modell modellieren, Events aus Quellen wie Apache Kafka lesen, transformieren und aggregieren sowie die Ergebnisse an verschiedene Senken weitergeben. Nach dem Seminar sind Sie in der Lage, Event-Time, Windowing und Watermarking korrekt anzuwenden, zustandsbehaftete Streaming-Jobs mit Checkpointing und Fehlertoleranz** stabil zu betreiben und typische **Architektur- und Performance-Entscheidungen für skalierbare Streaming-Lösungen fundiert zu treffen.

Zielgruppe Seminar

• Data Engineers
• Entwickler mit Big-Data-Fokus
• Technische Architekten
• Teams, die Streaming-Pipelines produktiv betreiben wollen

Voraussetzungen

• Gute Kenntnisse in Apache Spark (DataFrames, Spark SQL)
• Grundverständnis verteilter Systeme (von Vorteil)

Seminarinhalt

Architektur & Grundlagen von Structured Streaming

• Streaming-Verarbeitung im Spark-Ökosystem
• Micro-Batch-Modell vs. Continuous Processing
• Abgrenzung zu klassischem Spark Streaming (DStreams)
• Structured Streaming als Erweiterung des DataFrame- und SQL-Modells

Zentrale Konzepte für produktive Streaming-Pipelines

• Event-Time vs. Processing-Time
• Fensteroperationen (Tumbling und Sliding Windows)
• Watermarking und Umgang mit verspäteten Events
• State Management und Fehlertoleranz in Streaming-Jobs
• Checkpointing und Exactly-Once-Semantik (Konzept und Grenzen)

Integration von Event-Quellen

• Anbindung von Apache Kafka als zentrale Event-Quelle
• Lesen und Schreiben von Streaming-Daten mit Structured Streaming
• Umgang mit Schemas und komplexen Event-Strukturen
• Überblick zu weiteren unterstützten Streaming-Quellen und -Senken

Praxis: Aufbau einer End-to-End-Streaming-Pipeline

• Konzeption und Implementierung einer End-to-End-Pipeline:
  • Apache Kafka → Spark Structured Streaming → Aggregation
• Echtzeit-Aggregation und Analyse von Events
• Ausgabe der Ergebnisse z. B. in:
  • Console / Files
  • Datenbank / Dashboard-Vorbereitung
• Gemeinsame Analyse von Performance, Stabilität und typischen Fehlerbildern

Open Badge für dieses Seminar - Ihr digitaler Kompetenznachweis

Durch die erfolgreiche Teilnahme an einem Kurs bei IT-Schulungen.com erhalten Sie zusätzlich zu Ihrem Teilnehmerzertifikat ein digitales Open Badge (Zertifikat) – Ihren modernen Nachweis für erworbene Kompetenzen.

Ihr Open Badge ist jederzeit in Ihrem persönlichen und kostenfreien Mein IT-Schulungen.com-Konto verfügbar. Mit wenigen Klicks können Sie diesen digitalen Nachweis in sozialen Netzwerken teilen, um Ihre Expertise sichtbar zu machen und Ihr berufliches Profil gezielt zu stärken.

Übersicht: Apache Spark Schulungen Portfolio

Mehr zu den Vorteilen von Badges

Seminare kurz vor der Durchführung