Apache Spark mit Databricks – Entwicklung & Betrieb in der Cloud
Ziele der Schulung
In dieser 1-tägigen Schulung "Apache Spark mit Databricks – Entwicklung & Betrieb in der Cloud" lernen Sie, Apache Spark produktionsnah in einer Databricks-Umgebung zu entwickeln und zu betreiben. Sie lernen, wie Spark-Workloads in Databricks strukturiert, ausgeführt und überwacht werden und wie Cluster, Jobs und Notebooks gezielt eingesetzt werden, um skalierbare Datenpipelines umzusetzen.
Der Fokus liegt auf praktischer Arbeit mit Databricks als Managed Spark-Plattform. Der Kurs vermittelt keinen allgemeinen Cloud-Überblick, sondern konzentriert sich bewusst auf Databricks als marktführende Spark-Laufzeitumgebung.
Zielgruppe Seminar
- Data Engineers
- Spark-Entwickler
- Technische Architekten
- Teams, die Spark in Cloud- oder Managed-Umgebungen einsetzen oder einführen möchten
Voraussetzungen
- Sehr gute Kenntnisse in Apache Spark (DataFrames, Spark SQL)
- Teilnahme am Spark-Aufbaukurs oder Expertenkursen
- Grundverständnis von Cloud-Konzepten (IAM, Storage) von Vorteil
Lernmethodik
Die Schulung bietet Ihnen eine ausgewogene Mischung aus Theorie und Praxis in einer erstklassigen Lernumgebung. Profitieren Sie vom direkten Austausch mit unseren projekterfahrenen Trainern und anderen Teilnehmern, um Ihren Lernerfolg zu maximieren.
Seminarinhalt
Databricks als Spark-Plattform
- Einordnung von Databricks im Spark-Ökosystem
- Unterschiede zu Self-Managed Spark-Clustern
- Überblick über Databricks-Architektur und Workspace-Konzept
Arbeiten mit Databricks Notebooks
- Notebook-Typen (Python, SQL, Scala)
- Interaktive Entwicklung von Spark-Jobs
- Strukturierung von Code für produktive Nutzung
- Zusammenarbeit im Team
Cluster-Management & Kostenkontrolle
- Cluster-Typen und Laufzeitmodelle
- Konfiguration von Clustern für Trainings- und Produktiv-Workloads
- Auto-Scaling, Auto-Termination und Best Practices zur Kostenbegrenzung
- Auswahl sinnvoller Compute-Größen für Spark-Jobs
Jobs & produktive Ausführung
- Erstellen und Konfigurieren von Databricks Jobs
- Zeitgesteuerte Ausführung und Wiederholungen
- Übergabe von Parametern
- Monitoring, Logging und Fehlersuche
Datenintegration & Storage
- Zugriff auf Cloud-Storage (z. B. S3 / ADLS – konzeptionell)
- Arbeiten mit strukturierten Datenformaten (z. B. Parquet, Delta Lake – Überblick)
- Trennung von Compute und Storage
Praxis: Spark-Pipeline in Databricks
- Entwicklung einer einfachen Spark-Pipeline im Notebook
- Ausführung als Databricks Job
- Beobachtung von Laufzeit, Ressourcenverbrauch und Logs
- Diskussion typischer Betriebsfragen
Open Badge für dieses Seminar - Ihr digitaler Kompetenznachweis
Durch die erfolgreiche Teilnahme an einem Kurs bei IT-Schulungen.com erhalten Sie zusätzlich zu Ihrem Teilnehmerzertifikat ein digitales Open Badge (Zertifikat) – Ihren modernen Nachweis für erworbene Kompetenzen.
Ihr Open Badge ist jederzeit in Ihrem persönlichen und kostenfreien Mein IT-Schulungen.com-Konto verfügbar. Mit wenigen Klicks können Sie diesen digitalen Nachweis in sozialen Netzwerken teilen, um Ihre Expertise sichtbar zu machen und Ihr berufliches Profil gezielt zu stärken.
Übersicht: Apache Spark Schulungen Portfolio
