Apache Spark Grundlagen (Module 1, 2 und 3)

Ziele der Schulung

In dieser 3-tägigen Schulung "Apache Spark Grundlagen (Module 1, 2 und 3)" lernen Sie die zentralen Prinzipien von Spark und seine Integration in das Hadoop-Ökosystem kennen. Sie erwerben praktische Fähigkeiten zur Spark-Programmierung in Java, Scala oder Python. Zudem entdecken Sie die Vielfalt der Spark-Tools, von interaktiven Shells bis zur leistungsstarken Databricks-Plattform. Der Kurs richtet sich an Softwareentwickler und Datenanalysten mit grundlegenden Programmierkenntnissen und Interesse an Big Data Verarbeitung. Nach Abschluss erhalten Sie ein Zertifikat und sind bereit, Spark effizient einzusetzen, um komplexe Berechnungen durchzuführen und Datenherausforderungen zu meistern.

Zielgruppe Seminar

• (IT-)Architekt
• (IT-)Entwickler
• Data Scientist und ETL Experte

Voraussetzungen

• Praktische Erfahrung in der IT-Informationsverarbeitung
• Kenntnisse in einer Programmiersprache, vorzugsweise Java, Scala oder Python
• Kenntnisse über Hadoop werden vorausgesetzt

Seminarinhalt

Modul 1: Spark Grundlagen

Spark wurde im universitären AMPLab in Berkeley ersonnen und entwickelt sich seit 2013 unter dem Dach der Apache Software Foundation als defacto-Standard für nebenläufige Berechnungen rasant weiter.

Kern von Spark ist eine Engine, die Daten in sogenannte RDDs (Resilient Distributed Datasets) aufspaltet, dass diese über mehrere Knoten verteilt und parallel bearbeitet werden können, bis sie wieder zusammengeführt und erforderlichenfalls erneut aufgeteilt werden. Dieses Aufteilen und Zusammenführen wird größtmöglich im Hauptspeicher durchgeführt, weshalb die Performance von Spark deutlich höher ist als vergleichsweise in MapReduce.

In diesem einführenden Modul lernen die Teilnehmer die grundlegenden Prinzipien von Spark und ihre Integration in das Hadoop-Ökosystem kennen.

Modul 2: Spark Programmierung

Jedes Spark-Programm besteht aus einem zentralen Driver Programm sowie zahlreichen Executor Programs, die auf den einzelnen Knoten ausgeführt werden. Es stehen verschiedene Schnittstellen zur Verfügung, um Spark-Programme in Java, Scala oder Python erstellen zu können.

Aufbauend auf dem Grundkonzept, welches für alle Sprachen gleich ist, wird ein Überblick zu den einzelnen Sprachvarianten gegeben und auf Unterschiede eingegangen. Die Teilnehmer setzen eigenständig Aufgabenstellungen mit der Sprache ihrer Wahl um. Abschließend werden die Realisierungen mit verschiedenen Sprachen diskutiert.

Modul 3: Spark Tools

Die Liste der verfügbaren Werkzeuge für die Entwicklung und Ausführung von Spark-Programmen ist lang und reicht von (interaktiven) Shell-Tools bis zur mächtigen Spark-Plattform von Databricks.

In diesem Modul lernen die Teilnehmer die interaktiven Shells in Hadoop für Scala und Python kennen, wenden webbasierte Notebooks wie Zeppelin und Jupyter an, und werde die unterschiedliche Datentypen wie Parquet, ORC, Avro kennen lernen und die Vorteile von Partitionierung messen. Zudem werden die Teilnehmer einen Überblick zur Spark-Plattform von Databrick bekommen und auch diese in ein Tutorial einsetzen.

Open Badge für dieses Seminar - Ihr digitaler Kompetenznachweis

Durch die erfolgreiche Teilnahme an einem Kurs bei IT-Schulungen.com erhalten Sie zusätzlich zu Ihrem Teilnehmerzertifikat ein digitales Open Badge (Zertifikat) – Ihren modernen Nachweis für erworbene Kompetenzen.

Ihr Open Badge ist jederzeit in Ihrem persönlichen und kostenfreien Mein IT-Schulungen.com-Konto verfügbar. Mit wenigen Klicks können Sie diesen digitalen Nachweis in sozialen Netzwerken teilen, um Ihre Expertise sichtbar zu machen und Ihr berufliches Profil gezielt zu stärken.

Übersicht: Apache Spark Schulungen Portfolio

Mehr zu den Vorteilen von Badges

Kundenbewertungen

Seminare kurz vor der Durchführung