Einführung in Apache Spark und SparkSQL

Ziele der Schulung

In dieser 3-tägigen Schulung "Einführung in Apache Spark und SparkSQL" lernen Sie, wie Sie die Basis für Ihr eigenes Spark Data-Warehouse legen. Sie erhalten eine praxisnahe Übersicht über die vielfältigen Einsatzmöglichkeiten von Apache Spark und die Arbeit mit verschiedenen Datenquellen und -formaten. Anhand von Anwendungen erfahren Sie, wie Sie in Spark effektiv mit strukturierten Daten arbeiten können. Das Seminar bietet Ihnen zum Abschluss einen Ausblick auf weitere professionelle Anwendungen von Apache Spark.

Zielgruppe Seminar

• Software/Data Architects
• Software Developers
• Data Scientists
• (Business) Analysts

Voraussetzungen

• Grundkenntnisse SQL
• Grundkenntnisse Java, Python und Scala
• Grundkenntnisse in Hadoop sind von Vorteil

Seminarinhalt

Warum Apache Spark? Eine Übersicht über Spark anhand kleinerer Anwendungen mit Scala

• Big Data und Cluster: Klassische Fragestellungen im Bereich Big-Data erläutern: Welche Herausforderungen entstehen durch Big-Data?
• Apache Spark im Kontext des Hadoop Ecosystems
• Welche Unzulänglichkeiten löst Spark?
• MapReduce vs. Spark: Ein kleines Beispiel
• Was genau ist Apache Spark?: 4 Komponenten, 4 APIs (Kompatibilität zu 4 Sprachen) und vieles mehr

Daten: Quellen, Typen, Schnittstellen und Operationen

• Arbeiten mit unterschiedlichen Datenquellen, Datentypen, Datenschnittstellen und den wichtigsten Datenoperationen
• Datenquellen: Storage Layers for Spark (CSV, JSON, SQL, TXT)
• Unterschiedliche Datentypen (z.B. Boolean, Zahlenrepräsentation, Strings, Timestamps, Nulls, Orderings, …)
• Datenschnittstelle für strukturierte Daten: DataFrame
  • Merkmale strukturierter Daten
  • Datenoperationen: Manipulation und Transformation
  • Fortgeschrittene Themen: Aggregationen und Joins

SparkSQL: Arbeiten mit strukturierten Daten

• (Kurze) Einführung in SQL
• Hands-on SparkSQL
  • Spark Data Frames
  • Durchführen einer Spark SQL Query
  • Tables, Views, Databases, Selects und Joins

Ausblick: Der Weg zu Ihrem Spark Data-Warehouse

Im modernen Spark Data-Warehouse werden Cloudtechnologien, Machine Learning Algorithmen und strukturierte sowie unstrukturierte Datenstrukturen verbunden

• Easy scalable – Verarbeiten Sie große Mengen an Daten durch einfache Skalierbarkeit
• Lightning fast – Selbst viele parallele Anfragen zwingen Ihr Spark DWH nicht in die Knie
• It’s in the cloud – Profitieren Sie von reinen Cloud-oder Hypridsystemen (z.B. MS Azure, Databricks, und AWS)
• Data beats emotions – Treffen Sie datengetriebene Entscheidugen und verlassen Sie sich nicht mehr länger nur auf Ihr Bauchgefühl
• It’s time to ask different questions – Stellen sie neure Anforderungen an Ihr Data Warehouse
  • Fragen sie was passieren wird und nicht was passiert ist
  • Fragen Sie nicht warum etwas passiert ist, sondern welche Maßnahmen sie ergreifen müssen das etwas passiert

Open Badge für dieses Seminar - Ihr digitaler Kompetenznachweis

Durch die erfolgreiche Teilnahme an einem Kurs bei IT-Schulungen.com erhalten Sie zusätzlich zu Ihrem Teilnehmerzertifikat ein digitales Open Badge (Zertifikat) – Ihren modernen Nachweis für erworbene Kompetenzen.

Ihr Open Badge ist jederzeit in Ihrem persönlichen und kostenfreien Mein IT-Schulungen.com-Konto verfügbar. Mit wenigen Klicks können Sie diesen digitalen Nachweis in sozialen Netzwerken teilen, um Ihre Expertise sichtbar zu machen und Ihr berufliches Profil gezielt zu stärken.

Übersicht: Apache Spark Schulungen Portfolio

Mehr zu den Vorteilen von Badges

Seminare kurz vor der Durchführung