Einführung in Apache Spark und SparkSQL

Ziele

In dieser 3-tägigen Schulung "Einführung in Apache Spark und SparkSQL" lernen Sie, wie Sie die Basis für Ihr eigenes Spark Data-Warehouse legen. Sie erhalten eine praxisnahe Übersicht über die vielfältigen Einsatzmöglichkeiten von Apache Spark und die Arbeit mit verschiedenen Datenquellen und -formaten. Anhand von Anwendungen erfahren Sie, wie Sie in Spark effektiv mit strukturierten Daten arbeiten können. Das Seminar bietet Ihnen zum Abschluss einen Ausblick auf weitere professionelle Anwendungen von Apache Spark.

Zielgruppe

• Software/Data Architects
• Software Developers
• Data Scientists
• (Business) Analysts

Voraussetzungen

• Grundkenntnisse SQL
• Grundkenntnisse Java, Python und Scala
• Grundkenntnisse in Hadoop sind von Vorteil

Agenda

Warum Apache Spark? Eine Übersicht über Spark anhand kleinerer Anwendungen mit Scala

• Big Data und Cluster: Klassische Fragestellungen im Bereich Big-Data erläutern: Welche Herausforderungen entstehen durch Big-Data?
• Apache Spark im Kontext des Hadoop Ecosystems
• Welche Unzulänglichkeiten löst Spark?
• MapReduce vs. Spark: Ein kleines Beispiel
• Was genau ist Apache Spark?: 4 Komponenten, 4 APIs (Kompatibilität zu 4 Sprachen) und vieles mehr

Daten: Quellen, Typen, Schnittstellen und Operationen

• Arbeiten mit unterschiedlichen Datenquellen, Datentypen, Datenschnittstellen und den wichtigsten Datenoperationen
• Datenquellen: Storage Layers for Spark (CSV, JSON, SQL, TXT)
• Unterschiedliche Datentypen (z.B. Boolean, Zahlenrepräsentation, Strings, Timestamps, Nulls, Orderings, …)
• Datenschnittstelle für strukturierte Daten: DataFrame
  • Merkmale strukturierter Daten
  • Datenoperationen: Manipulation und Transformation
  • Fortgeschrittene Themen: Aggregationen und Joins

SparkSQL: Arbeiten mit strukturierten Daten

• (Kurze) Einführung in SQL
• Hands-on SparkSQL
  • Spark Data Frames
  • Durchführen einer Spark SQL Query
  • Tables, Views, Databases, Selects und Joins

Ausblick: Der Weg zu Ihrem Spark Data-Warehouse

Im modernen Spark Data-Warehouse werden Cloudtechnologien, Machine Learning Algorithmen und strukturierte sowie unstrukturierte Datenstrukturen verbunden

• Easy scalable – Verarbeiten Sie große Mengen an Daten durch einfache Skalierbarkeit
• Lightning fast – Selbst viele parallele Anfragen zwingen Ihr Spark DWH nicht in die Knie
• It’s in the cloud – Profitieren Sie von reinen Cloud-oder Hypridsystemen (z.B. MS Azure, Databricks, und AWS)
• Data beats emotions – Treffen Sie datengetriebene Entscheidugen und verlassen Sie sich nicht mehr länger nur auf Ihr Bauchgefühl
• It’s time to ask different questions – Stellen sie neure Anforderungen an Ihr Data Warehouse
  • Fragen sie was passieren wird und nicht was passiert ist
  • Fragen Sie nicht warum etwas passiert ist, sondern welche Maßnahmen sie ergreifen müssen das etwas passiert

Open Badge - Ihr digitaler Kompetenznachweis

Durch die erfolgreiche Teilnahme an einem Kurs bei IT-Schulungen.com erlangen Sie nicht nur Fachkenntnisse und Fähigkeiten, sondern bekommen zusätzlich zu Ihrem Teilnahmezertifikat ein Open Badge als digitalen Nachweis Ihrer Kompetenz.

Sie können diesen in Ihrem persönlichen und kostenfreien Mein IT-Schulungen.com Konto abrufen. Ihre verdienten Badges lassen sich problemlos in sozialen Netzwerken integrieren und weitergeben.

Mehr zu den Vorteilen von Badges

Kurz vor Durchführung