Hadoop und Python

Ziele

In dieser 3-tägigen Schulung "Hadoop und Python" lernen Sie praxisnah den Umgang mit unterschiedlichsten Daten in einem Hadoop-Cluster. Der Kurs bietet eine Strukturierung der möglichen Datenhaltungen in Hadoop (HDFS, SQL, NoSQL) und stellt Ihnen verschiedene Einsatzmöglichkeiten von Python vor, die Sie praktisch anwenden werden. Zwei praxisorientierte Use Cases in ganzheitlichen Lösungsszenarien runden den Kurs ab und bieten Ihnen umfassende Einblicke in die Anwendung von Python in Hadoop-Projekten.

Die praktischen Übungen des Kurses werden entweder mit der Hadoop-Distribution von Cloudera oder Hortonworks durchgeführt, je nach Ankündigung für den Kurs. Der Fokus liegt darauf, Ihnen praktisches Know-how zu vermitteln und Sie bestmöglich auf die Herausforderungen im Umgang mit unterschiedlichen Daten in Hadoop vorzubereiten.

Zielgruppe

• (IT-)Architekt
• (IT-)Entwickler
• (Daten-)Analysten
• Fachanwender

Voraussetzungen

• Praktische Erfahrung in der IT-Informationsverarbeitung
• Kenntnisse im Einsatz relationaler Datenbanken
• Kenntnisse über Big Data und die Programmiersprache Python

Agenda

Datenstrukturen in Hadoop und Vorgehensmodell für die Datenanalyse

In diesem Abschnitt wird ein Überblick zu Hadoop gegeben und die in nachfolgenden Abschnitten vertieften Komponenten im Zusammenhang dargestellt. Ausführlich wird auf die verschiedenen Speichermöglichkeiten von Daten im Hadoop-Cluster eingegangen und die erforderlichen Schlussfolgerungen für das Vorgehen zur Datenanalyse gezogen.

Nutzung von Python in einer Hadoop-Umgebung

Dieser Abschnitt geht auf die Besonderheiten für Python in einer Hadoop-Umgebung ein. Ausführlich wird erläutert, welche Versionen unterstützt werden und welche Tools eingesetzt werden können. Die Teilnehmer aktivieren in diesem Abschnitt ihren simulierten Hadoop-Cluster und überprüfen die Konfiguration für Python.

Hive & Python

Hive stellt eine Möglichkeit zur Verfügung, um auf strukturierte Daten in Hadoop mit SQL-ähnlichen Abfragen zugreifen zu können. Dazu wird Hive im Überblick vorgestellt. Mit pyhive existiert eine Bibliothek, um Hive aus Python heraus nutzen zu können. Die Teilnehmer wenden pyhive praktisch an.

HBase & Python

HBase ist eine häufig eingesetzte NoSQL Datenbank in Hadoop, die in einem Überblick vorgestellt wird. Mit der zusätzlichen Bibliothek HappyBase ist der Zugriff auf HBase mittels Python möglich. Die Teilnehmer wenden HappyBase praktisch an.

Kafka & Python

Kafka ist eine verteilte Messaging-Komponente für Hadoop. Aufbauend auf einem Überblick zu Kafka werden die Nutzungsmöglichkeiten von Python aufgezeigt und praktisch angewendet.

Spark & Python

Aufbauend auf einem Überblick zu Spark mit den Schwerpunkten Spark Core, Spark SQL, Spark MLLib und Spark Streaming) werden die Nutzungsmöglichkeiten von Python aufgezeigt und praktisch angewendet.

Praxis 1: Speicherung und Auswertung von Logdateien in Hadoop mit Python

In einem praxisorientierten Use Case wird die Erhebung, Speicherung und Auswertung von Loginformationen thematisiert und verschiedene Lösungsansätze für die Umsetzung auf Basis von Python diskutiert. Die Teilnehmer setzen diese Aufgabenstellung eigenständig um.

Praxis 2: Analyse von Textinhalten in Hadoop mit Python

In einem weiteren Use Case wird der Schwerpunkt auf die Analyse von Textinhalten gelegt und verschiedene Lösungsansätze für die Umsetzung auf Basis von Python diskutiert. Die Teilnehmer setzen diese Aufgabenstellung eigenständig um

Open Badge - Ihr digitaler Kompetenznachweis

Durch die erfolgreiche Teilnahme an einem Kurs bei IT-Schulungen.com erlangen Sie nicht nur Fachkenntnisse und Fähigkeiten, sondern bekommen zusätzlich zu Ihrem Teilnahmezertifikat ein Open Badge als digitalen Nachweis Ihrer Kompetenz.

Sie können diesen in Ihrem persönlichen und kostenfreien Mein IT-Schulungen.com Konto abrufen. Ihre verdienten Badges lassen sich problemlos in sozialen Netzwerken integrieren und weitergeben.

Mehr zu den Vorteilen von Badges

Kurz vor Durchführung