Apache HDFS

Ziele

Das Kernstück von Hadoop ist ein leistungsstarkes, robustes und extrem skalierbares Dateisystem (HDFS). In diesem Kurs erfahren die Teilnehmer das Wichtigste darüber, was HDFS von dem klassischen Ansatz für Dateisysteme unterscheidet und wie man es effektiv einsetzt.

Seit seiner ersten Veröffentlichung im Jahr 2006 hat das HDFS eine Reihe von Weiterentwicklungen und Ergänzungen erfahren. Die hier vorgestellten Inhalte basieren auf der Hadoop Version 2.7.x, wie sie in den aktuellen Distributionen von Cloudera (CDH 5.12) und Hortonworks (HDP 2.6) verwendet wird.

Die praktischen Übungen des Kurses werden entweder mit der Hadoop-Distribution von Cloudera (CDH 5.12) oder Hortonworks (HDP 2.6) entsprechend der Vorankündigung zu diesem Kurs absolviert.

• Schwierigkeitsgrad: 300
• Darreichung: PowerPoint-Präsentation, Live-Demos sowie eigenständige Übungen (Labs) der Teilnehmer. Der Anteil der eigenständigen Übungen beträgt etwa 45 %.
• Materialien: Präsentation in elektronischer Form (Format .PDF). Übungsunterlagen in gedruckter und elektronischer Form. Die für die Übungen erforderliche IT-Infrastruktur wird in virtualisierter Form bereitgestellt.
• Credits: Ja (Credits für die Zertifizierung)

Zielgruppe

(IT-)Architekt, (IT-)Entwickler, (Fach-)Anwender, Projektmanager

Voraussetzungen

IT-Grundkenntnisse sowie Grundkenntnisse über Big Data und Hadoop werden vorausgesetzt.

Folgende Seminare und Kurse zur Auffrischung der Kenntnisse um Big Data können hilfreich sein:

1) Einstiegs-Seminare (Schwierigkeitsgrad 100)

a. Big Data Einstieg

b. Big Data Technologien, Strategien und Trends

c. Hortonworks HDP Einstieg

d. Cloudera CDH Einstieg

2) Überblicks-Seminare (Schwierigkeitsgrad 200)

a. Big Data Architekturen Überblick

b. Hadoop Datentechnologien Überblick

Agenda

Strukturen – Die logische Sicht auf die Daten in HDFS

Das verteilte Dateisystem HDFS ist das Herzstück von Hadoop. Die Teilnehmer machen sich mit den logischen Prinzipien der Datenhaltung in HDFS vertraut, definieren in einer Übungsumgebung eigene Datenstrukturen und lernen, wie man mit Konsolen-Kommandos Dateien erstellen und auslesen kann.

Storage - die physische Sicht auf die Daten in HDFS

Die Besonderheit von HDFS ist die verteilte Datenhaltung über verschiedene Server-Instanzen, den sogenannten Data Nodes. Die Teilnehmer lernen hier das Prinzip und die Organisation der physischen Datenhaltung im darunterliegenden Dateisystem des Betriebssystems kennen und wie die Verfügbarkeit der Daten sichergestellt wird. Die Erkenntnisse werden durch eine praktische Übung vertieft.

Praxis 1 - Programmatischer Zugriff auf die Daten im HDFS

HDFS ist in Java programmiert, weshalb diese Programmiersprache allererste Wahl für produktive Anwendungen ist. Darüber hinaus existieren verschiedene Schnittstellen, die einen Zugriff mit anderen Sprachen oder Werkzeugen ermöglichen.

Praxis 2 - Verwaltung von HDFS im Hadoop Cluster

Bei dem Betrieb eines Hadoop-Clusters sind eine Reihe von Anforderungen zu bedenken, beispielsweise die Berücksichtigung möglicher Ausfallszenarien, BackUp-Szenarien wie Replikation und Snapshots sowie Desaster Recovery, der Bulk Load von Daten, die Archivierung, die Ressourcenbeschränkung mit Quotas, die Zugriffsbeschränkung mittels Security und andere. Die Teilnehmer machen sich anhand praktischer Beispiele mit den Möglichkeiten vertraut.

Praxis 3 - Optimierung von HDFS im Hadoop Cluster

In diesem Praxisteil wird der Schwerpunkt auf praktische Aspekte gelegt und werden Optimierungshinweise gegeben. Im Mittelpunkt stehen allgemeine Fragestellungen wie: Was sind die „richtigen“ Dateien für HDFS? Aber auch Orientierungshilfen für das „richtige“ Sizing sowie die „richtigen“ Parameter für HDFS werden gegeben. Ein praktischer Teil zu Logging und Monitoring für das HDFS rundet diesen Abschnitt ab.

Schulungsunterlagen