Das Kernstück von Hadoop ist ein leistungsstarkes, robustes und extrem skalierbares Dateisystem (HDFS). In diesem Kurs erfahren die Teilnehmer das Wichtigste darüber, was HDFS von dem klassischen Ansatz für Dateisysteme unterscheidet und wie man es effektiv einsetzt.
Seit seiner ersten Veröffentlichung im Jahr 2006 hat das HDFS eine Reihe von Weiterentwicklungen und Ergänzungen erfahren. Die hier vorgestellten Inhalte basieren auf der Hadoop Version 2.7.x, wie sie in den aktuellen Distributionen von Cloudera (CDH 5.12) und Hortonworks (HDP 2.6) verwendet wird.
Die praktischen Übungen des Kurses werden entweder mit der Hadoop-Distribution von Cloudera (CDH 5.12) oder Hortonworks (HDP 2.6) entsprechend der Vorankündigung zu diesem Kurs absolviert.
(IT-)Architekt, (IT-)Entwickler, (Fach-)Anwender, Projektmanager
IT-Grundkenntnisse sowie Grundkenntnisse über Big Data und Hadoop werden vorausgesetzt.
Folgende Seminare und Kurse zur Auffrischung der Kenntnisse um Big Data können hilfreich sein:
b. Big Data Technologien, Strategien und Trends
c. Hortonworks HDP Einstieg
d. Cloudera CDH Einstieg
a. Big Data Architekturen Überblick
b. Hadoop Datentechnologien Überblick
Das verteilte Dateisystem HDFS ist das Herzstück von Hadoop. Die Teilnehmer machen sich mit den logischen Prinzipien der Datenhaltung in HDFS vertraut, definieren in einer Übungsumgebung eigene Datenstrukturen und lernen, wie man mit Konsolen-Kommandos Dateien erstellen und auslesen kann.
Die Besonderheit von HDFS ist die verteilte Datenhaltung über verschiedene Server-Instanzen, den sogenannten Data Nodes. Die Teilnehmer lernen hier das Prinzip und die Organisation der physischen Datenhaltung im darunterliegenden Dateisystem des Betriebssystems kennen und wie die Verfügbarkeit der Daten sichergestellt wird. Die Erkenntnisse werden durch eine praktische Übung vertieft.
HDFS ist in Java programmiert, weshalb diese Programmiersprache allererste Wahl für produktive Anwendungen ist. Darüber hinaus existieren verschiedene Schnittstellen, die einen Zugriff mit anderen Sprachen oder Werkzeugen ermöglichen.
Bei dem Betrieb eines Hadoop-Clusters sind eine Reihe von Anforderungen zu bedenken, beispielsweise die Berücksichtigung möglicher Ausfallszenarien, BackUp-Szenarien wie Replikation und Snapshots sowie Desaster Recovery, der Bulk Load von Daten, die Archivierung, die Ressourcenbeschränkung mit Quotas, die Zugriffsbeschränkung mittels Security und andere. Die Teilnehmer machen sich anhand praktischer Beispiele mit den Möglichkeiten vertraut.
In diesem Praxisteil wird der Schwerpunkt auf praktische Aspekte gelegt und werden Optimierungshinweise gegeben. Im Mittelpunkt stehen allgemeine Fragestellungen wie: Was sind die „richtigen“ Dateien für HDFS? Aber auch Orientierungshilfen für das „richtige“ Sizing sowie die „richtigen“ Parameter für HDFS werden gegeben. Ein praktischer Teil zu Logging und Monitoring für das HDFS rundet diesen Abschnitt ab.