Hadoop im Rechenzentrum

Ziele

In dieser 1-tägigen Schulung "Hadoop im Rechenzentrum" lernen Sie die Vorzüge und Herausforderungen des Betriebs eines Hadoop-Clusters im Rechenzentrum kennen. Sie erhalten einen umfassenden Überblick über die erforderlichen Schritte, angefangen von der Planung bis zur Installation, dem Betrieb und der Optimierung des Clusters. Dabei wird besonders darauf eingegangen, wie die volle Kontrolle über Hardware, Software und Daten gewahrt werden kann. Das Seminar vermittelt praktische Einblicke und ermöglicht die effiziente Einrichtung eines Hadoop-Clusters im Rechenzentrum.

Zielgruppe

• Entscheider
• (IT-)Architekt
• Projektmanager
• Administratoren

Voraussetzungen

• Praktische Erfahrung in der IT-Informationsverarbeitung
• Grundkenntnisse über Big Data und Hadoop

Agenda

Überblick zu den Hadoop-Distributionen von Cloudera und Hortonworks

Das Seminar startet mit einem kurzen Überblick zu den einzelnen Komponenten des Hadoop-Frameworks, ihrem aktuellen Entwicklungsstand und Ihrem Status in den beiden wichtigsten Hadoop-Distributionen von Cloudera und Hortonworks.

In einer Übersicht werden die beiden Hadoop-Distributionen gegenübergestellt und herausgearbeitet, worin die Vor- und Nachteile der einzelnen Angebote bestehen.

Grundsätzliche Hardware-Anforderungen

In Abhängigkeit von den jeweiligen Einsatz-Szenarien werden die grundsätzlichen Hardware-Anforderungen herausgearbeitet. Neben der Zahl der CPU-Kerne, der internen Busgeschwindigkeit und der Transfergeschwindigkeit stellt in zunehmendem Maße auch die Energiebilanz eine wichtige Entscheidungsgröße dar.

Am Ende ist jedoch alles eine Frage des Preises und so werden für eine grobe Orientierung Kosten-Leistungsklassen erstellt.

Sizing eines Hadoop-Clusters

Das Sizing eines Hadoop-Clusters wird im Wesentlichen von der Menge der zu speichernden Daten und des für die einzelnen Komponenten benötigten Hauptspeichers bestimmt. Daraus lässt sich die Zahl der benötigten Data Nodes und die Größe ihres nichtflüchtigen Speichers ableiten. Die Verteilung weiterer Komponenten des Frameworks auf diese und/oder zusätzliche Nodes gestattet eine Abschätzung des benötigten Hauptspeichers.

Das Sizing wird beispielhaft anhand eines Template demonstriert.

Installation oder Upgrade eines Hadoop-Clusters

Die Installation eines Hadoop-Clusters kann heute vollständig oder teilweise toolgestützt erfolgen. Gleiches trifft auf ein Upgrade zu, wenn eine ältere Hadoop-Version aktualisiert werden soll.

In diesem Modul werden die Voraussetzungen für die Installation erläutert und die Installationsschritte für die beiden Distributionen dargestellt.

Betrieb eines Hadoop-Clusters

Der Betrieb eines Hadoop-Clusters erfordert vielfältige Aktivitäten. Neben den klassischen administrativen Aufgaben wie beispielsweise das Backup wichtiger Daten, die Verwaltung von Berechtigungen sowie die Beseitigung von Engpässen ist zusätzliches Augenmerk auf den Ersatz oder Neustart ausgefallener Komponenten, die Vergrößerung des Clusters sowie eine hohe generelle Verfügbarkeit zu richten.

Es wird eine Übersicht der wichtigsten Aufgabenstellungen gegeben und ihre Umsetzung demonstriert.

Optimierung eines Hadoop-Clusters

Der Betrieb eines Hadoop-Clusters wird durch Hunderte von Parametern definiert. Die meisten dieser Parameter haben signifikanten Einfluss auf die Leistungsfähigkeit des Systems. Die bei der Installation gewählten Standard-Einstellungen sind für den initialen Start des Clusters hilfreich, in der Regel aber für die Betriebsphase mit individuellen Anforderungen suboptimal.

In diesem Modul wird dargestellt, wie der Cluster überwacht wird, wie die umfangreiche Protokollierung analysiert und welche Hilfsmittel zur Optimierung zur Verfügung stehen.

Open Badge - Ihr digitaler Kompetenznachweis

Durch die erfolgreiche Teilnahme an einem Kurs bei IT-Schulungen.com erlangen Sie nicht nur Fachkenntnisse und Fähigkeiten, sondern bekommen zusätzlich zu Ihrem Teilnahmezertifikat ein Open Badge als digitalen Nachweis Ihrer Kompetenz.

Sie können diesen in Ihrem persönlichen und kostenfreien Mein IT-Schulungen.com Konto abrufen. Ihre verdienten Badges lassen sich problemlos in sozialen Netzwerken integrieren und weitergeben.

Mehr zu den Vorteilen von Badges

Kurz vor Durchführung