Apache Hive

Ziele der Schulung

In dieser 2-tägigen Schulung "Apache Hive" lernen Sie die Wiederentdeckung strukturierter Daten und die Nutzung der SQL-ähnlichen Abfragesprache im Hadoop-Ökosystem. Hive dient als universelle Schnittstelle für den Zugriff auf strukturierte Daten in Hadoop und erfreut sich weiterhin großer Beliebtheit. Der Kurs vermittelt theoretische Grundlagen sowie praktische Anwendungen durch aufeinander aufbauende Übungen. Die praktischen Übungen werden entweder mit Cloudera CDH 5.12 oder Hortonworks HDP 2.6 durchgeführt. Der Schwierigkeitsgrad beträgt 300 und der Anteil eigenständiger Übungen liegt bei etwa 50%.

Zielgruppe Seminar

• (IT-)Architekt
• (IT-)Entwickler

Voraussetzungen

• Praktische Erfahrung in der IT-Informationsverarbeitung
• Kenntnisse im Einsatz relationaler Datenbanken
• Kenntnisse über Big Data werden vorausgesetzt

Seminarinhalt

Strukturen – Die logische Sicht auf die Daten in Hive

Hive verwendet eine Metadatenschicht zur Beschreibung von Datenstrukturen, die die aus dem relationalen Umfeld vertrauten Begriffe wie beispielsweise Tabellen und Spalten verwendet. Die Teilnehmer machen sich mit dem logischen Prinzip der Datenhaltung in Hive vertraut, definieren in einer Übungsumgebung eigene Datenstrukturen und lernen, wie man mit Konsolen-Kommandos Daten eingeben und auslesen kann.

Storage und Access – Der physische Zugriff auf die Daten mit Hive

Obwohl Hive „nur“ Daten aus HDFS verarbeitet, gibt es eine Reihe von Möglichkeiten, wie dies geschieht. Darüber hinaus gibt es verschiedene Ansätze, wie diese Daten abgefragt werden.

Die verschiedenen Möglichkeiten werden in diesem Abschnitt vorgestellt und demonstriert. Eine praktische Übung vertieft das Verständnis, wie Daten in Hive gespeichert und verarbeitet werden.

Praxis 1 - Das Design von Datenstrukturen für Hive

Hive besitzt einen Optimizer und ist grundsätzlich in der Lage, einen „besseren“ Ausführungsplan auszuwählen. Trotzdem ist man gut beraten, einige elementare Regeln zu berücksichtigen und Datenhaltung und Abfragen aufeinander abzustimmen.

Praxis 2 - Programmatischer Zugriff auf Daten

Hive wird häufig aus der CLI (Command Line Interface) heraus oder via JDBC/ODBC genutzt, aber auch ein programmatischer Zugriff über das Java API ist möglich. Die Nutzung dieses APIs wird praktisch angewendet.

Praxis 3 - Betrieb von Hive im Hadoop Cluster

Bei der Nutzung von Hive in einem Hadoop-Cluster sind eine Reihe von Rahmenbedingungen zu bedenken, die zumeist das zugrundeliegende Dateisystem betreffen - beispielsweise die Berücksichtigung möglicher Ausfallszenarien, BackUp-Szenarien wie Replikation und Snapshots sowie Desaster Recovery, der Bulk Load von Daten, die Ressourcenbeschränkung mit Quotas, die Zugriffsbeschränkung mittels Security und andere. Die Teilnehmer machen sich anhand praktischer Beispiele mit den Möglichkeiten vertraut.

Praxis 4 - Optimierung von Hive im Hadoop Cluster

In diesem Praxisteil wird der Schwerpunkt auf praktische Aspekte gelegt und werden Optimierungshinweise gegeben. Dabei werden unter anderem Fragestellungen des „richtigen“ Datenformates, die Vor- und Nachteile der Komprimierung von Daten sowie der Abwägung der Verwendung interner oder externer Tabellen evaluiert und beantwortet.

Open Badge für dieses Seminar - Ihr digitaler Kompetenznachweis

Durch die erfolgreiche Teilnahme an einem Kurs bei IT-Schulungen.com erhalten Sie zusätzlich zu Ihrem Teilnehmerzertifikat ein digitales Open Badge (Zertifikat) – Ihren modernen Nachweis für erworbene Kompetenzen.

Ihr Open Badge ist jederzeit in Ihrem persönlichen und kostenfreien Mein IT-Schulungen.com-Konto verfügbar. Mit wenigen Klicks können Sie diesen digitalen Nachweis in sozialen Netzwerken teilen, um Ihre Expertise sichtbar zu machen und Ihr berufliches Profil gezielt zu stärken.

Übersicht: Apache Hadoop Schulungen Portfolio

Mehr zu den Vorteilen von Badges

Seminare kurz vor der Durchführung