Big Data Architekturen - Überblick

Ziele der Schulung

In dieser 2-tägigen Schulung "Big Data Architekturen - Überblick" lernen Sie moderne Ansätze zur Verarbeitung großer Datenmengen und die Bereitstellung zeitnaher Ergebnisse kennen. Der klassische Ansatz einer Client-Server-Architektur kann diese Anforderungen oft nicht erfüllen, weshalb verteilte Speicherung und Verarbeitung der Daten immer wichtiger werden. Das Seminar vermittelt Ihnen Kenntnisse über Hadoop-basierte Architekturen, die entweder für Stapelverarbeitung oder nahezu Echtzeitverarbeitung eingesetzt werden können, oder sogar eine Kombination beider Anforderungen bieten.

Zielgruppe Seminar

• Entscheider
• (IT-)Architekt
• Projektmanager

Voraussetzungen

• Praktische Erfahrung in der IT-Informationsverarbeitung
• Grundkenntnisse über Big Data und Hadoop

Seminarinhalt

Kurzer Überblick zum Hadoop Framework

Das Seminar startet mit einem kurzen Überblick zu den einzelnen Komponenten des Hadoop-Frameworks, ihrem aktuellen Entwicklungsstand und Ihrem Status in den beiden wichtigsten Hadoop-Distributionen von Cloudera und Hortonworks.

Kriterien für die Wahl der Architektur

Die wohl wichtigsten Stellschrauben für die auszuwählende Architektur sind Reaktionszeit, Datenmenge und Strukturtiefe. Während die Datenmenge primär Einfluss auf das Sizing des Hadoop-Clusters hat, bestimmen Strukturtiefe und Reaktionszeit, welche Komponenten des Frameworks bevorzugt zum Einsatz kommen und wie der Datenfluss zu organisieren ist.

Speicherung schwach strukturierter Daten

Für die Speicherung von schwach strukturierten Daten steht die Datenablage im verteilten Dateisystem HDFS zur Verfügung, welches in diesem Modul näher vorgestellt und demonstriert wird.

Speicherung strukturierter Daten

Strukturierte Daten können in Hadoop entweder im verteilten Dateisystem HDFS mit zugehöriger Metadaten-Beschreibung oder in einer verteilten Datenbank, beispielsweise HBase, abgespeichert werden. In diesem Modul werden die einzelnen Möglichkeiten näher beschrieben und demonstriert.

Architektur für die Stapelverarbeitung

Die traditionelle Verarbeitungsform ist die Stapelverarbeitung. Dies ist auch im Hadoop-Framework nicht anders und so stehen beispielsweise mit sqoop und MapReduce seit den ersten Versionen zwei Komponenten für die Datenbewirtschaftung und ihre Verarbeitung zur Verfügung.

In diesem Modul werden verschiedene Szenarien der Stapelverarbeitung für unterschiedliche Anwendungsfälle vorgestellt und demonstriert.

Architektur für die unmittelbare Verarbeitung

Für die unmittelbare Verarbeitung von Daten existieren unterschiedliche Ansätze. Zum einen können sehr kleine Stapel sehr schnell nacheinander verarbeitet werden und zum anderen können Daten in einen Puffer eingestellt werden, aus dem sie permanent entnommen und verarbeitet werden.

Beide Ansätze können mit Komponenten des Hadoop-Frameworks umgesetzt werden. In diesem Modul werden Lösungsansätze skizziert und demonstriert.

Gemischte Architekturen

Die Kombination aus Stapelverarbeitung und unmittelbarer Verarbeitung ist immer dann erforderlich, wenn einerseits aktuelle Auswertungen zeitnah benötigt und andererseits Auswertungen aus riesigen Datenbeständen benötigt werden.

Dieser als Lambda-Architektur bezeichnete Ansatz lässt sich mit Komponenten des Hadoop Frameworks umsetzen, benötigt aber besondere Sorgfalt in der Implementierung, wie in diesem Modul gezeigt wird.

Rückgekoppelte Architekturen

Rückgekoppelte Architekturen sind ein Spezialfall, in dem die Ergebnisse von Auswertungen wieder als Eingangsgrößen für spätere Analysen verwendet werden. Derartige Szenarien gewinnen insbesondere im Umfeld des Maschinellen Lernens und der Künstlichen Intelligenz zunehmend an Bedeutung.

In diesem Modul werden die grundsätzlichen Anforderungen skizziert und gezeigt, wie diese mit den im Hadoop-Framework verfügbaren Komponenten umgesetzt werden können.

Open Badge für dieses Seminar - Ihr digitaler Kompetenznachweis

Durch die erfolgreiche Teilnahme an einem Kurs bei IT-Schulungen.com erhalten Sie zusätzlich zu Ihrem Teilnehmerzertifikat ein digitales Open Badge (Zertifikat) – Ihren modernen Nachweis für erworbene Kompetenzen.

Ihr Open Badge ist jederzeit in Ihrem persönlichen und kostenfreien Mein IT-Schulungen.com-Konto verfügbar. Mit wenigen Klicks können Sie diesen digitalen Nachweis in sozialen Netzwerken teilen, um Ihre Expertise sichtbar zu machen und Ihr berufliches Profil gezielt zu stärken.

Übersicht: Big Data Schulungen Portfolio

Mehr zu den Vorteilen von Badges

Seminare kurz vor der Durchführung