Apache Kafka

Ziele der Schulung

In dieser 2-tägigen Schulung "Apache Kafka" lernen Sie ein verteiltes und skalierbares Messaging System kennen, welches in den letzten Jahren stark an Bedeutung gewonnen hat. Entwickelt bei LinkedIn, ist Kafka heute ein zentrales Apache Projekt. Der Kurs vermittelt einen Überblick über die Komponenten von Kafka sowie die Erstellung von Kafka-Anwendungen im Hadoop-Cluster. Es wird auf den universellen Ansatz von Kafka eingegangen, der eine individuelle Implementierung mit gewissen Herausforderungen erfordern kann, auch wenn Implementierungs-Templates zur Verfügung stehen.

Zielgruppe Seminar

• (IT-)Architekt
• (IT-)Entwickler

Voraussetzungen

• Praktische Erfahrung in der IT-Informationsverarbeitung
• Kenntnisse in einer Programmiersprache, bevorzugt Java und/oder Python
• Kenntnisse über Big Data sowie über Queuing-Mechanismen

Seminarinhalt

Architekturen – Batch vs. Stream in Hadoop

Die moderne Verarbeitung von Informationen muss nicht nur große Datenmengen handhaben können, sondern unter Umständen auch in der Lage sein, zeitnah Ergebnisse bereit zu stellen. Dies ist mit dem klassischen Architekturansatz nicht lösbar und so sind verschiedene Architekturansätze entstanden, die alle auf einer verteilten Speicherung und Verarbeitung der Daten beruhen und den unterschiedlichsten Anforderungen gerecht werden.

In diesem Modul lernen Sie auf Hadoop basierende Architekturen kennen, die entweder für die Stapelverarbeitung oder die Verarbeitung nahe Echtzeit eingesetzt werden können sowie eine Kombination aus beiden Anforderungen.

Strukturen – Die logische Sicht auf die Daten in Kafka

In diesem Abschnitt wird die logische Datenarchitektur für Kafka erläutert, die aus Topics besteht, die in Partitionen und diese wiederum in Segmente gegliedert sind. Weitere Schwerpunkte sind die möglichen Varianten der Aufteilung der Daten in einer verteilten Implementierung sowie Überlegungen zur Liefergarantie.

Storage und Access – Der physische Zugriff auf die Daten mit Kafka

Physisch ist ein Segment eine Datei, auf die ein Consumer in der Interaktion mit ZooKeeper zugreift. In diesem Abschnitt werden Details dazu erläutert und demonstriert. Ein weiterer Schwerpunkt bildet die Behandlung möglicher Ausfall- und Wiederaufsetz-Szenarien.

Praxis 1 – Programmatischer Zugriff auf Kafka

Kafka ist in Java programmiert, weshalb die Java-APIs allererste Wahl für die Programmierung von Consumern und Producern sind. Allerdings wird in zunehmendem Maße auch Python genutzt, um Kafka zu konfektionieren.

In diesem Praxisteil machen Sie sich mit den APIs vertraut und lernen darüber hinaus die Möglichkeiten von NiFi für die Programmierung von Kafka kennen.

Praxis 2 – Erstellung von Consumern für Kafka

Dieser Praxisteil legt den Schwerpunkt auf die Erstellung von Consumern für Kafka. Ausgehend von dem dafür existierenden Blueprint-Ansatz wird die Umsetzung mit Java und Python demonstriert. Sie erstellen in praktischen Aufgabenstellungen verschiedene Consumer mit Java und Python.

Praxis 3 – Erstellung von Producern für Kafka

Dieser Praxisteil legt den Schwerpunkt auf die Erstellung von Producern für Kafka. Ausgehend von dem dafür existierenden Blueprint-Ansatz wird die Umsetzung mit Java und Python demonstriert. Sie erstellen in praktischen Aufgabenstellungen verschiedene Producer mit Java und Python.

Praxis 4 - Integration von Kafka mit anderen u.a. Bigdata Systemen

In diesem Praxisteil wird der Schwerpunkt auf praktische Aspekte der Integration von Kafka im mit anderen Systemen gelegt und die Umsetzungsmethoden gezeigt. Ein praktischer Teil zu Anbindungen mit Hilfe von Kafka Connectoren rundet diesen Abschnitt ab.

Open Badge für dieses Seminar - Ihr digitaler Kompetenznachweis

Durch die erfolgreiche Teilnahme an einem Kurs bei IT-Schulungen.com erhalten Sie zusätzlich zu Ihrem Teilnehmerzertifikat ein digitales Open Badge (Zertifikat) – Ihren modernen Nachweis für erworbene Kompetenzen.

Ihr Open Badge ist jederzeit in Ihrem persönlichen und kostenfreien Mein IT-Schulungen.com-Konto verfügbar. Mit wenigen Klicks können Sie diesen digitalen Nachweis in sozialen Netzwerken teilen, um Ihre Expertise sichtbar zu machen und Ihr berufliches Profil gezielt zu stärken.

Übersicht: Apache Hadoop Schulungen Portfolio

Mehr zu den Vorteilen von Badges

Kundenbewertungen

Seminare kurz vor der Durchführung