Data Engineering - Skalierbare Datenpipelines und Big Data Technologien

Ziele

In dieser 4-tägigen Schulung "Data Engineering - Skalierbare Datenpipelines und Big Data Technologien" entwickeln Sie fortgeschrittene Fähigkeiten zur Gestaltung und Verwaltung moderner Dateninfrastrukturen. Ziel ist es, Ihnen umfassendes Wissen in der Planung und Implementierung von skalierbaren Datenpipelines, der Arbeit mit Big Data-Technologien und der Anwendung von Best Practices in der Datenintegration und -sicherung zu vermitteln. Durch praktische Übungen und Fallstudien werden Sie in die Lage versetzt, theoretisches Wissen direkt anzuwenden und komplexe Datenprobleme zu lösen.

Zielgruppe

• IT-Fachkräfte und Softwareentwickler
• Data Analysts und Data Scientists

Voraussetzungen

Für eine optimale Teilnahme am Kurs empfehlen wir folgende Vorkenntnisse:

• Grundkenntnisse in Programmierung und Datenbanken sind hilfreich, aber nicht zwingend erforderlich

Agenda

Einführung in Data Engineering

• Überblick über die Rolle des Data Engineers
• Architektur von Datenplattformen
• Unterschiede zwischen Data Engineering und Data Science

Datenmodellierung und Datenbanken

• Entwurf relationaler Datenbanken und Normalisierung
• Einführung in NoSQL-Datenbanken: Typen und Einsatzgebiete
• Optimierung von Datenbankabfragen und Indexierungstechniken

ETL-Prozesse und Datenpipelines

• Planung und Design von ETL-Prozessen
• Tools und Technologien für ETL (z.B. Apache Airflow, Talend, Informatica)
• Sicherstellung der Datenqualität und Datenbereinigungstechniken
• Umgang mit inkrementellen Datenverarbeitungen

Skalierbare Datenverarbeitung

• Einführung in Big Data-Technologien wie Hadoop und Spark
• Cluster-Management und verteilte Datenverarbeitungstechniken
• Echtzeitdatenverarbeitung mit Apache Kafka und Flink
• Batch- und Stream-Processing-Architekturen

Cloud-basierte Datenarchitekturen

• Nutzung von Cloud-Diensten (AWS, Azure, Google Cloud)
• Einrichtung und Optimierung von Data Warehousing-Lösungen (z.B. Amazon Redshift, Google BigQuery)
• Sicherheit, Datenschutz und Compliance in der Cloud

Datenintegration und API-Entwicklung

• Datenintegrationstechniken für strukturierte und unstrukturierte Daten
• Entwicklung und Verwaltung von APIs zur Datenbereitstellung
• Sicherheits- und Skalierbarkeitsaspekte in der API-Entwicklung
• Einsatz von Middleware für Datenintegration

Überwachung und Optimierung von Datenpipelines

• Monitoring-Tools und Protokollierungsstrategien
• Performance-Optimierung und Skalierbarkeit
• Fehlertoleranzstrategien und Wiederherstellungskonzepte
• Nutzung von CI/CD-Pipelines in Data Engineering

Fortgeschrittene Themen und Anwendungsbereiche

• Integration von Machine Learning Pipelines
• Datenethik und verantwortungsvolle Datennutzung
• Trends und zukünftige Entwicklungen im Data Engineering
• Fallstudien aus verschiedenen Branchen (z.B. Finanzen, E-Commerce, Gesundheitswesen)

Open Badge - Ihr digitaler Kompetenznachweis

Durch die erfolgreiche Teilnahme an einem Kurs bei IT-Schulungen.com erlangen Sie nicht nur Fachkenntnisse und Fähigkeiten, sondern bekommen zusätzlich zu Ihrem Teilnahmezertifikat ein Open Badge als digitalen Nachweis Ihrer Kompetenz.

Sie können diesen in Ihrem persönlichen und kostenfreien Mein IT-Schulungen.com Konto abrufen. Ihre verdienten Badges lassen sich problemlos in sozialen Netzwerken integrieren und weitergeben.

Mehr zu den Vorteilen von Badges

Kurz vor Durchführung