Building Batch Data Pipelines on Google Cloud (BBDP)
Ziele der Schulung
In dieser 1-tägigen Schulung lernen Sie, robuste Batch-Datenpipelines auf Google Cloud zu entwerfen, zu erstellen und zu optimieren. Über die grundlegende Datenverarbeitung hinaus lernen Sie umfangreiche Datentransformationen und eine effiziente Workflow-Orchestrierung kennen, die für zeitnahe Business Intelligence und kritische Berichte unerlässlich sind.
Sie erhalten praktische Übungen zur Implementierung von Dataflow für Apache Beam und Serverless für Apache Spark (Dataproc Serverless) und befassen sich mit wichtigen Überlegungen zur Datenqualität, Überwachung und Alarmierung, um die Zuverlässigkeit der Pipeline und die operative Exzellenz sicherzustellen. Grundlegende Kenntnisse in Data Warehousing, ETL/ELT, SQL, Python und Google Cloud-Konzepten werden empfohlen.
Zielgruppe Seminar
This course is intended for developers who are responsible for designing pipelines and architectures for data processing.
Voraussetzungen
- Grundkenntnisse in Data Warehousing und ETL/ELT-Konzepten
- Grundlegende SQL-Kenntnisse
- Grundlegende Programmierkenntnisse (Python empfohlen)
- Vertrautheit mit gcloud CLI und der Google Cloud-Konsole
- Vertrautheit mit den wichtigsten Google Cloud-Konzepten und -Diensten
Lernmethodik
Die Schulung bietet Ihnen eine ausgewogene Mischung aus Theorie und Praxis in einer erstklassigen Lernumgebung. Profitieren Sie vom direkten Austausch mit unseren projekterfahrenen Trainern und anderen Teilnehmern, um Ihren Lernerfolg zu maximieren.
Seminarinhalt
Einführung in den Aufbau von Batch-Datenpipelines
- Batch-Datenpipelines und ihre Anwendungsfälle
- Verarbeitung und gemeinsame Herausforderungen
Entwurf und Aufbau von Batch-Datenpipelines
- Entwurf von Batch-Pipelines
- Großflächige Datentransformationen
- Datenfluss und Serverless für Apache Spark
- Datenverbindungen und Orchestrierung
- Ausführen einer Apache Spark-Pipeline
- Optimieren der Batch-Pipeline-Leistung
Kontrolle der Datenqualität in Batch-Datenpipelines
- Validierung und Bereinigung von Batch-Daten
- Fehler protokollieren und auswerten
- Schemaentwicklung für Batch-Pipelines
- Datenintegrität und Duplizierung
- Deduplizierung mit Serverless für Apache Spark
- Deduplizierung mit Dataflow
Orchestrierung und Überwachung von Batch-Datenpipelines
- Orchestrierung für die Stapelverarbeitung
- Cloud-Komponist
- Vereinheitlichte Beobachtbarkeit
- Warnmeldungen und Fehlerbehebung
- Visuelles Pipeline-Management
- Zusammenfassung des Kurses
Hinweise
Partner
Dieses Seminar bieten wir in Kooperation mit unserem Google Cloud Learning Partner Fast Lane Institute for Knowledge Transfer GmbH an.
Open Badge für dieses Seminar - Ihr digitaler Kompetenznachweis
Durch die erfolgreiche Teilnahme an einem Kurs bei IT-Schulungen.com erhalten Sie zusätzlich zu Ihrem Teilnehmerzertifikat ein digitales Open Badge (Zertifikat) – Ihren modernen Nachweis für erworbene Kompetenzen.
Ihr Open Badge ist jederzeit in Ihrem persönlichen und kostenfreien Mein IT-Schulungen.com-Konto verfügbar. Mit wenigen Klicks können Sie diesen digitalen Nachweis in sozialen Netzwerken teilen, um Ihre Expertise sichtbar zu machen und Ihr berufliches Profil gezielt zu stärken.
Übersicht: Google Cloud Schulungen Portfolio
