Data Engineering on Google Cloud Platform (DEGCP)

Ziele der Schulung

Sammeln Sie praktische Erfahrungen mit dem Entwurf und der Erstellung von Datenverarbeitungssystemen auf Google Cloud. Dieser Kurs zeigt Ihnen anhand von Vorträgen, Demos und praktischen Übungen, wie Sie Datenverarbeitungssysteme entwerfen, End-to-End-Datenpipelines erstellen, Daten analysieren und maschinelles Lernen implementieren. Dieser Kurs deckt strukturierte, unstrukturierte und Streaming-Daten ab.

• Entwurf und Aufbau von Datenverarbeitungssystemen in der Google Cloud.
• Verarbeiten Sie Batch- und Streaming-Daten durch die Implementierung automatisch skalierender Datenpipelines auf Dataflow.
• Gewinnen Sie mit BigQuery Erkenntnisse aus extrem großen Datensätzen.
• Nutzen Sie unstrukturierte Daten mit Spark und ML-APIs auf Dataproc.
• Ermöglichen Sie sofortige Einblicke aus Streaming-Daten.

Zielgruppe Seminar

Dieser Kurs richtet sich an erfahrene Entwickler, die für die Verwaltung von Big-Data-Transformationen verantwortlich sind, zum Beispiel:

• Daten extrahieren, laden, transformieren, bereinigen und validieren
• Pipelines und Architekturen für die Datenverarbeitung entwerfen
• Modelle für maschinelles Lernen und Statistik erstellen und warten
• Datasets abfragen, Abfrageergebnisse visualisieren und Berichte erstellen

Voraussetzungen

• Frühere Erfahrungen mit Google Cloud unter Verwendung von Cloud Shell und Zugriff auf Produkte über die Google Cloud-Konsole.
• Grundkenntnisse in einer gängigen Abfragesprache wie SQL.
• Erfahrung mit Datenmodellierung und ETL-Aktivitäten (Extrahieren, Transformieren, Laden).
• Erfahrung in der Entwicklung von Anwendungen in einer gängigen Programmiersprache wie Python

Seminarinhalt

Modul 01 - Aufgaben und Komponenten der Datentechnik

Themen:

• Die Rolle des Dateningenieurs
• Datenquellen versus Datensynchronisation
• Datenformate
• Optionen für Speicherlösungen in der Google Cloud
• Optionen für die Verwaltung von Metadaten in der Google Cloud
• Gemeinsame Nutzung von Datensätzen über Analytics Hub

Aktivitäten:

• Übung: Laden von Daten in BigQuery

Modul 02 - Datenreplikation und -migration

Themen:

• Replikations- und Migrationsarchitektur
• Das gcloud-Befehlszeilenwerkzeug
• Verschieben von Datensätzen
• Datastream

Aktivitäten:

• Lab: Datastream: PostgreSQL Replikation auf BigQuery

Modul 03 - Das Muster der Pipeline für das Extrahieren und Laden von Daten

Themen:

• Architektur extrahieren und laden
• Das bq Kommandozeilenwerkzeug
• BigQuery-Datenübertragungsdienst
• BigLake

Aktivitäten:

• Labor: BigLake: Qwik Start

Modul 04 - Das Muster der Pipeline für das Extrahieren, Laden und Transformieren von Daten

Themen:

• Architektur zum Extrahieren, Laden und Umwandeln (ELT)
• SQL-Skripterstellung und Zeitplanung mit BigQuery
• Datenformular

Aktivitäten:

• Übung: Erstellen und Ausführen eines SQL-Workflows in Dataform

Modul 05 - Das Muster der Pipeline für das Extrahieren, Transformieren und Laden von Daten

Themen:

• Architektur des Extrahierens, Transformierens und Ladens (ETL)
• Google Cloud GUI-Tools für ETL-Datenpipelines
• Batch-Datenverarbeitung mit Dataproc
• Optionen für die Verarbeitung von Streaming-Daten
• Bigtable und Datenpipelines

Aktivitäten:

• Übung: Dataproc Serverless für Spark verwenden, um BigQuery zu laden
• Übung: Erstellen einer Streaming-Datenpipeline für ein Echtzeit-Dashboard mit Dataflow

Modul 06 - Automatisierungstechniken

Themen:

• Automatisierungsmuster und Optionen für Pipelines
• Cloud Scheduler und Arbeitsabläufe
• Cloud-Komponist
• Cloud Run-Funktionen
• Eventarc

Aktivitäten:

• Übung: Verwenden von Cloud Run Functions zum Laden von BigQuery

Modul 07 - Einführung in die Datentechnik

Themen:

• Die Rolle des Dateningenieurs
• Herausforderungen der Datentechnik
• Einführung in BigQuery
• Data Lakes und Data Warehouses
• Transaktionsdatenbanken versus Data Warehouses
• Effiziente Partnerschaft mit anderen Datenteams
• Verwaltung von Datenzugang und Governance
• Aufbau von produktionsreifen Pipelines
• Google Cloud Kundenfallstudie

Aktivitäten:

• Übung: BigQuery für die Analyse verwenden

Modul 08 - Aufbau eines Data Lake

Themen:

• Einführung in Data Lakes
• Datenspeicherung und ETL-Optionen in der Google Cloud
• Aufbau eines Data Lake mit Cloud Storage
• Sicherer Cloud-Speicher
• Alle Arten von Datentypen speichern
• Cloud SQL als Ihr OLTP-System

Aktivitäten:

• Übung: Laden von Taxidaten in Cloud SQL

Modul 09 - Aufbau eines Data Warehouse

Themen:

• Das moderne Data Warehouse
• Einführung in BigQuery
• Erste Schritte mit BigQuery
• Laden von Daten in BigQuery
• Erkundung von Schemata
• Entwurf des Schemas
• Verschachtelte und wiederholte Felder
• Optimierung mit Partitionierung und Clustering

Aktivitäten:

• Übung: Arbeiten mit JSON- und Array-Daten in BigQuery
• Übung: Partitionierte Tabellen in BigQuery

Modul 10 - Einführung in die Erstellung von Batch-Datenpipelines

Themen:

• EL, ELT, ETL
• Überlegungen zur Qualität
• Möglichkeiten der Ausführung von Operationen in BigQuery
• Unzulänglichkeiten
• ETL zur Lösung von Datenqualitätsproblemen

Modul 11 - Ausführen von Spark auf Dataproc

Themen:

• Das Hadoop-Ökosystem
• Hadoop auf Dataproc ausführen
• Cloud-Speicher anstelle von HDFS
• Optimieren Sie Dataproc

Aktivitäten:

• Übung: Ausführen von Apache Spark-Aufträgen auf Dataproc

Modul 12 - Serverlose Datenverarbeitung mit Dataflow

Themen:

• Einführung in den Datenfluss
• Gründe, warum Kunden Dataflow schätzen
• Datenfluss-Pipelines
• Aggregieren mit GroupByKey und Kombinieren
• Seitliche Eingänge und Fenster
• Datenfluss-Vorlagen

Aktivitäten:

• Lab: A Simple Dataflow Pipeline (Python/Java)
• Übung: MapReduce in Beam (Python/Java)
• Lab: Side Inputs (Python/Java)

Modul 13 - Verwalten von Datenpipelines mit Cloud Data Fusion und Cloud Composer

Themen:

• Visuelle Erstellung von Batch-Datenpipelines mit Cloud Data Fusion
  • Komponenten
  • UI-Übersicht
  • Aufbau einer Pipeline
  • Daten mit Wrangler erforschen
• Orchestrierung der Arbeit zwischen Google Cloud-Diensten mit Cloud Composer
  • Apache Airflow-Umgebung
  • DAGs und Operatoren
  • Workflow-Planung
  • Überwachung und Protokollierung

Modul 14 - Einführung in die Verarbeitung von Streaming-Daten

Themen:

• Verarbeitung von Streaming-Daten

Modul 15 - Serverloses Messaging mit Pub/Sub

Themen:

• Einführung in Pub/Sub
• Pub/Sub push versus pull
• Veröffentlichung mit Pub/Sub-Code

Aktivitäten:

• Übung: Streaming-Daten in Pub/Sub veröffentlichen

Modul 16 - Datenfluss-Streaming-Funktionen

Themen:

• Herausforderungen bei der Datenverarbeitung
• Datenfluss-Fensterung

Aktivitäten:

• Übung: Streaming-Daten-Pipelines

Modul 17 - BigQuery- und Bigtable-Streaming-Funktionen mit hohem Durchsatz

Themen:

• Streaming in BigQuery und Visualisierung der Ergebnisse
• Streaming mit hohem Durchsatz mit Bigtable
• Optimierung der Bigtable-Leistung

Aktivitäten:

• Labor: Streaming-Analytik und Dashboards
• Übung: Personalisierte E-Mail-Inhalte mit BigQuery Continuous Queries und Gemini generieren
• Übung: Streaming Data Pipelines in Bigtable

Modul 18 - Erweiterte BigQuery-Funktionen und -Leistung

Themen:

• Analytische Fensterfunktionen
• GIS-Funktionen
• Überlegungen zur Leistung

Aktivitäten:

• Übung: Optimieren Ihrer BigQuery-Abfragen für die Leistung

Hinweise

Partner

Dieses Seminar bieten wir in Kooperation mit unserem Google Cloud Learning Partner Fast Lane Institute for Knowledge Transfer GmbH an.

Open Badge für dieses Seminar - Ihr digitaler Kompetenznachweis

Durch die erfolgreiche Teilnahme an einem Kurs bei IT-Schulungen.com erhalten Sie zusätzlich zu Ihrem Teilnehmerzertifikat ein digitales Open Badge (Zertifikat) – Ihren modernen Nachweis für erworbene Kompetenzen.

Ihr Open Badge ist jederzeit in Ihrem persönlichen und kostenfreien Mein IT-Schulungen.com-Konto verfügbar. Mit wenigen Klicks können Sie diesen digitalen Nachweis in sozialen Netzwerken teilen, um Ihre Expertise sichtbar zu machen und Ihr berufliches Profil gezielt zu stärken.

Übersicht: Google Cloud Schulungen Portfolio

Mehr zu den Vorteilen von Badges

Gesicherte Kurstermine