Introduction to Data Engineering on Google Cloud (IDEG)

Ziele der Schulung

In dieser 1-tägigen Schulung "Introduction to Data Engineering on Google Cloud (IDEG)" erfahren Sie mehr über Data Engineering in der Google Cloud, die Rollen und Verantwortlichkeiten von Data Engineers und wie diese mit den Angeboten von Google Cloud zusammenhängen. Außerdem erfahren Sie, wie Sie Herausforderungen im Data Engineering angehen können.

Zielgruppe Seminar

• Daten-Ingenieure
• Datenbank-Administratoren
• Systemadministratoren

Voraussetzungen

• Grundlegende Erfahrung mit Google Cloud unter Verwendung von Cloud Shell und Zugriff auf Produkte über die Google Cloud-Konsole.
• Grundkenntnisse in einer gängigen Abfragesprache wie SQL.
• Erfahrung mit Datenmodellierung und ETL-Aktivitäten (Extrahieren, Transformieren, Laden).
• Erfahrung in der Entwicklung von Anwendungen mit einer gängigen Programmiersprache wie Python

Seminarinhalt

Modul 1 - Data-Engineering-Aufgaben und -Komponenten

• Themen:

  • Die Rolle des Dateningenieurs
  • Datenquellen versus Datensenken
  • Datenformate
  • Optionen für Speicherlösungen in der Google Cloud
  • Optionen für die Verwaltung von Metadaten in der Google Cloud
  • Gemeinsame Nutzung von Datensätzen mit Analytics Hub

• Zielsetzungen:

  • Erklären Sie die Rolle eines Dateningenieurs. die Unterschiede zwischen einer Datenquelle und einer Datensenke zu verstehen.
  • Erklären Sie die verschiedenen Arten von Datenformaten.
  • Erklären Sie die Optionen für Speicherlösungen in der Google Cloud.
  • Erfahren Sie mehr über die Möglichkeiten der Metadatenverwaltung in Google Cloud.
  • Verstehen Sie, wie Sie mit Analytics Hub problemlos Datensätze gemeinsam nutzen können.
  • Verstehen, wie man Daten mit der Google Cloud-Konsole oder der gcloud CLI in BigQuery lädt.

• Aktivitäten:

  • Übung: Laden von Daten in BigQuery
  • Quiz

Modul 2 - Datenreplikation und -migration

• Themen:

  • Replikations- und Migrationsarchitektur
  • Das gcloud-Befehlszeilenwerkzeug
  • Verschieben von Datensätzen
  • Datastream

• Zielsetzungen:

  • Erklären Sie die grundlegende Datenreplikations- und Migrationsarchitektur der Google Cloud.
  • die Optionen und Anwendungsfälle für das gcloud-Befehlszeilentool zu verstehen.
  • Erläutern Sie die Funktionalität und die Anwendungsfälle des Speicherübertragungsdienstes.
  • Erläutern Sie die Funktionen und Anwendungsfälle der Transfer Appliance.
  • Verstehen Sie die Funktionen und den Einsatz von Datastream.

• Aktivitäten:

  • Labor: Datastream: PostgreSQL-Replikation zu BigQuery (optional für ILT)
  • Quiz

Modul 3 - Das Pipeline-Muster zum Extrahieren und Laden von Daten

• Themen:

  • Architektur extrahieren und laden
  • Das bq-Befehlszeilenwerkzeug
  • BigQuery-Datenübertragungsdienst
  • BigLake

• Zielsetzungen:

  • Erläutern Sie das Diagramm der Grundlinienextraktion und -lastarchitektur. die Optionen des Befehlszeilenprogramms bq verstehen.
  • Erläutern Sie die Funktionen und Anwendungsfälle für den BigQuery Data Transfer Service.
  • Erläutern Sie die Funktionalität und die Anwendungsfälle für BigLake als Nicht-
  • Extract-Load-Muster.

• Aktivitäten:

  • Labor: BigLake: Qwik Start
  • Quiz

Modul 4 - Das Pipeline-Muster zum Extrahieren, Laden und Transformieren von Daten

• Themen:

  • Architektur zum Extrahieren, Laden und Umwandeln (ELT)
  • SQL-Skripterstellung und Zeitplanung mit BigQuery
  • Datenformular

• Zielsetzungen:

  • Erläutern Sie das Grundschema der Extraktions-, Lade- und Transformationsarchitektur.
  • Verstehen Sie eine gängige ELT-Pipeline in der Google Cloud.
  • Erfahren Sie mehr über die SQL-Skripterstellung und die Planungsfunktionen von
  • BigQuery.
  • Erläutern Sie die Funktionen und Anwendungsfälle von Dataform.

• Aktivitäten:

  • Übung: Erstellen und Ausführen eines SQL-Workflows in Dataform
  • Quiz

Modul 5 - Das Pipeline-Muster zum Extrahieren, Transformieren und Laden von Daten

• Themen:

  • Architektur des Extrahierens, Transformierens und Ladens (ETL)
  • Google Cloud GUI-Tools für ETL-Datenpipelines
  • Batch-Datenverarbeitung mit Dataproc
  • Optionen für die Verarbeitung von Streaming-Daten
  • Bigtable und Datenpipelines

• Zielsetzungen:

  • Erläutern Sie das Grundschema der Extraktions-, Transformations- und Ladearchitektur.
  • Lernen Sie die GUI-Tools von Google Cloud kennen, die für ETL-Datenpipelines verwendet werden.
  • Erläutern Sie die Batch-Datenverarbeitung mit Dataproc.
  • Erfahren Sie, wie Sie Dataproc Serverless for Spark für ETL verwenden können.
  • Erläutern Sie die Möglichkeiten der Streaming-Datenverarbeitung.
  • Erklären Sie, welche Rolle Bigtable in Datenpipelines spielt.

• Aktivitäten:

  • Übung: Verwenden von Dataproc Serverless for Spark zum Laden von BigQuery (optional für ILT)
  • Übung: Erstellen einer Streaming-Datenpipeline für ein Echtzeit-Dashboard mit Dataflow
  • Quiz

Modul 6 - Automation Techniques

• Themen:

  • Automatisierungsmuster und Optionen für Pipelines
  • Cloud Scheduler und Arbeitsabläufe
  • Cloud-Komponist
  • Cloud Run-Funktionen
  • Eventarc

• Zielsetzungen:

  • Erklären Sie die Automatisierungsmuster und -optionen, die für Pipelines verfügbar sind.
  • Erfahren Sie mehr über Cloud Scheduler und Workflows.
  • Erfahren Sie mehr über Cloud Composer.
  • Lernen Sie die Funktionen von Cloud Run kennen.
  • Erläutern Sie die Funktionalität und die Anwendungsfälle der Automatisierung von Eventarc.

• Aktivitäten:

  • Übung: Verwenden von Cloud Run Functions zum Laden von BigQuery (optional für ILT)
  • Quiz

Hinweise

Partner

Dieses Seminar bieten wir in Kooperation mit unserem Google Cloud Learning Partner Fast Lane Institute for Knowledge Transfer GmbH an.

Open Badge für dieses Seminar - Ihr digitaler Kompetenznachweis

Durch die erfolgreiche Teilnahme an einem Kurs bei IT-Schulungen.com erhalten Sie zusätzlich zu Ihrem Teilnehmerzertifikat ein digitales Open Badge (Zertifikat) – Ihren modernen Nachweis für erworbene Kompetenzen.

Ihr Open Badge ist jederzeit in Ihrem persönlichen und kostenfreien Mein IT-Schulungen.com-Konto verfügbar. Mit wenigen Klicks können Sie diesen digitalen Nachweis in sozialen Netzwerken teilen, um Ihre Expertise sichtbar zu machen und Ihr berufliches Profil gezielt zu stärken.

Übersicht: Google Cloud Schulungen Portfolio

Mehr zu den Vorteilen von Badges

Seminare kurz vor der Durchführung