Google Cloud Orchestrate BigQuery Workloads with Dataform (OBWD)

Ziele der Schulung

Dataform ist ein Service für Datenanalysten zur Entwicklung, zum Testen, zur Versionskontrolle und zur Planung komplexer SQL-Workflows für die Datentransformation in BigQuery. In diesem Kurs lernen Sie die Komponenten des Dataform-Kerns kennen, erfahren, wie Sie Tabellen und Abhängigkeiten in SQLX definieren, BigQuery-Tabellen und -Ansichten dokumentieren, BigQuery-Sicherheitseinstellungen verstehen und wie Sie diese mit Dataform verwalten, Assertions schreiben, SQL-Workflows ausführen und weitere fortgeschrittene Anwendungsfälle untersuchen.

Zielgruppe Seminar

• Dateningenieure
• Cloud-Architekten
• Datenanalysten
• Entwickler
• Technische Projektleiter
• Maschinelles Lernen-Experten

Voraussetzungen

Kenntnisse der SQL-Datenanalyse und von BigQuery, wie in BigQuery for Data Analysis beschrieben.

Seminarinhalt

Modul 1 - Dataform-Kernkomponenten

Themen:

• SQL-Arbeitsablauf
• Repositories und Arbeitsbereiche
• Standarddateien und -ordner
• Kompilierte Diagramme

Zielsetzungen:

• Verstehen der Komponenten des Dataform-Kerns.

Modul 2 - Tabellendefinitionen und Abhängigkeiten

Themen:

• Deklarieren Sie eine Datenquelle.
• Erstellen Sie eine Tabelle.
• Erstellen Sie eine inkrementelle Tabelle.
• Partitionierungs- und Clustering-Optionen festlegen.
• Erstellen Sie eine leere Tabelle.
• Erstellen Sie eine externe BigLake-Tabelle.
• Erstellen Sie Ansichten und materialisierte Ansichten.
• Definieren Sie Abhängigkeiten.

Zielsetzungen:

• Erstellen von Tabellen und Ansichten in BigQuery mit Dataform.

Modul 3 - BigQuery-Tabellen und Ansichten dokumentieren

Themen:

• Verwenden Sie Spaltenbeschreibungen.
• Verwenden Sie global definierte JavaScript-Konstanten.
• Etiketten hinzufügen.

Zielsetzungen:

• Dokumentieren Sie BigQuery-Tabellen und -Ansichten.

Aktivitäten:

• Übung: SQL-Workflows mit Abhängigkeiten in Dataform erstellen.

Modul 4 - BigQuery-Sicherheitseinstellungen

Themen:

• IAM-Zugriff auf Datensätze und Tabellen/Ansichten
• Sicherheit auf Säulenebene
• Sicherheit auf Zeilenebene

Zielsetzungen:

• Verstehen der BigQuery-Sicherheitseinstellungen mit Dataform.

Modul 5 - Behauptungen

Themen:

• Verwenden Sie integrierte Assertions.
• Erstellen Sie manuelle Assertions.

Zielsetzungen:

• Verwenden Sie Assertions zur Validierung von Daten in Dataform-Workflows.

Aktivitäten:

• Übung: Arbeiten mit Assertions und BigQuery-Sicherheitseinstellungen in Dataform.

Modul 6 - SQL-Workflow-Ausführungen

Themen:

• Dataform-Code-Lebenszyklus.
• Was passiert bei der Kompilierung?
• Anpassen und Planen der Kompilierungsergebnisse.
• Ausführen von Arbeitsabläufen (UI, Cloud Scheduler, Cloud Composer).
• Protokollierung und Überwachung.

Zielsetzungen:

• Automatisierte Ausführung von Dataform SQL-Workflows.

Aktivitäten:

• Übung: SQL-Workflow-Ausführungen in Dataform automatisieren und überwachen.

Modul 7 - Erweiterte Anwendungsfälle

Themen:

• Erstellen Sie eine BigLake-Tabelle nach dem Datei-Upload mit Cloud Run-Funktionen.
• Erstellen Sie eine Pipeline für maschinelles Lernen mit BigQuery ML.
• Arbeit mit sich langsam verändernden Dimensionen Typ 2.

Zielsetzungen:

• Erkunden Sie weitere Anwendungsfälle für Dataform.

Aktivitäten:

• Übung: Erstellen einer BigLake-Tabelle mit Dataform unter Verwendung von Cloud Run Functions.

Hinweise

Partner

Dieses Seminar bieten wir in Kooperation mit unserem Google Cloud Learning Partner Fast Lane Institute for Knowledge Transfer GmbH an.

Open Badge für dieses Seminar - Ihr digitaler Kompetenznachweis

Durch die erfolgreiche Teilnahme an einem Kurs bei IT-Schulungen.com erhalten Sie zusätzlich zu Ihrem Teilnehmerzertifikat ein digitales Open Badge (Zertifikat) – Ihren modernen Nachweis für erworbene Kompetenzen.

Ihr Open Badge ist jederzeit in Ihrem persönlichen und kostenfreien Mein IT-Schulungen.com-Konto verfügbar. Mit wenigen Klicks können Sie diesen digitalen Nachweis in sozialen Netzwerken teilen, um Ihre Expertise sichtbar zu machen und Ihr berufliches Profil gezielt zu stärken.

Übersicht: Google Cloud Schulungen Portfolio

Mehr zu den Vorteilen von Badges

Seminare kurz vor der Durchführung