Google Cloud Data Warehousing with BigQuery: Storage Design, Query Optimization, and Administration (DWBQ-SDQA)

Ziele der Schulung

In diesem Kurs lernen Sie die Interna von BigQuery und die besten Praktiken für den Entwurf, die Optimierung und die Verwaltung Ihres Data Warehouse kennen. Durch eine Kombination aus Vorlesungen, Demos und Übungen lernen Sie die BigQuery-Architektur kennen und erfahren, wie Sie optimale Speicher und Schemata für die Dateneingabe und -änderung entwerfen. Anschließend lernen Sie Techniken zur Verbesserung der Leseleistung, zur Optimierung von Abfragen, zur Verwaltung von Arbeitslasten und zur Verwendung von Protokollierungs- und Überwachungstools. Sie lernen auch die verschiedenen Preismodelle kennen. Schließlich lernen Sie verschiedene Methoden zum Sichern von Daten, Automatisieren von Arbeitslasten und Erstellen von Modellen für maschinelles Lernen mit BigQuery ML kennen.

• Beschreiben Sie die Grundlagen der BigQuery-Architektur.

• Implementierung von Speicher- und Schemaentwurfsmustern zur Verbesserung der Leistung.

• Verwenden Sie DML und planen Sie Datenübertragungen zum Einlesen von Daten.

• Anwendung bewährter Verfahren zur Verbesserung der Leseeffizienz und Optimierung der Abfrageleistung.

• Verwalten Sie Kapazitäten und automatisieren Sie Arbeitslasten.

• Verstehen von Mustern und Anti-Mustern zur Optimierung von Abfragen und Verbesserung der Leseleistung.

• Verwenden Sie Protokollierungs- und Überwachungstools, um Nutzungsmuster zu verstehen und zu optimieren.

• Anwendung bewährter Sicherheitsverfahren zur Verwaltung von Daten und Ressourcen.

• Erstellen und Bereitstellen verschiedener Kategorien von Modellen für maschinelles Lernen mit BigQuery ML.

• Grundlagen der BigQuery-Architektur

• Speicher- und Schema-Optimierungen

• Aufnahme von Daten

• Ändern von Daten

• Verbesserung der Leseleistung

• Optimieren und Fehlerbehebung von Abfragen

• Arbeitslastmanagement und Preisgestaltung

• Protokollierung und Überwachung

• Sicherheit in BigQuery

• Automatisieren von Arbeitsbelastungen

• Maschinelles Lernen in BigQuery

Zielgruppe Seminar

• Dateningenieure
• Data Scientists
• Cloud-Architekten
• BI-Analysten
• Datenbankadministratoren (DBAs)
• IT-Entscheidungsträger & Consultants

Voraussetzungen

Grundlagen von Big Data und maschinellem Lernen

Seminarinhalt

Modul 01: Grundlagen der BigQuery-Architektur

Themen

• Einführung
• BigQuery-Kerninfrastruktur
• BigQuery-Speicher
• BigQuery-Abfrageverarbeitung
• BigQuery-Daten-Mischung

Zielsetzungen

• Erläutern Sie die Vorteile der säulenförmigen Speicherung.
• Verstehen, wie BigQuery Daten verarbeitet.
• Lernen Sie die Grundlagen des Shuffle-Service von BigQuery kennen, um die Abfrageeffizienz zu verbessern.

Aktivitäten

• Labore und Demos

Modul 02: Speicher- und Schema-Optimierungen

Themen

• BigQuery-Speicher
• Partitionierung und Clustering
• Verschachtelte und wiederholte Felder
• ARRAY- und STRUCT-Syntax
• Bewährte Praktiken

Zielsetzungen

• Vergleichen Sie die Leistung verschiedener Schemata (Schneeflocken, denormalisierte, verschachtelte und wiederholte Felder).
• Partitionieren und Clustern von Daten für bessere Leistung
• Verbesserung des Schemadesigns durch verschachtelte und wiederholte Felder.
• Beschreiben Sie zusätzliche bewährte Verfahren wie den Ablauf von Tabellen und Partitionen

Aktivitäten

• Labore und Demos

Modul 03: Dateneingabe

Themen

• Data Ingestion Options
• Batch-Ingestion
• Streaming-Ingestion
• Veraltete Streaming-API
• BigQuery-Speicher-Schreib-API
• Materialisierung von Abfragen
• Abfrage externer Datenquellen
• Datenübertragungsdienst

Zielsetzungen

• Aufnahme von Batch- und Streaming-Daten.
• Abfrage externer Datenquellen.
• Planen Sie Datenübertragungen.
• Verstehen, wie man die Storage Write API verwendet.

Aktivitäten

• Labore und Demos

Modul 04: Ändern von Daten

Themen

• Verwaltung von Änderungen in Data Warehouses
• Umgang mit sich langsam ändernden Abmessungen (SCD)
• DML-Anweisungen
• DML Best Practices und häufige Probleme

Zielsetzungen

• DML-Anweisungen schreiben.
• Behebung häufiger DML-Leistungsprobleme und Engpässe.
• Identifizieren Sie langsam wechselnde Dimensionen (SCD) in Ihren Daten und nehmen Sie Aktualisierungen vor.

Modul 05: Verbesserung der Leseleistung

Themen

• BigQuery’s Cache
• Materialisierte Ansichten
• BI-Engine
• Hoher Lesedurchsatz
• BigQuery-Speicher-Lese-API

Zielsetzungen

• Erforschen Sie den Cache von BigQuery.
• Erstellen Sie materialisierte Ansichten.
• Arbeiten Sie mit BI Engine, um Ihre SQL-Abfragen zu beschleunigen.
• Verwenden Sie die Speicher-Lese-API für den schnellen Zugriff auf den von BigQuery verwalteten Speicher.
• Erläutern Sie die Vorbehalte gegen die Verwendung externer Datenquellen.

Aktivitäten

• Labore und Demos

Modul 06: Optimierung und Fehlerbehebung von Abfragen

Themen

• Einfache Abfrage-Ausführung
• SELECTs und Aggregation
• JOINs und Skewed JOINs
• Filtern und Ordnen
• Bewährte Praktiken für Funktionen

Zielsetzungen

• Interpretieren Sie BigQuery-Ausführungsdetails und den Abfrageplan.
• Optimieren Sie die Abfrageleistung mit Hilfe der vorgeschlagenen Methoden für SQL-Anweisungen und -Klauseln.
• Demonstration von Best Practices für Funktionen in geschäftlichen Anwendungsfällen.

Aktivitäten

• Labore und Demos

Modul 07: Arbeitslastmanagement und Preisgestaltung

Themen

• BigQuery-Steckplätze
• Preismodelle und Schätzungen
• Slot-Reservierungen
• Kostenkontrolle

Zielsetzungen

• Definieren Sie einen BigQuery-Slot.
• Erläuterung von Preismodellen und Preisschätzungen (BigQuery UI, bq dry_run, jobs API).
• Verstehen Sie Slot-Reservierungen, Verpflichtungen und Zuweisungen.
• Ermittlung der besten Praktiken zur Kostenkontrolle.

Aktivitäten

• Demos

Modul 08: Protokollierung und Überwachung

Themen

• Cloud-Überwachung
• BigQuery-Verwaltungsbereich
• Cloud Audit Logs
• INFORMATION_SCHEMA
• Abfragepfad und häufige Fehler

Zielsetzungen

• Verwenden Sie Cloud Monitoring, um BigQuery-Metriken anzuzeigen.
• Erkunden Sie das BigQuery-Verwaltungsfeld.
• Verwenden Sie Cloud Audit-Protokolle.
• Arbeiten Sie mit INFORMATION_SCHEMA-Tabellen, um Einblicke in Ihre BigQuery-Entitäten zu erhalten.

Aktivitäten

• Labore und Demos

Modul 09: Sicherheit in BigQuery

Themen

• Sichere Ressourcen mit IAM
• Autorisierte Ansichten
• Sichere Daten durch Klassifizierung
• Verschlüsselung
• Datenermittlung und -verwaltung

Zielsetzungen

• Erkunden Sie die Datenerkennung mit Data Catalog.
• Erörterung der Datenverwaltung mit DLP API und Datenkatalog.
• Erstellen Sie IAM-Richtlinien (z. B. autorisierte Ansichten), um Ressourcen zu sichern.
• Sichern Sie Daten mit Klassifizierungen (z. B. Richtlinien auf Zeilenebene).
• Verstehen, wie BigQuery Verschlüsselung verwendet.

Aktivitäten

• Labore und Demos

Modul 10: Automatisieren von Arbeitsbelastungen

Themen

• Terminierungsabfragen
• Skripting
• Gespeicherte Prozeduren
• Integration mit Big Data-Produkten

Zielsetzungen

• Zeitplanabfragen.
• Verwenden Sie Skripterstellung und gespeicherte Prozeduren, um benutzerdefinierte Transformationen zu erstellen.
• Beschreiben Sie, wie Sie BigQuery-Workloads mit anderen Google Cloud Big Data-Produkten integrieren können.

Aktivitäten

• Demos

Modul 11: Maschinelles Lernen in BigQuery

Themen

• Einführung in BigQuery ML
• Wie man mit BigQuery ML Vorhersagen macht
• Wie man ein Empfehlungssystem mit BigQuery ML erstellt und einsetzt
• Erstellen und Bereitstellen einer Lösung für die Nachfrageprognose mit BigQuery ML
• Zeitreihenmodelle mit BigQuery ML
• BigQuery ML-Erklärbarkeit

Zielsetzungen

• Beschreiben Sie einige der verschiedenen Anwendungen von BigQuery ML.
• Erstellen und Bereitstellen verschiedener Kategorien von Modellen für maschinelles Lernen mit BigQuery ML.
• Verwenden Sie AutoML-Tabellen zur Lösung hochwertiger Geschäftsprobleme.

Aktivitäten

• Labore und Demos

Hinweise

Partner

Dieses Seminar bieten wir in Kooperation mit unserem Google Cloud Learning Partner Fast Lane Institute for Knowledge Transfer GmbH an.

Open Badge für dieses Seminar - Ihr digitaler Kompetenznachweis

Durch die erfolgreiche Teilnahme an einem Kurs bei IT-Schulungen.com erhalten Sie zusätzlich zu Ihrem Teilnehmerzertifikat ein digitales Open Badge (Zertifikat) – Ihren modernen Nachweis für erworbene Kompetenzen.

Ihr Open Badge ist jederzeit in Ihrem persönlichen und kostenfreien Mein IT-Schulungen.com-Konto verfügbar. Mit wenigen Klicks können Sie diesen digitalen Nachweis in sozialen Netzwerken teilen, um Ihre Expertise sichtbar zu machen und Ihr berufliches Profil gezielt zu stärken.

Übersicht: Google Cloud Schulungen Portfolio

Mehr zu den Vorteilen von Badges