Lakehouse Storage: ACID-Transaktionen & Table Formats
Ziele der Schulung
In dieser 3-tägigen Schulung "Lakehouse Storage: ACID-Transaktionen & Table Formats" lernen Sie, moderne Lakehouse-Architekturen mit ACID-Transaktionen auf Data Lakes aufzubauen und produktionsreife Storage-Lösungen mit Parquet/ORC, Spark und Trino zu implementieren. Sie verstehen Schema Evolution, Time Travel, Performance-Tuning und Governance für Batch-/Streaming-Workloads sowie die direkte Integration in BI/ML-Pipelines. Nach dem Kurs können Sie skalierbare Lakehouse-Plattformen betreiben, Kosten optimieren und Multi-Cloud-Migrationen umsetzen
Zielgruppe Seminar
- Data Engineers
- Architekten
- Plattformverantwortliche
Voraussetzungen
- Big-Data-Grundlagen oder Datenbankkenntnisse
- idealerweise praktische Erfahrung mit Spark/SQL oder Cloud Object Storage
Lernmethodik
Die Schulung bietet Ihnen eine ausgewogene Mischung aus Theorie und Praxis in einer erstklassigen Lernumgebung. Profitieren Sie vom direkten Austausch mit unseren projekterfahrenen Trainern und anderen Teilnehmern, um Ihren Lernerfolg zu maximieren.
Seminarinhalt
Lakehouse-Motivation: ACID auf Data Lakes
- Warum Lakehouse? Data Lake Schwächen beheben
- ACID-Transaktionen auf Object Storage
- Schema Evolution & Time Travel Features
Moderne Storage-Formate
- Parquet, ORC, Avro: Technische Details
- Spaltenformate vs. Row-Storage
- Kompression & Predicate Pushdown
Cloud Object Storage als Lakehouse-Fundament
- S3, ADLS Gen2, GCS: Architektur & Features
- Lifecycle Policies & Intelligent Tiering
- Kostenmodelle & Partitionierungsstrategien
Batch- & Streaming-Zugriffe
- Spark SQL & Spark Structured Streaming
- Trino/Presto: Federated Lakehouse Queries
- Delta Lake/Iceberg: Table Formats
Schema-on-Read vs. Schema-on-Write
- Schema Evolution & Enforcement
- Liquibase/dbT für Lakehouse Governance
- Data Quality & Schema Validation
BI/ML-Anbindung
- Direct Lake Queries (Power BI, Superset)
- Vector Search Foundations (ChromaDB)
- Feature Store Integration
Governance & Security
- Fine-grained Access Control (Ranger, Sentry)
- Metadata Management & Data Lineage
- Compliance & Auditing Best Practices
Performance-Tuning
- Z-Order Indexing & Data Skipping
- Compaction & Optimize Strategien
- Caching & Predicate Pushdown
Monitoring, Kostenkontrolle, Migration
- Lakehouse Observability (Prometheus/Grafana)
- Multi-Cloud Cost Optimization
- Legacy Data Lake → Lakehouse Migration
Open Badge für dieses Seminar - Ihr digitaler Kompetenznachweis
Durch die erfolgreiche Teilnahme an einem Kurs bei IT-Schulungen.com erhalten Sie zusätzlich zu Ihrem Teilnehmerzertifikat ein digitales Open Badge (Zertifikat) – Ihren modernen Nachweis für erworbene Kompetenzen.
Ihr Open Badge ist jederzeit in Ihrem persönlichen und kostenfreien Mein IT-Schulungen.com-Konto verfügbar. Mit wenigen Klicks können Sie diesen digitalen Nachweis in sozialen Netzwerken teilen, um Ihre Expertise sichtbar zu machen und Ihr berufliches Profil gezielt zu stärken.
Übersicht: Big Data Schulungen Portfolio
