Edge AI mit NPUs – Deployment von ML-Modellen auf Embedded-Systemen

Ziele der Schulung

In dieser 3-tägigen Schulung „Edge AI mit NPUs – Deployment von ML-Modellen auf Embedded-Systemen" lernen Sie, Machine-Learning-Modelle für Zeitreihendaten aus Sensorquellen entlang eines vollständigen End-to-End-Workflows zu entwickeln, zu optimieren und auf Embedded-Plattformen produktiv bereitzustellen.

Sie arbeiten durchgängig mit dem kompletten Edge-AI-Workflow – von der Datenaufbereitung und Feature-Extraktion über den Entwurf geeigneter Modellarchitekturen bis hin zu Quantisierung, Konvertierung und Deployment auf einer NPU-beschleunigten Embedded-Plattform (Raspberry Pi mit AI HAT).

Ein Schwerpunkt liegt auf den technischen Rahmenbedingungen von Edge-AI-Systemen, insbesondere hinsichtlich Speicherbedarf, Latenz, Energieverbrauch und Rechenleistung. Sie lernen, Modelle gezielt für diese Constraints zu optimieren und Verfahren wie INT8- und Mixed-Precision-Quantisierung anzuwenden. Darüber hinaus werden klassische und moderne Ansätze zur Verarbeitung von Zeitreihendaten vermittelt, beispielsweise für Anomalieerkennung, Condition Monitoring und Echtzeitklassifikation von Sensordaten im IoT- und Embedded-Umfeld.

Am Ende der Schulung sind Sie in der Lage:

• Edge-AI-Modelle für Time-Series Data eigenständig zu entwickeln und gezielt zu optimieren
• Quantisierungstechniken wie INT8 und Mixed Precision sicher anzuwenden
• Machine-Learning-Modelle auf Embedded-NPU-Systemen produktiv zu deployen
• End-to-End-ML-Pipelines von der Datenaufnahme bis zur Inference aufzubauen
• Embedded-AI-Systeme anhand technischer Metriken wie Latenz, Durchsatz, Energieverbrauch und Genauigkeit fundiert zu bewerten

Im Rahmen der praktischen Übungen wird eine embedded Hardware zur Verfügung gestellt, die während der Schulung genutzt wird und im Kurspreis inbegriffen ist.

Zielgruppe Seminar

• Embedded-Softwareentwickler
• Data Scientists mit Fokus auf Edge/IoT
• Machine-Learning- und AI-Entwickler
• Ingenieure im Bereich Sensordatenverarbeitung und industrielle Systeme

Voraussetzungen

• Erfahrung in Python-Programmierung
• Grundkenntnisse in Machine Learning (Modelltraining, Training vs. Inference)
• Sicherer Umgang mit Linux-basierten Systemen
• Grundverständnis von Embedded Systems / IoT-Architekturen
• Erfahrung mit Frameworks wie TensorFlow oder PyTorch von Vorteil

Seminarinhalt

Model Quantisation and Conversion

• Why quantisation matters for embedded systems: INT8, Mixed Precision
• Post-training quantisation vs. quantisation-aware training
• Hands-on: converting an existing model (e.g. PyTorch / TensorFlow) into a quantised format
• Tooling: TensorFlow Lite, ONNX Runtime, Hailo Dataflow Compiler / Model Zoo
• Common pitfalls: accuracy degradation, layer-compatibility issues, debugging quantised models

Time-Series Data at the Edge

• Working with signals in short time windows (e.g. sensor data)
• Feature-extraction strategies: raw windows, FFT, learned features
• Lightweight model architectures for short-window time-series: 1D-CNN, small LSTMs, TCN (Temporal Convolutional Networks)
• Practical aspects: window size, overlap, real-time buffering

Deployment on Raspberry Pi and the AI HAT (NPU)

• End-to-end workflow: model training (PC) → export → deployment (board)
• Setup and inference on the Raspberry Pi with AI HAT
• Using the NPU: supported operations, runtime configuration, memory allocation
• Model compilation for the Hailo accelerator

Benchmarking: PC vs. Embedded vs. NPU

• Defining relevant metrics: latency, throughput, accuracy, energy consumption
• Running the same model on all three target platforms
• Hands-on: end-to-end benchmark of the trained time-series model on:
  • PC (CPU)
  • Raspberry Pi (CPU)
  • Raspberry Pi (NPU / AI HAT)
• Interpretation of results and analysis of trade-offs

Hinweise

Weitere Hinweise

Die embedded Hardware wird jedem Teilnehmer nach dem Kurs zur Verfügung gestellt und ist im Kurspreis enthalten.

Open Badge für dieses Seminar - Ihr digitaler Kompetenznachweis

Durch die erfolgreiche Teilnahme an einem Kurs bei IT-Schulungen.com erhalten Sie zusätzlich zu Ihrem Teilnehmerzertifikat ein digitales Open Badge (Zertifikat) – Ihren modernen Nachweis für erworbene Kompetenzen.

Ihr Open Badge ist jederzeit in Ihrem persönlichen und kostenfreien Mein IT-Schulungen.com-Konto verfügbar. Mit wenigen Klicks können Sie diesen digitalen Nachweis in sozialen Netzwerken teilen, um Ihre Expertise sichtbar zu machen und Ihr berufliches Profil gezielt zu stärken.

Übersicht: Embedded Systems Schulungen Portfolio

Mehr zu den Vorteilen von Badges

Seminare kurz vor der Durchführung