AI Observability – Monitoring und Tracing produktiver KI-Anwendungen

Ziele der Schulung

In dieser 2-tägigen Schulung "AI Observability – Monitoring und Tracing produktiver KI-Anwendungen" lernen Sie, wie moderne KI-Anwendungen im produktiven Betrieb überwacht, analysiert und kontinuierlich optimiert werden. Sie erfahren, warum klassische Monitoring-Ansätze für KI-Systeme nicht ausreichen und wie sich LLM-Anwendungen, RAG-Systeme und KI-Agenten mit spezialisierten Observability-Konzepten transparent überwachen lassen.

Sie lernen, Laufzeiten, Tokenverbrauch, Kosten, Modellantworten und Agentenprozesse systematisch nachzuvollziehen, Anomalien frühzeitig zu erkennen und Ursachen für Fehler oder Qualitätsverluste zu analysieren. Darüber hinaus erfahren Sie, wie etablierte Werkzeuge wie Langfuse, LangSmith, OpenTelemetry und Phoenix in bestehende Monitoring- und DevOps-Landschaften integriert werden.

Nach Abschluss der Schulung sind Sie in der Lage, produktive KI-Anwendungen mit modernen Observability-Methoden zu überwachen, Betriebskennzahlen auszuwerten und eine belastbare Grundlage für den zuverlässigen und wirtschaftlichen Betrieb von KI-Systemen zu schaffen.

Zielgruppe Seminar

• DevOps Engineers
• Platform Engineers
• Cloud Engineers
• Softwarearchitekten
• KI-Entwickler
• MLOps- und LLMOps-Teams

Voraussetzungen

• Grundkenntnisse in Cloud- und DevOps-Konzepten
• Grundlagen generativer KI und LLMs

Seminarinhalt

Grundlagen AI Observability

• Besonderheiten produktiver KI-Anwendungen
• Unterschiede zu klassischem Application Monitoring
• Monitoring, Logging und Tracing für KI-Systeme
• Observability-Konzepte für LLMs, RAG-Systeme und KI-Agenten
• Betriebskennzahlen und Transparenz im KI-Betrieb

Monitoring von LLM-Anwendungen

• Prompt- und Response-Tracking
• Tokenverbrauch analysieren
• Laufzeiten überwachen
• API-Nutzung und Fehlerraten
• Modellwechsel nachvollziehen
• Kostenmonitoring

Tracing komplexer KI-Workflows

• End-to-End-Tracing
• Analyse von RAG-Pipelines
• Nachvollziehbarkeit von Agentenprozessen
• Überwachung von Tool Calls
• Fehleranalyse und Root Cause Analysis

Betriebsmetriken und Anomalieerkennung

• Laufzeit- und Performancekennzahlen
• Antwortqualität im Betrieb beobachten
• Qualitätsdrift erkennen
• Anomalien identifizieren
• Dashboards und Alerting

Werkzeuge für AI Observability

• Langfuse
• LangSmith
• OpenTelemetry
• Phoenix
• Grafana und Prometheus
• Integration in bestehende Monitoring-Plattformen

Praxis: AI Observability in produktiven Umgebungen

• Aufbau einer Observability-Strategie
• Analyse eines produktiven KI-Workflows
• Entwicklung von Dashboards und Alerts
• Erkennen und Beheben typischer Betriebsprobleme

Open Badge für dieses Seminar - Ihr digitaler Kompetenznachweis

Durch die erfolgreiche Teilnahme an einem Kurs bei IT-Schulungen.com erhalten Sie zusätzlich zu Ihrem Teilnehmerzertifikat ein digitales Open Badge (Zertifikat) – Ihren modernen Nachweis für erworbene Kompetenzen.

Ihr Open Badge ist jederzeit in Ihrem persönlichen und kostenfreien Mein IT-Schulungen.com-Konto verfügbar. Mit wenigen Klicks können Sie diesen digitalen Nachweis in sozialen Netzwerken teilen, um Ihre Expertise sichtbar zu machen und Ihr berufliches Profil gezielt zu stärken.

Übersicht: KI Coding & KI Softwareentwicklung Schulungen Portfolio

Mehr zu den Vorteilen von Badges

Seminare kurz vor der Durchführung