DeepEval - Das Unit-Testing Framework für Large Language Models (LLMs)

Ziele der Schulung

In dieser 1-tägigen Schulung "DeepEval - Das Unit-Testing Framework für Large Language Models (LLMs)" lernen Sie, wie Sie das Open-Source-Framework DeepEval zur Evaluation und zum Testen von Large Language Models (LLMs) gezielt einsetzen können. DeepEval ist ein benutzerfreundliches, an Pytest angelehntes Tool, das speziell dafür entwickelt wurde, die Ausgaben von Sprachmodellen automatisiert und semantisch fundiert zu bewerten.

Sie erhalten eine kompakte Einführung in die Grundprinzipien und Einsatzmöglichkeiten von DeepEval und lernen anhand praxisnaher Beispiele, wie Sie erwartete und tatsächliche Modellantworten miteinander vergleichen – nicht nur auf rein textueller, sondern auf semantischer Ebene, unterstützt durch unterschiedliche, wählbare Metriken.

Am Ende des Seminars sind Sie in der Lage, DeepEval in Ihre bestehenden Testprozesse zu integrieren, qualitativ hochwertige Test-Cases für LLMs zu formulieren und fundierte Aussagen über die Leistung von Sprachmodellen im praktischen Einsatz – z. B. in Kundenanfragen oder Produktinformationen – zu treffen.

Zielgruppe Seminar

Alle technisch arbeitenden Mitarbeiter, die Sprachmodelle / LLMs für den Einsatz für unternehmensspezifische Aufgaben testen wollen

Voraussetzungen

• Python-Grundkenntnisse

Seminarinhalt

DeepEval ist ein einfach zu nutzendes Open-Source-Framework zur Evaluation und zum Testen von Large Language Models (LLMs). Es wurde ähnlich wie Pytest aufgebaut, ist aber speziell dafür konzipiert, Ausgaben von Sprachmodellen automatisiert zu prüfen und zu bewerten.

DeepEval erlaubt es die erwartetete und die tatsächliche Antwort eines LLMs auf Testfragen *semantisch* miteinander zu vergleichen. Es wird durch eine Vielzahl auswählbarer Metriken die Bedeutung der erwarteten und der tatsächlichen Antwort miteinander verglichen. Damit liefert DeepEval eine kostbare Unterstütztung für die automatische Bewertung verschiedener LLMs für den praktischen Einsatz im Unternehmen.

Agenda:

Einführung in Sprachmodelle

• Was ist ein Sprachmodell (LLM)?
• Wie arbeitet ein Sprachmodell?
• Einführung in Transformer

Benchmarking für Sprachmodelle

• Was für bestehende Standard-Benchmarks für LLMs gibt es heute?
• Wie funktionieren diese Benchmarks?
• Was messen diese Benchmarks und was nicht?

Einführung in DeepEval

• Was ist DeepEval?
• Überblick über DeepEval
• Wie misst man semantische Übereinstimmung? Metriken hierzu
• Wie kann ich die Erfüllung Firmen-spezifischer Anforderungen an Sprachmodelle mit DeepEval überprüfen?

Konkrete Praxisbeispiele: Auswertung von Sprachmodellen mit DeepEval in Python

• Überblick über die Programmierschnittstelle (API) von DeepEval
• Praktische Beispiele in Python
• Überprüfung von Faktenwissen durch korrekte Ausnutzung von Wissen aus Dokumenten (RAG)
• Prompt Alginment: Reagiert das Modell wirklich auf meine Anfrage?
• Toxicity: Reagiert das Modell freundlich/angemessen?

Open Badge für dieses Seminar - Ihr digitaler Kompetenznachweis

Durch die erfolgreiche Teilnahme an einem Kurs bei IT-Schulungen.com erhalten Sie zusätzlich zu Ihrem Teilnehmerzertifikat ein digitales Open Badge (Zertifikat) – Ihren modernen Nachweis für erworbene Kompetenzen.

Ihr Open Badge ist jederzeit in Ihrem persönlichen und kostenfreien Mein IT-Schulungen.com-Konto verfügbar. Mit wenigen Klicks können Sie diesen digitalen Nachweis in sozialen Netzwerken teilen, um Ihre Expertise sichtbar zu machen und Ihr berufliches Profil gezielt zu stärken.

Übersicht: LLM Schulungen Portfolio

Mehr zu den Vorteilen von Badges

Seminare kurz vor der Durchführung