Microsoft Foundry ist Microsofts neue, einheitliche KI-Plattform für die Entwicklung und den Betrieb von AI-Agents und generativen Anwendungen auf Basis von Microsoft Azure. Sie bündelt Modellkatalog, Agent-Orchestrierung, Tools, Wissensschicht und Governance in einem konsistenten Betriebsmodell von der Cloud bis zum Windows-Client. Der folgende Beitrag erklärt, wie Microsoft Foundry aufgebaut ist, welche Anwendungsfälle sich in Unternehmen und Behörden anbieten, wo Chancen und Risiken liegen – und für welche Rollen im IT-Umfeld sich ein tiefer Einstieg besonders lohnt.

Begriffserklärung & Einleitung

Microsoft Foundry ist ein Azure-Platform-as-a-Service-Angebot, das KI-Modelle, Agents und Tools in einer gemeinsamen Verwaltungsdomäne („Foundry-Projekt“) zusammenführt. Es adressiert sowohl Enterprise-AI-Operations (MLOps/LLMOps), Modellbereitstellung als auch die Anwendungsentwicklung.

Historisch geht Microsoft Foundry aus „Azure AI Foundry“ hervor; im Zuge von Ignite 2025 wurde die Plattform grundlegend überarbeitet und um neue Funktionen für Multi-Agent-Orchestrierung, Observability und Integrationen erweitert. Technisch besteht sie heute aus:

• einem umfangreichen Modellkatalog („Foundry Models“),
• dem Foundry Agent Service für Agents und Workflows,
• Foundry Tools (vormals Azure AI Services),
• und der Wissensebene Foundry IQ für Retrieval-Augmented Generation (RAG).

Für Entwickler:innen stehen zwei Portale zur Verfügung: „Microsoft Foundry (classic)“ für bestehende Azure-AI-Projekte und „Microsoft Foundry (neu)“ mit vereinfachter Oberfläche und Fokus auf agentische Workflows. Ein Umschalter im Portalbanner erlaubt den Wechsel zwischen beiden Welten.

Parallel dazu gibt es „Microsoft Foundry unter Windows“ – eine einheitliche Plattform, um lokale Modelle auf CPU, GPU und NPU zusammen mit Remote-APIs in Anwendungen zu integrieren. Damit spannt Microsoft Foundry den Bogen von lokaler Inferenz am Endgerät bis hin zu hochskalierter Cloud-Infrastruktur.

Im Kontext von „agentischer KI“ – also Systemen aus mehreren kooperierenden Agents – positioniert sich Microsoft Foundry als „Agent Factory“: eine Umgebung, in der Unternehmen KI-Anwendungen iterativ entwerfen, ausrollen, überwachen und anpassen können.

Funktionsweise & technische Hintergründe

Architekturkomponenten von Microsoft Foundry

Kernbaustein von Microsoft Foundry ist das Foundry-Projekt. Es bündelt alle relevanten Ressourcen:

• Modellbereitstellungen und Endpunkte
• Agents und Workflows
• Wissensbasen (Foundry IQ)
• Foundry Tools und eigene Tool-Kataloge
• Metriken, Traces und Governance-Einstellungen

Diese Ressourcen werden unter einem Azure-Ressourcenanbieter-Namespace verwaltet und folgen der einheitlichen rollenbasierten Zugriffskontrolle (RBAC), Netzwerkkonfiguration und Policies des Projekts.

Das klassische Portal unterstützt neben Foundry-Projekten auch andere Ressourcentypen (z. B. Azure OpenAI-Ressourcen), während das neue Portal eine aufgeräumte Sicht ausschließlich auf Foundry-Projekte bietet – inklusive moderner Multi-Agent-Workflows.

Modellkatalog und Model Router

Der Modellkatalog in Microsoft Foundry umfasst nach aktuellen Angaben eine sehr große Zahl an Modellen – darunter Azure OpenAI-Deployments, Anthropic Claude, Meta Llama, Mistral, DeepSeek, xAI, NVIDIA-Modelle und weitere Anbieter. Die Modelle können über konsumorientierte („serverless“) oder dedizierte Compute-Angebote abgerechnet werden.

Neu hinzugekommen sind u. a. die Claude-Modelle von Anthropic, die nun direkt über Microsoft Foundry konsumiert werden können – flankiert von einer Compute-Partnerschaft mit Microsoft und NVIDIA.

Ein Model Router wählt je nach Aufgabe und Kosten-/Latenzanforderung automatisch geeignete Modelle aus. Dadurch lassen sich z. B. kostengünstige, kleinere Modelle für Routineaufgaben und leistungsstärkere Frontier-Modelle für komplexe Fälle kombinieren.

Agents, Workflows und Microsoft Agent Framework

Microsoft Foundry kombiniert Modellaufrufe mit dem Foundry Agent Service, einem Laufzeitdienst für Agents und multi-agentische Workflows.

Zentrale Aspekte:

• Single- oder Multi-Agent-Systeme: Agents können einzelne Aufgaben (z. B. FAQ-Bot) oder komplexe Workflows aus mehreren spezialisierten Agents orchestrieren.
• Workflows als deklarative Graphen: Orchestrierung wird in YAML-basierten Workflows beschrieben (z. B. sequentielle Schritte, parallele Ausführung, Handover zwischen Agents, Human-in-the-Loop).
• Microsoft Agent Framework: Dieses Framework dient als Laufzeit-Engine, die Workflows aus Foundry in produktive Anwendungen überführt – inklusive Integration in Observability- und DevOps-Werkzeuge.

Damit lässt sich der Weg von der experimentellen Multi-Agent-Orchestrierung im Portal bis zur produktiven Anwendung weitgehend automatisieren.

Foundry Tools: KI-APIs und Tool-Kataloge

Foundry Tools sind die Weiterentwicklung der früheren Azure AI Services (Vision, Speech, Language, Translator, Content Understanding, Document Intelligence etc.) und können als „Werkzeuge“ in Agents eingebunden werden.

Zwei Varianten sind relevant:

• Foundry Tools-Katalog: von Microsoft kuratierte, unternehmensfertige Tools – u. a. MCP-Server für Standardanwendungen und Datenquellen.
• Private Tool-Kataloge: organisationsinterne Tools (MCP, OpenAPI, Data-Tools), die nur in der eigenen Tenant-Umgebung sichtbar sind.

Agents können diese Tools über das Model Context Protocol (MCP) aufrufen, um etwa SAP-, Salesforce- oder interne REST-APIs anzusprechen.

Foundry IQ: Wissensschicht für RAG

Foundry IQ bildet die Wissensebene von Microsoft Foundry und ist auf Retrieval-Augmented Generation in Unternehmensumgebungen ausgelegt.

Merkmale:

• zentrale Wissensbasen basierend auf Azure AI Search,
• Anbindung unterschiedlicher Speicher wie OneLake, Amazon S3 oder Snowflake,
• kontextuelle RAG-Engine mit Berücksichtigung von Zugriffsrechten und Sensitivitätslabels,
• tiefe Integration in den Foundry Control Plane für Monitoring, Tracing und Security (inkl. Microsoft Defender).

Im Unterschied zu klassischen „einmaligen“ RAG-Lookups versteht Foundry IQ RAG als laufenden Reasoning-Prozess, der über mehrere Agent-Schritte hinweg Kontext nachlädt.

Microsoft Foundry unter Windows und Foundry Local

„Microsoft Foundry unter Windows“ ergänzt die Cloud-Plattform um eine lokale Schiene: Entwickler:innen können moderne lokale Modelle, NPU-Hardware und Remote-APIs kombinieren, um KI-Funktionen direkt auf Windows-Geräten bereitzustellen. Damit sind hybride Szenarien möglich, in denen sensible Daten lokal verbleiben, während komplexere Workloads in die Cloud ausgelagert werden.

SDKs & Endpunkte – ein kurzer Blick in den Code

Die Foundry-SDKs konsolidieren Zugriffe auf Projekte, Modelle, Agents und Tools. Zentral ist der AIProjectClient, der über Entra ID (DefaultAzureCredential) authentifiziert wird und u. a. einen OpenAI-kompatiblen Client bereitstellt.

Ein vereinfachtes Python-Beispiel für eine Textanfrage über einen Foundry-Endpoint könnte so aussehen:

import os
from azure.identity import DefaultAzureCredential
from azure.ai.projects import AIProjectClient

# Projekt-Endpoint, z. B. aus der Projektübersicht in Microsoft Foundry
project = AIProjectClient(
    endpoint=os.environ["PROJECT_ENDPOINT"],
    credential=DefaultAzureCredential(),
)

# OpenAI-kompatiblen Client beziehen und eine Responses-Anfrage senden
with project.get_openai_client(api_version="2025-11-15-preview") as client:
    response = client.responses.create(
        model=os.environ["AZURE_AI_MODEL_DEPLOYMENT_NAME"],
        input="Nenne drei typische IT-Support-Anfragen in einem großen Unternehmen.",
    )
    print(response.output_text)

Dieses Muster erlaubt es, unterschiedliche Modelle (OpenAI, Microsoft, Drittanbieter) über eine einheitliche Schnittstelle anzusprechen und nahtlos in Agents oder Workflows einzubetten.

Anwendungsbeispiele in der Praxis

1. Digitale Fachassistenten in Verwaltung und Enterprise-IT

Behörden oder große Unternehmen können mit Microsoft Foundry domänenspezifische Fachassistenten aufbauen – etwa für Vergaberecht, IT-Betrieb oder HR.

Typisches Muster:

• Foundry IQ verbindet den Agent mit DMS, SharePoint, Fachverfahren und Data Lake.
• Der Agent wird über Foundry Agent Service orchestriert und kann via Microsoft 365, Teams oder Copilot Studio bereitgestellt werden.
• Foundry Tools liefern Zusatzfunktionen wie OCR, Dokumentklassifikation oder Übersetzung.

2. KI-gestützte Fachanwendungen

In bestehenden Fachanwendungen (z. B. CRM, Ticketing, ERP) können über Foundry Tools und MCP-Tools fachliche Automatisierungen umgesetzt werden – etwa:

• automatische Ticket-Zusammenfassung und Handlungsempfehlungen,
• Vertriebsassistenz mit Zugriff auf CRM- und ERP-Daten,
• Status-Abfragen an Dritt-APIs (z. B. Salesforce-, SAP- oder interne REST-Schnittstellen) direkt aus einem Agent heraus.

3. Datenintensive Analyse- und Reporting-Szenarien

Foundry IQ ermöglicht RAG über heterogene Datenquellen hinweg. So können analytische Agents erstellt werden, die:

• strukturierte Daten in OneLake/Fabric,
• Objektspeicher (S3),
• und Data-Warehouses wie Snowflake kombinieren.

In Verbindung mit dem Model Router lassen sich dabei Kosten und Performance optimieren – etwa, indem Routinetasks über leichtere Modelle laufen, während komplexe Auswertungen auf leistungsstärkere Modelle geroutet werden.

4. Edge- und Client-Szenarien mit Windows

Mit Microsoft Foundry unter Windows und Foundry Local können Organisationen KI-Funktionalität direkt auf Clients mit NPU-Unterstützung ausführen – beispielsweise zur Bildklassifikation, Offline-Übersetzung oder zur kontextuellen Unterstützung in Desktop-Anwendungen.

Über Workflows lassen sich diese lokalen Agents wiederum mit Cloud-Agents verknüpfen, die zusätzliche Tools oder umfangreiche Wissensbasen nutzen.

Vorteile und Herausforderungen

Zentrale Vorteile von Microsoft Foundry

• Einheitliche Plattform
  Modelle, Agents, Tools, Wissensbasen und Governance werden in einem Projekt zusammengeführt. Das reduziert Fragmentierung und vereinfacht Berechtigungs- und Netzwerkkonfiguration.
• Große Modellauswahl und Multi-Provider-Strategie
  Durch den Foundry-Modellkatalog (inkl. OpenAI-, Microsoft-, Anthropic-, Meta-, Mistral-, NVIDIA-Modellen u. a.) können Unternehmen unterschiedliche Modellfamilien für verschiedene Anwendungsfälle nutzen, ohne ihre Architektur zu ändern.
• Multi-Agent-Orchestrierung und Agent Framework
  Komplexe Workflows lassen sich deklarativ modellieren und mit dem Agent Framework produktiv betreiben – inklusive Telemetrie und Observability.
• Foundry IQ als zentrale Wissensschicht
  Ein einheitliches RAG-Backend reduziert „Wildwuchs“ von Einzel-RAG-Lösungen, zentralisiert Sicherheitsregeln und macht Evaluierung und Monitoring einfacher.
• Integration in das Microsoft-Ökosystem
  Durch die Integration in Microsoft 365, Teams, BizChat, GitHub, Visual Studio und Copilot Studio lässt sich Microsoft Foundry gut in bestehende Entwickler- und Business-Workflows einbetten.
• Hybride Cloud/Client-Szenarien
  Die Kombination aus Cloud-Foundry und Microsoft Foundry unter Windows unterstützt Szenarien, in denen Datenschutz oder Latenz lokale Inferenz erforderlich machen.

Herausforderungen und Risiken

• Komplexität und Lernkurve
  Der Einstieg in Microsoft Foundry – inklusive Portalen, Agent Service, Foundry Tools, Foundry IQ und neuen SDKs – ist nicht trivial. Besonders Teams, die von klassischen Azure-AI- oder Azure-ML-Stacks migrieren, müssen Zeit für Architektur- und Governance-Design einplanen.
• Abhängigkeit vom Azure-Ökosystem
  Auch wenn Foundry multi-provider-fähig ist, bleibt es eng an Azure, Entra ID und das Microsoft-Ökosystem gekoppelt. Für Organisationen mit starker AWS- oder GCP-Ausrichtung kann dies eine strategische Einschränkung sein.
• Produktreife und Preview-Features
  Wesentliche Funktionen wie Foundry IQ oder Teile des Tool-Katalogs befinden sich noch im Preview-Status. Unternehmen sollten mit sich ändernden APIs und Workflows rechnen und eine kontrollierte Pilotphase einplanen.
• Kosten- und Ressourcenmanagement
  Die hohe Flexibilität der Plattform kann – ohne Governance und Quoten – schnell zu unkontrollierten Kosten führen. Zwar helfen Model Router und Observability-Funktionen, dennoch müssen Budgets, Limits und Betriebsprozesse sauber definiert werden.
• Skill-Anforderungen
  Erfolgreiche Foundry-Projekte erfordern ein cross-funktionales Team aus Cloud-Architekt:innen, Entwicklern, Data/ML-Expert:innen, Security und Fachbereich. Das ist für kleinere Organisationen nicht immer realistisch.

Alternative Lösungen

Andere Cloud-Anbieter positionieren sich mit ähnlichen Plattformen:

• Amazon Bedrock / Bedrock Agents
  Bietet ebenfalls einen Multi-Modell-Katalog und verwaltete Agents mit Multi-Agent-Collaboration, plus Guardrails und Knowledge Bases.
• Google Vertex AI Agent Builder
  Ermöglicht den Aufbau, die Skalierung und Governance von AI-Agents auf Basis der Vertex-AI-Plattform, inklusive Agent Engine, Observability und Evaluationslayer.
• Direkte Nutzung der OpenAI-/Anthropic-Plattformen
  Für fokussierte Anwendungsfälle ohne tiefgreifende Integrationsanforderungen kann der direkte Einsatz der Plattformen der Modellanbieter (OpenAI Platform, Anthropic Console etc.) ausreichend und einfacher sein – allerdings mit weniger tiefer Enterprise-Integration in M365, Entra, Defender & Co.
• Open-Source-Stacks
  Frameworks wie LangChain, Semantic Kernel oder LangGraph in Kombination mit eigenen Kubernetes-Clustern oder anderen Inferenzdiensten erlauben maximal flexible, aber aufwändigere Eigenlösungen. Diese können auch mit Microsoft Foundry kombiniert werden, z. B. indem Agent Framework Workflows exportiert oder externe Runtimes angebunden werden.

Die Entscheidung für oder gegen Microsoft Foundry sollte daher im Kontext der bestehenden Cloud-Strategie, der Tool-Landschaft und der gewünschten Governance-Tiefe getroffen werden.

Fazit mit kritischer Bewertung

Microsoft Foundry entwickelt sich zur zentralen Schicht für agentische KI im Microsoft-Ökosystem: eine „Agent Factory“, die Modellauswahl, Orchestrierung, Wissensschicht und Governance zusammenbringt. Für Enterprise-Kunden und Behörden, die bereits stark auf Azure und M365 setzen, ist Microsoft Foundry damit ein logischer nächster Schritt, um von Insellösungen hin zu einer einheitlichen KI-Plattform zu kommen.

• Für Architekt:innen bietet Microsoft Foundry einen klaren Rahmen, um KI-Lösungen wiederholbar zu entwerfen, einzubetten und zu betreiben – inklusive RBAC, Netzwerksegmentierung, Telemetrie und Security-Integration.
• Für Entwickler:innen reduziert der AIProjectClient plus OpenAI-kompatible Endpunkte den Aufwand, verschiedene Modelle und Agents anzusprechen, und erlaubt es, sich stärker auf die Fachlogik zu konzentrieren.
• Für Entscheider:innen schafft Foundry durch Foundry IQ, Control Plane, Model Router und Tool-Kataloge eine Basis für skalierbare KI-Programme mit nachvollziehbaren Kosten- und Risikoentscheidungen.

Kritisch zu sehen sind die noch junge Produktreife in manchen Bereichen, die starke Bindung an Azure und der deutliche Kompetenzbedarf im Team. Wer aber ohnehin auf Microsoft setzt und mittelfristig eine größere Anzahl von AI-Agents und generativen Anwendungen betreiben möchte, findet in Microsoft Foundry einen konsistenten, strategisch ausbaubaren Unterbau.

Für Organisationen mit einfacherem Bedarf oder heterogener Multi-Cloud-Strategie können alternative Plattformen wie AWS Bedrock oder Vertex AI Agent Builder sowie Open-Source-Orchestrierung sinnvoller sein – ggf. in Kombination mit Microsoft Foundry als einer von mehreren Bausteinen.

Autor

Michael Deinhard

Artikel erstellt: 28.11.2025
Artikel aktualisiert: 30.11.2025

zurück zur Übersicht