Ein AI Agent ist kein einzelnes Modell, sondern ein System aus Modell, Werkzeugen, Gedächtnis und Orchestrierung. Bei der Einführung im Unternehmen liegt die Schwierigkeit meist nicht im Modell, sondern in Berechtigungen, Stabilität, Kosten und Kontrollierbarkeit.

Dieser Artikel liefert eine Checkliste für die Einführung.

Hinweis: Agent- und Tool-Protokolle unterscheiden sich zwischen Anbietern. Dieser Artikel verwendet die verbreiteten OpenAI-kompatiblen Tool-Aufrufe als Beispiel; maßgeblich sind die offizielle Dokumentation und die Angaben auf der Website.

1. Aufbau einer Agent-API

Nutzeranfrage → Orchestrierung → Modellinferenz → Tool-Aufruf → Rückgabe → endgültige Antwort

Zentrale Fähigkeiten:

  • Function Calling beziehungsweise Tools.
  • Mehrstufige Dialoge und Zustand.
  • Retrieval, etwa RAG.
  • Aufrufe externer APIs.
  • Timeouts, Wiederholungen und Übergabe an Menschen.

Der Agent trifft keine Entscheidungen außerhalb dieses Rahmens. Die eigentliche Logik liegt in der Orchestrierung und in den Werkzeugen, nicht allein im Modell.

2. Vor der Einführung Grenzen festlegen

  1. Welche Werkzeuge darf der Agent aufrufen?
  2. Auf welche Daten und Systeme darf er zugreifen?
  3. Welche Aktionen benötigen eine menschliche Bestätigung?
  4. Wie wird bei einem Fehler degradiert?
  5. Wie hoch ist die Kostenobergrenze?
  6. Wie lange werden Protokolle aufbewahrt?

Ohne diese Grenzen wird ein Agent schnell zu einer unkontrollierten Automatisierung. Besonders die Frage nach der menschlichen Bestätigung sollte vor dem ersten Produktiveinsatz beantwortet sein.

3. Beispiel für einen Tool-Aufruf

tools = [{
    "type": "function",
    "function": {
        "name": "get_order_status",
        "description": "Fragt den Status einer Bestellung ab",
        "parameters": {
            "type": "object",
            "properties": {"order_id": {"type": "string"}},
            "required": ["order_id"],
        },
    },
}]

Nachdem das Modell einen Tool-Aufruf zurückgegeben hat, führt das Backend die eigentliche Funktion aus und übergibt das Ergebnis an das Modell. Das Modell greift nicht direkt auf die Datenbank zu. Dadurch bleiben Berechtigungen und Prüfungen im eigenen System.

4. Kosten steuern

  • Maximale Runden und Tool-Aufrufe begrenzen.
  • Für einfache Aufgaben ein kleineres Modell verwenden.
  • Wiederholte Abfragen zwischenspeichern.
  • Lange Kontexte zuerst per Retrieval reduzieren.
  • Budget pro Vorgang und pro Tag festlegen.
  • Endlosschleifen überwachen, wenn der Agent dasselbe Werkzeug wiederholt aufruft.

Kostenkontrolle ist bei Agenten wichtiger als bei einfachen Chat-Aufrufen, weil jeder Schritt mehrere Modell- und Tool-Aufrufe auslösen kann. Eine Obergrenze pro Vorgang verhindert, dass ein einzelner Fehler das Tagesbudget verbraucht.

5. Sicherheit und Berechtigungen

  • Werkzeuge nach dem Prinzip der minimalen Berechtigung freigeben.
  • Sensible Aktionen mit zweiter Bestätigung versehen.
  • Keine Datenbankpasswörter oder internen Token an das Modell übergeben.
  • Eingaben in Werkzeuge validieren, um Injection zu verhindern.
  • Jeden Tool-Aufruf protokollieren: wer, wann, mit welchen Parametern und welchem Ergebnis.
  • Externe Inhalte gegen Prompt-Injection absichern.

Externe Inhalte sind eine besondere Gefahrenquelle: Ein Dokument oder eine Webseite kann Anweisungen enthalten, die der Agent als Auftrag interpretiert. Solche Inhalte sollten als Daten behandelt und nicht ungeprüft in den Handlungskontext übernommen werden.

6. Stabilität

  • Timeouts und Fehler bei Werkzeugen brauchen Wiederholungen und einen Ausweichpfad.
  • Bei Ratenlimits des Modells auf ein Ersatzmodell wechseln.
  • Kritische Abläufe müssen an einen Menschen übergeben werden können.
  • Ende-zu-Ende überwachen: Erfolgsquote, P95-Latenz, Fehlerquote der Werkzeuge und Kosten.

Die Überwachung sollte nicht nur technische Fehler erfassen. Auch fachlich falsche Ergebnisse sind relevant, etwa wenn ein Tool eine plausible, aber unzutreffende Antwort liefert.

7. Wann sich ein Agent lohnt

  • Der Ablauf ist fest und die Werkzeuge sind klar, etwa Bestellabfrage, Berichte oder Freigaben.
  • Es gibt Mechanismen zum Zurückrollen oder zur menschlichen Bestätigung.
  • Das Team kann die Fehlerkosten von Modell und Werkzeugen tragen.
  • Protokollierung und Prüfbarkeit sind gewährleistet.

Nicht geeignet ist der Einsatz bei hohem Risiko, nicht umkehrbaren Aktionen, strengen Compliance-Anforderungen und fehlender menschlicher Prüfung. Dort ist ein klassischer Workflow mit klaren Regeln oft die sicherere Wahl.

Häufige Fragen

Ist eine Agent-API dasselbe wie eine Modell-API?

Nein. Die Modell-API übernimmt nur die Inferenz. Ein Agent benötigt zusätzlich Werkzeuge, Orchestrierung, Zustand und Berechtigungen.

Welches Modell ist geeignet?

Das richtet sich nach der Aufgabe: Für einfache Tool-Aufrufe reicht ein schnelles Modell, für komplexe Planung ein stärkeres. Maßgeblich sind die Modellpreise.

Wie verhindert man, dass der Agent unkontrolliert Werkzeuge aufruft?

Durch minimale Berechtigungen, eine Positivliste, Parameterprüfung, zweite Bestätigung sowie Obergrenzen für Runden und Budget.

Warum geraten die Kosten außer Kontrolle?

Häufige Ursachen sind mehrstufige Schleifen, lange Kontexte, wiederholte Tool-Aufrufe und Wiederholungsversuche. Budgets und Monitoring wirken dem entgegen.

Nächster Schritt

Wer einen einheitlichen Modelleinstieg, nutzungsabhängige Abrechnung und Nutzungsprotokolle braucht, kann sich beim ZSQH AI Gateway registrieren und mit einem kleinen Ablauf einen POC starten. Modelle und Preise stehen auf der Seite Modellpreise.

Weiterlesen: