Der Begriff „LLM-API-Proxy“ wird häufig für zwei verschiedene Dinge verwendet: technisch für ein API-Gateway oder einen Reverse Proxy, kaufmännisch für einen Wiederverkäufer oder Distributor. Die Schwerpunkte unterscheiden sich, doch Compliance, Abrechnung und Stabilität sind in beiden Fällen unvermeidlich.

Dieser Artikel betrachtet das Thema aus Unternehmenssicht: Wie beurteilt man einen Anbieter, wie schließt man Verträge und wie testet man?

Hinweis: Dieser Artikel ist keine Rechtsberatung. Konkrete Compliance-Anforderungen sollten Sie mit Ihrer Rechts- oder Compliance-Abteilung klären; maßgeblich sind die Bedingungen der jeweiligen Anbieter.

1. Zuerst drei Rollen unterscheiden

Rolle Aufgabe Was Sie prüfen sollten
API-Gateway Einheitlicher Zugang, Authentifizierung, Abrechnung, Routing Technische Fähigkeiten, Stabilität
Proxy/Distribution Weiterverkauf von Modellkontingenten des Upstreams Upstream-Autorisierung, Vertrag, Rechnung
Selbst betriebener Proxy Eigene Bereitstellung eines Gateways Server, Upstream-Kanäle, Betrieb

Ob Sie eine „technische Dienstleistung“ oder „Modellkontingente“ kaufen, bestimmt Vertrag und Haftungsgrenzen.

2. Worauf bei Compliance zu achten ist

  1. Upstream-Autorisierung: Ist der Anbieter berechtigt, diese Modelle weiterzuverkaufen oder als Proxy anzubieten?
  2. Nutzungsbedingungen: Ist Ihr Einsatzszenario erlaubt, etwa Kundenservice, Inhaltserstellung oder Agenten?
  3. Daten: Werden Anfragen und Antworten gespeichert, wie lange und für das Training verwendet?
  4. Datenübertragung: Werden Daten ins Ausland übertragen, und entspricht das Ihren Branchenanforderungen?
  5. Inhaltssicherheit: Gibt es Prüf- und Filtermechanismen?
  6. Rechnung/Vertrag: Sind Zahlung über Firmenkonto, Rechnungsstellung und Datenverarbeitungsvereinbarung möglich?

Beim Unternehmenseinkauf sollte „günstig“ nicht vor Compliance gehen. Im Streitfall kann die Verantwortung bei Ihnen liegen.

3. Worauf bei der Abrechnung zu achten ist

  • Stückpreise für Eingabe, Ausgabe und Caching.
  • Multiplikatoren, Mindestumsatz und Staffelpreise.
  • Werden fehlgeschlagene Anfragen und Wiederholungen berechnet?
  • Rückerstattungsregeln.
  • Mechanismus zur Ankündigung von Preisänderungen.
Monatskosten =
  Eingabe-Token × Eingabepreis
+ Ausgabe-Token × Ausgabepreis
+ Kosten für Wiederholungen/Fehler
+ Zusatzkosten für langen Kontext und multimodale Eingaben

Orientieren Sie sich nicht nur am beworbenen Stückpreis, sondern prüfen Sie die Abrechnung mit echten Anfragen.

4. Wie Sie die Stabilität testen

  1. Normale und Streaming-Anfragen.
  2. Tool-Aufrufe und strukturierte Ausgaben.
  3. 5, 10 und 20 gleichzeitige Anfragen.
  4. Langer Kontext.
  5. Fehlercodes 401, 404, 429 und 5xx.
  6. Erfolgsquote und P95 über drei bis sieben Tage.
  7. Gibt es bei Störungen einen Ersatzkanal?

5. Was im Vertrag stehen sollte

  • Leistungsumfang, Modellliste und SLA.
  • Abrechnungsmethode und Ankündigung von Preisänderungen.
  • Datenaufbewahrung, Löschung und Nutzung für das Training.
  • Benachrichtigung bei Sicherheitsvorfällen und Entschädigung.
  • Regelungen zu Rückerstattung, Kündigung und Migration.
  • Rechnungstyp und Abrechnungsperiode.

6. Häufige Risiken

  • Unklare Upstream-Autorisierung und jederzeit mögliche Unterbrechungen.
  • Niedriger Preis, aber strenge Rate-Limits und hohe Wiederholungskosten.
  • Unklare Datenbedingungen und Compliance-Risiken.
  • Keine Rechnungen oder Verträge, sodass Unternehmen nicht buchen können.
  • Ausfall eines einzelnen Kanals und Unterbrechung des Geschäftsbetriebs.
  • Nachlässige Key-Verwaltung und interne Missbrauchsrisiken.

7. Wie Sie Risiken reduzieren

  • Haupt- und Ersatzkanal betreiben.
  • Ein Key pro Person und Limits pro Projekt.
  • Nutzungsprotokolle und Abrechnungen aufbewahren.
  • Für kritische Geschäftsprozesse Ausweichlösungen vorbereiten.
  • Anbieterbedingungen regelmäßig überprüfen.
  • Nicht alle Daten einem einzigen Anbieter überlassen.
  • Vertragliche Regelungen und tatsächliche Betriebspraxis regelmäßig abgleichen.

Häufige Fragen

Das hängt von der Upstream-Autorisierung, den Nutzungsbedingungen und den lokalen Vorschriften ab. Unternehmen sollten vor der Nutzung eine Compliance-Prüfung durchführen.

Worin unterscheiden sich Proxy und Gateway?

Das Gateway ist die technische Ebene, Proxy und Distribution sind die kaufmännische Ebene. Viele Anbieter decken beides ab.

Werden meine Daten für das Training verwendet?

Das hängt von den Anbieterbedingungen ab. Lassen Sie es schriftlich bestätigen und gehen Sie nicht automatisch davon aus, dass es nicht geschieht.

Kann man einen Proxy selbst betreiben?

Ja, das erfordert jedoch Server, Upstream-Kanäle, Betrieb und Compliance-Kompetenz. Mehr dazu im Leitfaden zu API-Relay-Plattformen.

Nächster Schritt

Wenn Sie einen aus dem Inland erreichbaren Einstiegspunkt mit einheitlicher Abrechnung und Rechnungsstellung benötigen, können Sie sich zunächst beim ZSQH AI Gateway registrieren, einen kleinen Test durchführen und anschließend den Unternehmenseinkauf durchlaufen. Modelle und Preise finden Sie unter Modellpreise.

Weiterlesen: