Beim Unternehmenseinkauf einer LLM-API-Plattform ist der häufigste Fehler, nur auf Stückpreise und die Zahl der Modelle zu achten. Für den Produktivbetrieb entscheidend sind Stabilität, transparente Abrechnung, Berechtigungen, Compliance und Betriebsaufwand.

Dieser Artikel liefert eine umsetzbare Einkaufscheckliste für technische Leiter, Einkauf und Rechtsabteilung.

Hinweis: Alle genannten Marken sind Marken ihrer jeweiligen Inhaber. Dieser Artikel dient der technischen Diskussion; für Preise und Richtlinien sind die offiziellen Seiten der jeweiligen Plattformen maßgeblich.

1. Zuerst den Geschäftsbedarf klären

1.1 Modelle

  • Welche Modelle werden benötigt? Claude, GPT, Gemini, DeepSeek oder inländische Modelle?
  • Werden Multimodalität, Tool-Aufrufe, langer Kontext oder strukturierte Ausgaben benötigt?
  • Müssen Modellversionen festgeschrieben werden?

1.2 Umfang

  • Anfragen pro Tag und Spitzenparallelität.
  • Durchschnittliche Eingabe- und Ausgabe-Token.
  • Werden mehrere Regionen oder Kanäle benötigt?

1.3 Verwaltung

  • Wie viele Mitglieder und Projekte gibt es?
  • Werden Limits pro Projekt und Audit-Protokolle benötigt?
  • Werden Rechnungen, Verträge und Zahlung über Firmenkonto benötigt?

1.4 Compliance

  • Dürfen Daten ins Ausland übertragen werden?
  • Sind personenbezogene oder sensible Daten betroffen?
  • Werden Datenverarbeitungsvereinbarungen, Sicherheitsstufen oder Audits benötigt?

2. Bewertungsraster für den Einkauf

Dimension Gewichtung Bewertungspunkte
Modellabdeckung 20 % Zielmodelle vollständig, Versionen stabil
Stabilität 20 % Fehlerrate, P95, Rate-Limits, Wiederholungen
Abrechnungstransparenz 15 % Stückpreise, Multiplikatoren, Caching, Rückerstattung
Berechtigungen/Kontingente 15 % Abstufung nach Mitglied, Projekt und Key
Protokolle/Monitoring 10 % Aufrufdetails, Warnmeldungen, Export
Support 10 % Dokumentation, Reaktionszeit im Ticketsystem
Compliance 10 % Verträge, Rechnungen, Datenbedingungen

Bewerten Sie jeden Anbieter einzeln und schauen Sie nicht nur auf die Gesamtpunktzahl. Wer bei hoch gewichteten Kriterien nicht besteht, wird ausgeschlossen.

Legen Sie die Gewichtung vor den Gesprächen mit den Anbietern fest und halten Sie die Bewertung schriftlich fest. So vermeiden Sie, dass ein eindrucksvoller Auftritt oder ein einzelner Preisvorteil die Entscheidung dominiert. Beziehen Sie technische, kaufmännische und rechtliche Perspektiven getrennt ein und führen Sie die Ergebnisse anschließend zusammen.

3. Wie ein POC abläuft

3.1 Fester Testsatz

Stellen Sie 20 bis 50 echte Geschäftsanfragen zusammen, die Folgendes abdecken:

  • Kurze und lange Texte.
  • Tool-Aufrufe.
  • Multimodale Eingaben, falls benötigt.
  • Fehlerhafte Eingaben.

3.2 Vergleichsmetriken

  • Ausgabequalität (manuell oder automatisiert bewertet).
  • Latenz bis zum ersten Token, P95.
  • Erfolgsquote, Anteil 429 und 5xx.
  • Kosten pro Aufruf.
  • Ob Fehlermeldungen eine Fehlersuche ermöglichen.

3.3 Schrittweise Umstellung

Stellen Sie zunächst 5 bis 10 Prozent des Verkehrs um, beobachten Sie drei bis sieben Tage und erhöhen Sie dann.

4. Vertrag und Rechnung

Beim Unternehmenseinkauf sind zu klären:

  • Vertragspartei, Leistungsumfang und SLA.
  • Abrechnungsmethode und Ankündigung von Preisänderungen.
  • Datenaufbewahrung, Löschung und Nutzung für das Training.
  • Rechnungstyp und Abrechnungsperiode.
  • Rückerstattungs- und Kündigungsbedingungen.
  • Benachrichtigung bei Sicherheitsvorfällen.

Plattformen ohne Vertrag und Datenverarbeitungsbedingungen sollten nicht ohne Weiteres im Produktivbetrieb eingesetzt werden.

5. Wie Sie die Kosten berechnen

Gesamtkosten =
  Token-Kosten
+ Wiederholungen/fehlgeschlagene Anfragen
+ Zusatzkosten für langen Kontext und multimodale Eingaben
+ Personalaufwand für den Betrieb
+ Compliance- und Einkaufsaufwand

Ein niedriger Stückpreis, kombiniert mit strengen Rate-Limits und schwieriger Fehlersuche, kann die Gesamtkosten erhöhen. Rechnen Sie die Formel mit den Werten aus Ihrem POC und nicht mit den Angaben aus der Marketingpräsentation.

6. Häufige Fragen

Sind mehr Modelle immer besser?

Nein. Prüfen Sie zuerst, welche Modelle Ihr Geschäft benötigt, und danach Versionsstabilität und Support.

Sind mehrere Anbieter erforderlich?

Ein Haupt- und ein Ersatzkanal werden empfohlen, um Ausfälle eines einzelnen Anbieters zu vermeiden. Der Betriebsaufwand sollte jedoch beherrschbar bleiben.

Selbst bauen oder Plattform kaufen?

Mit technischem Team und Anforderungen an Datenkontrolle oder tiefgehende Anpassung: selbst bauen. Ohne Betriebskapazität: verwaltete Plattform kaufen. Mehr dazu im API-Relay-Leitfaden.

Wie lässt sich die Stabilität prüfen?

Testen Sie drei bis sieben Tage lang mit kleinem Volumen und erfassen Sie Erfolgsquote, P95 sowie 429- und 5xx-Anteile. Eine einzelne Anfrage reicht nicht aus.

Nächster Schritt

Wenn Sie gerade eine Plattform auswählen, können Sie zunächst mit einem Key mit kleinem Volumen beim ZSQH AI Gateway einen POC durchführen und anschließend andere Plattformen vergleichen. Modelle und Preise finden Sie unter Modellpreise.

Weiterlesen: