Reranking ist in einer RAG-Kette ein sehr effizienter Schritt: Nur einige Dutzend gefundene Kandidaten werden neu bewertet, und doch wandert ein nützlicher Abschnitt oft von Platz fünf auf Platz eins. Viele Teams möchten zunächst mit einem Freikontingent testen, sollten aber klären, was „kostenlos“ abdeckt und was dafür eingetauscht wird.

Dieser Beitrag erläutert Formen von Freikontingenten, ihre Grenzen, Datenschutzfragen und die Qualitätsbeurteilung. Er zeigt, welche Szenarien für den Einstieg geeignet sind und wann der Wechsel zu einem kostenpflichtigen Angebot sinnvoll ist. Konkrete Kontingentzahlen werden nicht genannt; maßgeblich sind die offiziellen Seiten der Anbieter.

Hinweis: Cohere, Jina, BAAI, BGE und weitere genannte Namen gehören ihren jeweiligen Inhabern; dieser Beitrag steht in keiner Zugehörigkeits- oder Vertretungsbeziehung zu diesen Organisationen. Freikontingente, Testbedingungen, Modelllizenzen und Preise können sich ändern; maßgeblich sind die offiziellen Anbieterseiten und Modellkarten.

1. Was „kostenlos“ üblicherweise bedeutet

Am Markt gibt es vier Arten von „kostenlosem Reranking“ mit völlig unterschiedlicher Kostenstruktur:

  • Hersteller-Testkontingent: Eine gehostete API bietet eine begrenzte Anzahl Testaufrufe, meist mit Rate- und Parallelitätslimits; teilweise ist eine Zahlungsmethode hinterlegt, und die Bedingungen erlauben nur Evaluierungszwecke.
  • Plattform-Guthaben: Gateways oder Aggregatoren geben neuen Nutzern ein kleines Kontingent, das für einen Schnittstellentest reicht, aber ebenfalls Rate-Limits und Datenbedingungen unterliegt.
  • Open Source im Selbstbetrieb: Gewichte sind kostenlos herunterladbar, erfordern aber GPU oder CPU, Deployment und Betriebspersonal; Lizenzen müssen einzeln geprüft werden und sind nicht automatisch kommerziell nutzbar.
  • Leichtgewichtiger Eigenbau: Kleinere Cross-Encoder laufen auf CPU in Szenarien mit geringer Parallelität; die Einstiegshürde ist niedrig, Qualität und Durchsatz sind meist schwächer als bei großen Modellen.

„Kostenlos“ heißt nicht ohne Kosten, sondern verlagert Kosten auf Zeit, Betrieb, Datenschutz oder Qualität.

2. Typische Grenzen von Freikontingenten

Eine kostenlose Stufe verspricht fast nie Produktionsqualität. Diese Grenzen wirken sich am stärksten aus:

Grenztyp Typische Ausprägung Auswirkung auf das Projekt Umgang
Aufrufmenge und Rate Tages- oder Minutenlimit, geringe Parallelität Lasttests und Spitzenzeiten schlagen fehl Cache, Queue und clientseitiges Rate-Limiting
Kandidaten pro Aufruf pro Anfrage nur begrenzte Dokumentzahl begrenztes Retrieval, Long-Tail-Inhalte fallen weg Vorauswahl und gestaffelte Bewertung
Textlänge überlange Dokumente werden gekürzt lange Verträge und Handbücher verlieren Schlüsselstellen semantisches Chunking, Abschnitte getrennt bewerten und zusammenführen
Datenbedingungen kostenlose Stufe protokolliert Anfragen möglicherweise oder nutzt sie zur Verbesserung sensible Inhalte ungeeignet Anonymisierung, synthetische Daten oder private Bereitstellung
Kommerzielle Lizenz Testkontingent nur für Evaluierung oder nicht für kommerzielle Nutzung vor dem Start muss die Lizenzform gewechselt werden Bedingungen vorab lesen, Test nicht für den Regelbetrieb nutzen
Stabilität und Version keine SLA, Modellversion kann sich jederzeit ändern Sortierergebnisse driften, schwer nachvollziehbar Version fixieren, Regressionsevaluationsset behalten

Am häufigsten unterschätzt werden die Kandidatenzahl pro Aufruf und die Textlänge: Schlechte Ergebnisse liegen oft nicht am Modell, sondern daran, dass Kandidaten nicht übergeben wurden oder wichtige Abschnitte der Kürzung zum Opfer fielen.

3. Open-Source-Rerank-Modelle: die Rechnung des Selbstbetriebs

Open-Source-Modelle halten Daten im eigenen Umfeld, aber „kostenlos herunterladbar“ bedeutet nicht „ohne Kosten“. GPU-Speicher, Inferenzlatenz, Modellupgrades, Monitoring und Störungsbehandlung müssen eingerechnet werden. Für interne Werkzeuge mit geringer Parallelität reicht ein CPU-Start; Online-Dienste benötigen meist GPU und Parallelitätskontrolle.

Wer nur prüfen will, ob sich der Einsatz lohnt, kann in fünf Schritten einen kleinen Vergleich durchführen:

  1. Aus echten Logs 100–300 Queries auswählen, Relevanzstufen annotieren und ein Evaluationsset aufbauen.
  2. Die Kandidatenmenge fixieren und die ersten 20–50 Treffer aus dem Produktions-Retrieval verwenden, damit jeder Lauf vergleichbar ist.
  3. Zuerst die Baseline messen: Reihenfolge nach Vektorähnlichkeit ohne Reranking sowie Keyword- oder BM25-Reihenfolge.
  4. Dann die Kandidaten-Rerank-Modelle laufen lassen und NDCG@10, MRR, Top-3-Trefferquote und P95-Latenz erfassen.
  5. Modelllizenz und Datenweg prüfen und erst nach Bestätigung von kommerzieller Nutzbarkeit und Log-Aufbewahrung über den Start entscheiden.

Das folgende minimale Beispiel dient nur der Demonstration; Modellname, Sprachabdeckung, Länge und Lizenz sind der Modellkarte zu entnehmen:

from sentence_transformers import CrossEncoder

# Modellname nur als Beispiel; Sprache, Länge und Lizenz laut Modellkarte prüfen
model = CrossEncoder("BAAI/bge-reranker-v2-m3", max_length=512)

query = "Wie lautet die Rückgaberichtlinie?"
docs = [
    "Innerhalb von sieben Tagen nach Erhalt kann die Rückgabe beantragt werden; die Ware muss unbeschädigt sein.",
    "Versandhinweise: Für abgelegene Regionen können Zuschläge anfallen.",
    "Mitgliedspunkte werden nach Abschluss der Bestellung gutgeschrieben.",
]

scores = model.predict([(query, d) for d in docs])
ranked = sorted(zip(scores, docs), reverse=True)
for score, doc in ranked:
    print(round(float(score), 4), doc[:40])

Der Code demonstriert nur die Sortierung; produktiv kommen Timeouts, Batch-Größensteuerung, Retries und Log-Anonymisierung hinzu.

4. Wie die Qualität eines kostenlosen Angebots beurteilt wird

Kostenlos bedeutet nicht automatisch schlecht, und kostenpflichtig passt nicht zwingend zum eigenen Korpus. Vier Punkte zählen:

  • Sprache und Domäne: Öffentliche Ranglisten ersetzen keine eigene Evaluation; Chinesisch, kleinere Sprachen und Fachbegriffe müssen separat getestet werden.
  • Kandidatenqualität: Reranking kann nur bereits gefundene Inhalte neu ordnen. Fehlt der richtige Abschnitt unter den Kandidaten, hilft auch das stärkste Modell nicht.
  • Vergleichbarkeit der Scores: Score-Skalen unterscheiden sich je Modell und Version; Schwellenwerte von A nicht auf B übertragen, sondern nur die Rangfolge bewerten.
  • Lange Dokumente und gemischte Sprachen: Hier zeigen sich Kürzung und Mehrsprachigkeit am deutlichsten; das Evaluationsset muss diese Fälle gezielt abdecken.

Ein verbreiteter Fehler ist, einige Demo-Fragen auszuprobieren, eine plausible Sortierung zu sehen und direkt live zu gehen. Demo-Fragen sind zu einfach, um Unterschiede sichtbar zu machen; nötig sind echte Queries, echte Kandidaten und abgestufte Annotationen.

5. Datenschutz und Compliance-Grenzen

Rerank-Anfragen enthalten Query und Dokumenttext; die Informationsdichte kann höher sein als bei normalen Chats. Gelangen Verträge, Kundendaten oder Codeausschnitte in eine externe kostenlose Stufe, drohen nicht nur Offenlegung, sondern auch Fragen zu Aufbewahrungsdauer, Trainingsnutzung, Speicherort und Löschmechanismus.

Die Reihenfolge lautet: zuerst Daten klassifizieren, dann das Verfahren wählen. Öffentliche Inhalte können über ein gehostetes Testkontingent laufen; für interne Inhalte mindestens bestätigen, dass keine Aufbewahrung und kein Training erfolgt; sensible Daten bevorzugt privat betreiben oder einen Datenverarbeitungsvertrag abschließen. Bei einem Gateway kommt eine weitere Ebene hinzu: Werden Anfrageinhalte protokolliert, wie lange, und werden sie für andere Zwecke genutzt?

In der Testphase mit anonymisierten oder synthetischen Daten arbeiten und die Produktionsdatenbank nicht direkt anschließen.

6. Geeignete und ungeeignete Szenarien

Kostenloses Reranking eignet sich eher für:

  • Machbarkeitsnachweis und interne Demonstration.
  • Interne Werkzeuge mit geringer Parallelität, bei denen gelegentliche Limits akzeptabel sind.
  • Offline-Batch-Evaluation ohne Echtzeitanforderung.
  • Kleine Wissensdatenbanken mit unkritischen Dokumenten, wenn das Team Open-Source-Modelle selbst betreiben kann.
  • Horizontale Vergleiche vor dem Einkauf mit demselben Evaluationsset.

Weniger geeignet für:

  • Kundennahe Dienste mit hoher Parallelität, die stabile Latenz und Störungszusagen benötigen.
  • Sensible Daten ohne Möglichkeit zur privaten Bereitstellung, sodass nur eine externe kostenlose Stufe bleibt.
  • Sehr lange oder sehr viele Kandidatendokumente, bei denen die Limits der kostenlosen Stufe die Qualität direkt begrenzen.
  • Unternehmensszenarien mit Audit-, Aufbewahrungs- und Berechtigungsnachweispflichten.
  • Langfristigen Produktivbetrieb ohne betreibbares GPU-Team, der am Ende doch zu einem Managed Service zurückführt.

7. Migrationspfad von kostenlos zu kostenpflichtig

Ein Wechsel ist angezeigt bei häufigen Rate-Limits, instabiler P95-Latenz, stagnierenden Evaluationswerten, nicht bestandener Compliance oder dauerhaft steigendem Aufrufvolumen. Drei Wege sind üblich:

  • Kostenpflichtige Managed API: geringe Änderungen, wenig Betrieb; Schwerpunkt auf Kontingent, Rate-Limits, Datenbedingungen und Rechnungen.
  • Open Source im Selbstbetrieb: Datenhoheit, bei großem Volumen möglicherweise wirtschaftlicher, aber GPU-, Personal- und Stabilitätskosten einrechnen.
  • Einheitliches Gateway: ein Zugang für mehrere Modelle und Keys, erleichtert Wechsel und Messung; der unterstützte Umfang richtet sich nach der Modellliste auf unserer Website.

In jedem Fall einen Fallback vorsehen: Bei Rerank-Timeout auf Vektorähnlichkeit oder Keyword-Sortierung zurückfallen und die Häufigkeit protokollieren.

Häufige Fragen

Kann ein Freikontingent direkt in der Produktion genutzt werden?

Die meisten kostenlosen Stufen sind für Evaluierung und Test gedacht; Bedingungen, Rate-Limits und Stabilität sind nicht auf Produktionsniveau ausgelegt. Vor dem Start kommerzielle Lizenz, SLA und Datenverarbeitung klären und dann kostenpflichtiges Hosting oder private Bereitstellung wählen.

Dürfen Open-Source-Rerank-Modelle kommerziell genutzt werden?

Das hängt von der jeweiligen Modelllizenz ab. Manche sind liberal, andere enthalten Zusatzbeschränkungen. Vor der Nutzung Modellkarte und LICENSE prüfen; aus der bloßen Downloadbarkeit folgt keine kommerzielle Freigabe.

Wie groß ist der Qualitätsunterschied zwischen kostenlosem und kostenpflichtigem Reranking?

Eine pauschale Antwort gibt es nicht; der Unterschied hängt von Modellgröße, Sprachfähigkeit, Eingabelänge und Kandidatenzahl ab. Ein Vergleich mit demselben Evaluationsset über NDCG@10, Top-3-Trefferquote und Latenz ist verlässlicher als Marketingseiten.

Kann Reranking die RAG-Qualität deutlich verbessern?

Voraussetzung ist, dass der richtige Abschnitt bereits gefunden wurde. Fehlt die Antwort schon im Retrieval, kann Reranking das nicht ausgleichen. Zuerst Recall@k prüfen, dann den Nutzen bewerten; viele Probleme liegen tatsächlich beim Chunking und Retrieval.

Sollten chinesische Szenarien Open-Source-Modelle oder ausländische APIs nutzen?

Beide verdienen Tests. Open Source bietet Vorteile bei Datenhoheit und Kosten, Managed Services bei Betriebsaufwand und Stabilität. Chinesisch, Fachbegriffe und lange Dokumente ins Evaluationsset aufnehmen und dann mit Blick auf Datenstandort und Budget entscheiden.

Nächster Schritt

Wer die Rerank-Kette kostengünstig testen möchte, kann mit kleinem Budget das ZSQH AI Gateway registrieren, Retrieval, Reranking und Generierung einmal verbinden und danach zwischen Managed Service und Selbstbetrieb entscheiden. Modelle und Preise entnehmen Sie den Modellpreisen.

Weiterführende Informationen