Le reranking est une étape au excellent rapport coût-efficacité dans une chaîne RAG : il rescore seulement quelques dizaines de candidats issus du rappel, mais fait souvent remonter de la cinquième à la première place un extrait utile. Beaucoup d'équipes veulent d'abord valider l'effet avec un quota gratuit, mais il faut comprendre ce que « gratuit » recouvre et ce qui est échangé.

Cet article détaille les formes de quotas gratuits, leurs limites, les frontières de confidentialité et les critères de qualité, pour identifier les cas adaptés à un essai et le moment de passer au payant. Les chiffres de quota ne sont pas figés ici ; référez-vous aux pages du fournisseur.

Remarque : Cohere, Jina, BAAI, BGE et les autres noms cités appartiennent à leurs détenteurs respectifs. Cet article n'implique aucun lien de subordination ni mandat avec ces organismes. Les quotas gratuits, conditions d'essai, licences de modèles et prix peuvent évoluer ; référez-vous aux pages du fournisseur et aux fiches de modèle.

1. Les différents sens de « gratuit »

Le « reranking gratuit » du marché se répartit généralement en quatre catégories, aux structures de coût très différentes :

  • Quota d'essai du fournisseur : une API hébergée offre un nombre limité d'appels, souvent avec limitation de débit et de concurrence, parfois avec obligation d'enregistrer un moyen de paiement et des conditions restreintes à l'évaluation.
  • Crédit offert par une plateforme : une passerelle ou un agrégateur accorde un petit quota aux nouveaux utilisateurs, utile pour tester l'interface, mais soumis aux mêmes limites de débit et clauses de données.
  • Open source auto-hébergé : les poids se téléchargent gratuitement, mais il faut un GPU ou un CPU, du déploiement et du temps d'exploitation ; chaque licence doit être vérifiée, le usage commercial n'est pas acquis par défaut.
  • Auto-hébergement léger : un petit cross-encoder peut tourner sur CPU pour de faibles volumes, avec une barrière d'entrée basse, mais des résultats et un débit généralement inférieurs à un grand modèle.

« Gratuit » ne signifie pas sans coût : le coût se déplace vers le temps, l'exploitation, la confidentialité ou la qualité.

2. Limites fréquentes des quotas gratuits

Le niveau gratuit ne promet presque jamais un service de production. Les limites suivantes pèsent le plus sur un projet :

Type de limite Manifestation courante Impact projet Parade
Volume et débit Plafond journalier ou par minute, concurrence faible Échecs en test de charge et aux heures de pointe Cache, file d'attente, limitation côté client
Candidats par appel Nombre de documents soumis limité Plafonne le rappel, le contenu de longue traîne n'entre pas Préclassement pour réduire les candidats, puis scoring par lots
Longueur de texte Documents longs tronqués Contrats et manuels longs perdent des passages clés Découpage sémantique, scoring par segments puis fusion
Clauses de données Le niveau gratuit peut journaliser les requêtes ou les utiliser pour améliorer le service Contenus sensibles à ne pas soumettre tels quels Anonymisation, données de synthèse ou déploiement privé
Licence commerciale Quota d'essai réservé à l'évaluation, usage commercial interdit Changement de mode de licence obligatoire avant mise en production Lire les conditions, ne pas faire tourner la production sur un essai
Stabilité et version Aucun SLA, version du modèle modifiable Dérive du classement, difficile à reproduire Fixer la version, conserver un jeu de régression

Les limites les plus sous-estimées sont le nombre de candidats par appel et la longueur de texte : une mauvaise qualité vient souvent non du modèle, mais de candidats non transmis ou de passages clés tronqués.

3. Modèle open source : le vrai coût de l'auto-hébergement

Un modèle open source garde les données dans votre environnement, mais « téléchargement gratuit » ne signifie pas « coût nul ». Mémoire GPU, latence d'inférence, montée de version, supervision et gestion des incidents doivent être comptés. Un outil interne à faible concurrence peut démarrer sur CPU ; un service en ligne demande généralement GPU et contrôle de concurrence.

Pour savoir si l'approche vaut la peine, procédez à une comparaison à petite échelle en cinq étapes :

  1. Choisir 100 à 300 requêtes dans les logs réels, annoter le niveau de pertinence et construire un jeu d'évaluation.
  2. Fixer le jeu de candidats avec les 20 à 50 premiers résultats de la recherche de production, pour assurer la comparabilité.
  3. Exécuter la référence : ordre de similarité vectorielle sans reranking, puis ordre par mots-clés ou BM25.
  4. Exécuter ensuite les modèles de reranking candidats et enregistrer NDCG@10, MRR, taux de présence dans le Top 3 et latence P95.
  5. Vérifier la licence et le chemin des données, confirmer l'usage commercial et la conservation des logs avant de décider.

Voici un exemple minimal d'auto-hébergement ; le nom du modèle n'est qu'une démonstration, la fiche de modèle et la licence font foi :

from sentence_transformers import CrossEncoder

# Nom de modèle donné en exemple : vérifier langue, longueur et licence sur la fiche
model = CrossEncoder("BAAI/bge-reranker-v2-m3", max_length=512)

query = "Quelle est la politique de retour ?"
docs = [
    "Un retour peut être demandé dans les sept jours suivant la réception, le produit devant rester intact.",
    "Frais de port : un supplément peut s'appliquer aux zones éloignées.",
    "Les points de fidélité sont crédités après la finalisation de la commande.",
]

scores = model.predict([(query, d) for d in docs])
ranked = sorted(zip(scores, docs), reverse=True)
for score, doc in ranked:
    print(round(float(score), 4), doc[:40])

Ce code ne fait qu'illustrer le classement ; en production, ajoutez timeout, contrôle de la taille des lots, retries et anonymisation des logs.

4. Comment juger la qualité d'une solution gratuite

Gratuit ne veut pas dire mauvais, et payant ne convient pas forcément à votre corpus. Quatre points à examiner :

  • Langue et domaine : les classements publics ne remplacent pas votre évaluation ; le chinois, les langues rares et le vocabulaire métier se testent séparément.
  • Qualité du rappel : le reranking ne peut réordonner que ce qui a été rappelé ; si le bon extrait n'est pas candidat, le meilleur modèle ne peut rien.
  • Comparabilité des scores : les échelles diffèrent selon modèles et versions ; ne transposez pas le seuil de A à B, jugez le classement.
  • Documents longs et langues mixtes : ce sont les cas qui révèlent le plus vite troncature et problèmes multilingues ; le jeu d'évaluation doit les couvrir.

L'erreur fréquente est de tester quelques questions de démonstration, de constater que le classement semble correct et de mettre en production. Les questions de démonstration sont trop simples pour révéler les écarts ; utilisez de vraies requêtes, de vrais candidats et une annotation par niveaux.

5. Confidentialité et conformité

Une requête de reranking contient la question et le texte des documents, avec une densité d'information souvent supérieure à une conversation ordinaire. Contrats, données clients, extraits de code soumis à un niveau gratuit externe exposent non seulement à une fuite, mais aussi à des questions de durée de conservation, d'usage pour l'entraînement, de lieu de stockage et de mécanisme de suppression.

L'ordre logique : classifier les données, puis choisir la solution. Les données publiques peuvent passer par un essai hébergé ; les données internes exigent au minimum l'absence de conservation et d'entraînement ; les données sensibles privilégient le déploiement privé ou un accord de traitement. Avec une passerelle, vérifiez une couche de plus : contenu journalisé, durée des logs, autres usages éventuels.

Pendant l'essai, faites tourner la chaîne sur des données anonymisées ou synthétiques ; ne branchez pas directement la base de production.

6. Cas adaptés et non adaptés

Le reranking gratuit convient plutôt à :

  • la preuve de concept et les démonstrations internes ;
  • les outils internes à faible concurrence, où une limitation occasionnelle est acceptable ;
  • l'évaluation hors ligne par lots, sans exigence de temps réel ;
  • les petites bases de connaissances, avec des documents non sensibles et une équipe capable de déployer un modèle open source ;
  • la comparaison de plusieurs solutions sur un même jeu d'évaluation avant achat.

Il convient moins à :

  • un service client à forte concurrence, exigeant latence stable et engagement de disponibilité ;
  • des données sensibles sans possibilité de déploiement privé, dépendant d'un niveau gratuit externe ;
  • des documents candidats très longs et volumineux, où les limites par appel bloquent directement la qualité ;
  • les contextes entreprise avec audit, conservation et traçabilité des droits ;
  • une production durable sans capacité d'exploiter un GPU, qui finira par revenir à un service hébergé.

7. Passer du gratuit au payant

En cas de limitation fréquente, de P95 instable, de scores d'évaluation plafonnés, de non-conformité ou de volume en croissance, envisagez la migration. Trois voies existent :

  • Passer à une API hébergée payante : peu de changements, moins d'exploitation ; comparez surtout quotas, limitation, clauses de données et factures.
  • Auto-héberger l'open source : données maîtrisées, potentiellement plus rentable à volume élevé, mais il faut compter GPU, main-d'œuvre et stabilité.
  • Passer par une passerelle unifiée : un point d'entrée pour plusieurs modèles et clés, facilitant la bascule et la mesure ; le périmètre pris en charge est celui de la liste de modèles du site.

Quelle que soit la voie, conservez une dégradation : en cas de timeout du reranking, revenez à la similarité vectorielle ou au classement par mots-clés, et comptez les occurrences.

Questions fréquentes

Un quota gratuit peut-il servir directement en production ?

La plupart des niveaux gratuits visent l'évaluation : conditions, limitation et stabilité ne sont pas conçues pour la production. Avant mise en ligne, vérifiez la licence commerciale, le SLA et le traitement des données, puis choisissez un hébergement payant ou un déploiement privé.

Un modèle de reranking open source est-il utilisable commercialement ?

Cela dépend de la licence de chaque modèle. Certaines sont permissives, d'autres ajoutent des restrictions. Consultez la fiche de modèle et le fichier LICENSE un par un ; la possibilité de télécharger ne vaut pas licence commerciale.

Quelle différence de qualité entre gratuit et payant ?

Il n'y a pas de réponse universelle : l'écart dépend de la taille du modèle, des capacités linguistiques, de la longueur d'entrée et du nombre de candidats. Comparez NDCG@10, taux de présence dans le Top 3 et latence sur le même jeu d'évaluation ; c'est plus fiable qu'une page de communication.

Le reranking améliore-t-il nettement le RAG ?

À condition que le bon extrait ait été rappelé. Si le rappel a manqué la réponse, le reranking ne peut pas la récupérer. Regardez d'abord Recall@k, puis jugez le gain ; beaucoup de problèmes viennent en réalité du découpage et du rappel.

Pour le chinois, choisir un modèle open source ou une API étrangère ?

Les deux méritent un test. L'open source a l'avantage de la maîtrise des données et du coût ; l'hébergé, celui de l'absence d'exploitation et de la stabilité. Ajoutez le chinois, le vocabulaire métier et les documents longs au jeu d'évaluation, puis décidez selon la localisation des données et le budget.

Étapes suivantes

Pour valider la chaîne de reranking à faible coût, inscrivez-vous sur ZSQH AI Gateway avec un petit budget, enchaînez rappel, reranking et génération, puis décidez entre hébergement et auto-hébergement. Modèles et prix de référence : tarifs des modèles.

Lectures associées :