El reordenamiento o rerank es uno de los pasos con mejor relación costo-beneficio en una cadena de RAG: solo vuelve a puntuar las decenas de candidatos recuperados, pero a menudo logra subir del quinto al primer puesto un fragmento útil. Muchos equipos quieren validar el efecto con crédito gratuito antes de pagar, pero primero conviene entender qué es exactamente lo "gratis" y qué se está entregando a cambio.

Este artículo desglosa las formas de crédito gratuito, sus límites, el límite de privacidad y cómo juzgar la calidad, y explica en qué escenarios conviene usarlo primero y cuándo migrar a un plan de pago. No fijamos cifras de cuota; consulta siempre las páginas del proveedor.

Nota: Cohere, Jina, BAAI, BGE y otros nombres pertenecen a sus respectivos titulares; este artículo no tiene relación de afiliación ni representación con esas organizaciones. Los créditos gratuitos, los términos de prueba, las licencias de modelo y los precios pueden cambiar; consulta las páginas del proveedor y la model card correspondiente.

1. Qué suele significar "gratis"

En el mercado, el "rerank gratuito" suele adoptar cuatro formas con estructuras de costo muy distintas:

  • Crédito de prueba del proveedor: una API gestionada ofrece un número limitado de llamadas de prueba, normalmente con límites de tasa y concurrencia; algunos exigen vincular un método de pago y los términos pueden restringir el uso a evaluación.
  • Crédito de bienvenida de la plataforma: una gateway o plataforma de agregación entrega una cantidad pequeña a usuarios nuevos, suficiente para probar la interfaz, pero también sujeta a límites de tasa y a términos de datos.
  • Autodespliegue de código abierto: los pesos se descargan sin costo, pero requieren GPU o CPU, despliegue y personal de operación; la licencia debe revisarse modelo por modelo, porque no todas permiten uso comercial.
  • Implementación ligera propia: un cross-encoder pequeño puede correr en CPU para escenarios de baja concurrencia; la barrera es baja, pero el rendimiento y la calidad suelen ser inferiores a los de modelos grandes.

"Gratis" no significa que no haya costo: el costo se traslada al tiempo, la operación, la privacidad o la calidad.

2. Límites habituales del crédito gratuito

Las capas gratuitas casi nunca prometen servicio de producción. Estos son los límites que más afectan a un proyecto:

Tipo de límite Manifestación habitual Impacto en el proyecto Cómo manejarlo
Volumen y velocidad Tope diario o por minuto, concurrencia baja Fallos en pruebas de carga y horas pico Añadir caché, colas y limitación en el cliente
Candidatos por llamada Solo se pueden enviar cierta cantidad de documentos por solicitud Limita el alcance de recuperación y deja fuera la cola larga Reducir candidatos con un primer orden y puntuar por lotes
Longitud de texto Los documentos largos se truncan Contratos o manuales extensos pierden pasajes clave Dividir por semántica y combinar los puntajes
Términos de datos La capa gratuita puede registrar solicitudes o usarlas para mejorar el servicio El contenido sensible no debería enviarse directamente Enmascarar datos, usar datos sintéticos o desplegar en privado
Licencia comercial El crédito de prueba es solo para evaluación o prohíbe el uso comercial Hay que cambiar de licencia antes de producción Leer los términos con antelación y no usar la prueba para negocio real
Estabilidad y versión Sin SLA y versión del modelo cambiante El orden se desplaza y cuesta hacer seguimiento Fijar versión y conservar un conjunto de regresión

Los límites que más se subestiman son la cantidad de candidatos por llamada y la longitud del texto: muchas veces el resultado es pobre no porque el modelo sea malo, sino porque los candidatos no entraron o los pasajes clave fueron truncados.

3. Modelos abiertos de rerank: la cuenta del autodespliegue

Un modelo abierto mantiene los datos en el propio entorno, pero "descarga gratuita" no equivale a "costo cero". Hay que contar memoria de GPU, latencia de inferencia, actualizaciones, monitoreo y resolución de fallos. Para herramientas internas de baja concurrencia se puede empezar con CPU; para un servicio en línea normalmente hacen falta GPU y control de concurrencia.

Si solo quieres validar si vale la pena, haz una comparación pequeña en cinco pasos:

  1. Selecciona de 100 a 300 consultas de registros reales, etiqueta niveles de relevancia y construye un conjunto de evaluación.
  2. Fija el conjunto de candidatos usando los primeros 20 a 50 resultados de la recuperación en producción, para que cada ejecución sea comparable.
  3. Ejecuta primero la línea base: el orden por similitud vectorial sin rerank y el orden por palabras clave o BM25.
  4. Ejecuta después los modelos de rerank candidatos y registra NDCG@10, MRR, tasa de acierto en el top 3 y latencia p95.
  5. Revisa la licencia del modelo y la ruta de los datos; confirma que permite uso comercial y retención de registros antes de decidir el lanzamiento.

A continuación, un ejemplo mínimo de autodespliegue; el nombre del modelo es solo demostrativo y lo válido es la model card y la licencia:

from sentence_transformers import CrossEncoder

# Nombre de modelo solo como ejemplo; confirma idioma, longitud y licencia en la model card
model = CrossEncoder("BAAI/bge-reranker-v2-m3", max_length=512)

query = "¿Cuál es la política de devoluciones?"
docs = [
    "Se puede solicitar la devolución dentro de los siete días posteriores a la entrega, con el producto en buen estado.",
    "Envío: las zonas remotas pueden tener un cargo adicional.",
    "Los puntos de membresía se acreditan al completar el pedido.",
]

scores = model.predict([(query, d) for d in docs])
ranked = sorted(zip(scores, docs), reverse=True)
for score, doc in ranked:
    print(round(float(score), 4), doc[:40])

Este código solo demuestra el ordenamiento; en producción hay que añadir tiempos de espera, control del tamaño de lote, reintentos y enmascaramiento de registros.

4. Cómo juzgar la calidad de una solución gratuita

Gratis no significa mala calidad, y pagar tampoco implica que el modelo encaje con tu corpus. Revisa cuatro puntos:

  • Idioma y dominio: las listas públicas no sustituyen una evaluación propia; el chino, las lenguas minoritarias y la terminología sectorial deben medirse por separado.
  • Calidad de los candidatos: el rerank solo puede reordenar lo ya recuperado; si el pasaje correcto no está entre los candidatos, ningún modelo puede recuperarlo.
  • Comparabilidad de puntajes: cada modelo y versión usa una escala distinta; no apliques el umbral de A a B, mira solo el orden resultante.
  • Documentos largos y mezcla de idiomas: son los casos que más exponen el truncado y los problemas multilingües; el conjunto de evaluación debe cubrirlos de forma específica.

Un error común es probar con unas pocas preguntas de demostración, ver que el orden parece correcto y lanzar. Las preguntas de demostración son demasiado simples para mostrar diferencias; hay que usar consultas reales, candidatos reales y etiquetas graduadas.

5. Límites de privacidad y cumplimiento

Una solicitud de rerank contiene la consulta y el texto de los documentos, con una densidad de información que puede ser mayor que la de una conversación normal. Si contratos, datos de clientes o fragmentos de código se envían a una capa gratuita externa, el riesgo no es solo la fuga: también cuentan el plazo de retención, el uso para entrenamiento, la ubicación de almacenamiento y el mecanismo de eliminación.

El orden correcto es clasificar primero los datos y después elegir la solución: el material público puede usar una prueba gestionada; el material interno debe confirmar al menos que no se conserva ni se usa para entrenamiento; los datos sensibles deberían ir a despliegue privado o a un proveedor con acuerdo de tratamiento de datos. Si se usa una gateway, hay que revisar una capa más: si registra el contenido de las solicitudes, cuánto tiempo conserva los registros y si los usa para otros fines.

Durante la prueba, valida la cadena con datos enmascarados o sintéticos; no conectes directamente la base de producción.

6. Escenarios adecuados y no adecuados

El rerank gratuito encaja bien en:

  • Pruebas de concepto y demostraciones internas.
  • Herramientas internas de baja concurrencia, donde un límite ocasional es aceptable.
  • Evaluación por lotes offline, sin requisito de respuesta en tiempo real.
  • Bases de conocimiento pequeñas, con documentos no sensibles y un equipo capaz de desplegar modelos abiertos.
  • Comparación entre proveedores antes de comprar, usando el mismo conjunto de evaluación.

No encaja tan bien en:

  • Servicios de alta concurrencia orientados al cliente, que necesitan latencia estable y compromisos ante fallos.
  • Datos sensibles sin condiciones para despliegue privado, dependiendo solo de una capa gratuita externa.
  • Documentos candidatos muy largos o muy numerosos, donde el límite por llamada de la capa gratuita bloquea directamente la calidad.
  • Escenarios empresariales con requisitos de auditoría, retención y trazabilidad de permisos.
  • Producción a largo plazo sin capacidad del equipo para operar GPU, que al final vuelve al servicio gestionado.

7. Ruta de migración de gratuito a pago

Cuando aparecen límites de tasa frecuentes, latencia p95 inestable, métricas de evaluación estancadas, fallos de cumplimiento o un volumen que no deja de crecer, es momento de considerar la migración. Suele haber tres caminos:

  • Cambiar a una API gestionada de pago: poco cambio técnico y menos operación; compara sobre todo cuota, límites de tasa, términos de datos y facturación.
  • Autodespliegue abierto: datos controlables y posiblemente más económico con volumen alto, pero hay que contar GPU, personal y estabilidad.
  • Usar una gateway unificada: un solo punto para administrar varios modelos y claves, lo que facilita el cambio y la medición; el alcance de soporte depende del catálogo de modelos del sitio.

En cualquier camino hay que conservar la degradación: si el rerank agota el tiempo, volver al orden por similitud vectorial o por palabras clave y registrar cuántas veces ocurre.

Preguntas frecuentes

¿Se puede usar el crédito gratuito directamente en producción?

La mayoría de las capas gratuitas están pensadas para evaluación y prueba; sus términos, límites de tasa y estabilidad no siguen criterios de producción. Antes de lanzar, confirma la licencia comercial, el SLA y el tratamiento de datos, y luego elige entre servicio gestionado de pago o despliegue privado.

¿Se puede usar comercialmente un modelo de rerank abierto?

Depende de la licencia de cada modelo. Algunas son permisivas y otras incluyen restricciones adicionales. Revisa la model card y el archivo LICENSE de cada modelo; no des por hecho que se puede usar comercialmente solo porque se pueda descargar.

¿Cuánta diferencia hay entre rerank gratuito y de pago?

No hay una respuesta única; la diferencia depende del tamaño del modelo, la capacidad lingüística, la longitud de entrada y la cantidad de candidatos. Comparar NDCG@10, tasa de acierto en el top 3 y latencia con el mismo conjunto de evaluación es más fiable que mirar páginas promocionales.

¿El rerank mejora de forma notable el resultado de RAG?

Solo si el fragmento correcto ya fue recuperado. Si la etapa de recuperación deja fuera la respuesta, el rerank no puede compensarlo. Revisa primero Recall@k y después evalúa la ganancia; muchos problemas están en realidad en la fragmentación y la recuperación.

¿Para chino conviene un modelo abierto o una API extranjera?

Vale la pena probar ambos. Los modelos abiertos ofrecen ventajas en control de datos y costo; los gestionados, en ausencia de operación y estabilidad. Añade chino, terminología sectorial y documentos largos al conjunto de evaluación, y decide según la transferencia de datos y el presupuesto.

Siguiente paso

Para validar la cadena de rerank con bajo costo, puedes registrarte en ZSQH AI Gateway con un presupuesto pequeño y conectar recuperación, rerank y generación de extremo a extremo antes de decidir entre servicio gestionado y autodespliegue. Los modelos y precios se rigen por la página de precios de modelos.

Lecturas relacionadas: