Переранжирование (Rerank) — один из самых выгодных шагов в цепочке RAG: он заново оценивает несколько десятков найденных кандидатов и часто поднимает полезный фрагмент с пятого места на первое. Многие команды хотят сначала проверить эффект на бесплатном лимите, но важно понять, что именно «бесплатно» и чем за это платят.

Ниже разобраны формы бесплатных лимитов, ограничения, границы приватности и оценка качества, а также когда пора переходить на платный вариант. Конкретные квоты не фиксируются — сверяйтесь с официальными страницами.

Примечание: Cohere, Jina, BAAI, BGE и другие названия принадлежат их правообладателям; статья не связана с этими организациями и не выступает их агентом. Бесплатные лимиты, условия пробного периода, лицензии моделей и цены могут меняться — ориентируйтесь на официальные страницы и карточки моделей.

1. Что обычно называют «бесплатным»

На рынке встречаются четыре типа «бесплатного реранкинга», и структура затрат у них совершенно разная:

  • Пробный лимит поставщика: хостинговый API даёт ограниченное число вызовов, обычно с лимитами скорости и параллелизма; иногда требуется привязать способ оплаты, а условия могут разрешать использование только для оценки.
  • Бонус платформы: шлюз или агрегатор выдаёт новому пользователю небольшой лимит — достаточно, чтобы проверить интерфейс, но действуют те же ограничения скорости и условия данных.
  • Открытая модель на своём сервере: веса можно скачать бесплатно, но нужны GPU или CPU, развёртывание и эксплуатация; лицензию проверяют отдельно, коммерческое использование не предполагается по умолчанию.
  • Лёгкая собственная сборка: небольшой cross-encoder может работать на CPU при низком параллелизме; порог входа низкий, но качество и пропускная способность обычно уступают крупным моделям.

«Бесплатно» не значит без затрат: стоимость переносится на время, эксплуатацию, приватность или качество.

2. Типичные ограничения бесплатного уровня

Бесплатный уровень почти никогда не обещает промышленного сервиса. На проект сильнее всего влияют такие ограничения:

Тип ограничения Как проявляется Влияние на проект Что делать
Объём и скорость Суточный или минутный лимит, низкий параллелизм Нагрузочные тесты и пики часто падают Кэш, очередь и клиентское ограничение скорости
Кандидаты за вызов За запрос можно передать ограниченное число документов Ограничивает полноту поиска, длинный хвост не попадает Сначала грубая сортировка, затем пакетная оценка
Длина текста Длинные документы усекаются В длинных договорах и инструкциях теряются важные абзацы Семантическая нарезка, оценка частей и объединение
Условия данных Бесплатный уровень может логировать запросы или использовать их для улучшения сервиса Чувствительные данные нельзя передавать напрямую Обезличивание, синтетические данные или развёртывание в своём контуре
Коммерческая лицензия Пробный лимит только для оценки или запрещает коммерческое использование Перед запуском нужно менять схему лицензирования Заранее читать условия, не запускать бизнес на пробном лимите
Стабильность и версии Нет SLA, версия модели может меняться Порядок результатов смещается, сложно воспроизвести Фиксировать версию, хранить регрессионный набор

Сильнее всего недооценивают ограничение на число кандидатов и длину текста: плохой результат часто объясняется не слабой моделью, а тем, что кандидаты не поместились или ключевой абзац был усечён.

3. Открытые модели: стоимость собственного развёртывания

Открытая модель оставляет данные в вашей среде, но «бесплатная загрузка» не равна «нулевой стоимости». Нужно учитывать видеопамять, задержку вывода, обновление модели, мониторинг и обработку сбоев. Для внутреннего инструмента с низким параллелизмом можно начать с CPU; для онлайн-сервиса обычно нужны GPU и контроль параллелизма.

Если нужно лишь понять, стоит ли использовать реранкинг, проведите небольшое сравнение из пяти шагов:

  1. Возьмите 100–300 запросов из реальных журналов, разметьте уровень релевантности и создайте оценочный набор.
  2. Зафиксируйте набор кандидатов: используйте первые 20–50 результатов продакшен-поиска, чтобы сравнение было воспроизводимым.
  3. Сначала измерьте базовую линию: порядок по векторной похожести без реранкинга, а также порядок по ключевым словам или BM25.
  4. Затем прогоните модели-кандидаты и запишите NDCG@10, MRR, попадание в Top-3 и задержку P95.
  5. Проверьте лицензию модели и путь данных, убедитесь в допустимости коммерческого использования и хранения журналов, и только потом принимайте решение о запуске.

Ниже минимальный пример собственного развёртывания. Имя модели приведено только для демонстрации; фактически ориентируйтесь на карточку модели и лицензию:

from sentence_transformers import CrossEncoder

# Имя модели только для примера: проверьте язык, длину и лицензию в карточке
model = CrossEncoder("BAAI/bge-reranker-v2-m3", max_length=512)

query = "Какова политика возврата?"
docs = [
    "Возврат можно оформить в течение семи дней после получения, товар должен быть в сохранном виде.",
    "Доставка: для удалённых районов может взиматься доплата.",
    "Бонусные баллы начисляются после завершения заказа.",
]

scores = model.predict([(query, d) for d in docs])
ranked = sorted(zip(scores, docs), reverse=True)
for score, doc in ranked:
    print(round(float(score), 4), doc[:40])

Этот код только демонстрирует сортировку. В продакшене нужны тайм-ауты, контроль размера пакета, повторы и обезличивание логов.

4. Как оценивать качество бесплатного варианта

Бесплатный не значит плохой, а платный не обязательно подходит именно вашему корпусу. Смотрите на четыре вещи:

  • Язык и предметная область: публичные рейтинги не заменяют собственной оценки; китайский, редкие языки и отраслевые термины нужно тестировать отдельно.
  • Качество кандидатов: реранкинг переставляет только то, что уже найдено. Если правильного фрагмента нет среди кандидатов, никакая модель не поможет.
  • Сопоставимость оценок: шкалы у моделей и версий разные. Не переносите порог модели A на модель B, смотрите только на порядок.
  • Длинные документы и смешанные языки: здесь чаще всего проявляются усечение и многоязычные проблемы; включите такие случаи в оценочный набор.

Частая ошибка — проверить несколько демонстрационных вопросов, увидеть правильный порядок и запустить в продакшен. Демо-вопросы слишком простые, чтобы выявить разницу; нужны реальные запросы, реальные кандидаты и размеченные уровни релевантности.

5. Приватность и границы комплаенса

Запрос реранкинга содержит текст запроса и документов, и плотность информации в нём может быть выше, чем в обычном чате. Договоры, данные клиентов и фрагменты кода, отправленные во внешний бесплатный сервис, создают риски не только утечки, но и срока хранения, использования для обучения, места хранения и механизма удаления.

Порядок такой: сначала классифицируйте данные, затем выбирайте схему. Для публичных материалов допустим хостинговый пробный сервис; для внутренних нужно как минимум подтвердить отсутствие хранения и обучения; для чувствительных данных приоритет — развёртывание в своём контуре или соглашение об обработке. При использовании шлюза проверьте ещё один слой: логируется ли содержимое запросов, как долго хранятся логи и не используются ли они для других целей.

На этапе тестирования используйте обезличенные или синтетические данные, не подключайте производственную базу напрямую.

6. Когда бесплатный вариант подходит и когда нет

Бесплатный реранкинг хорошо подходит для:

  • проверки концепции и внутренних демонстраций;
  • внутренних инструментов с низким параллелизмом, где периодическое ограничение скорости допустимо;
  • офлайн-пакетной оценки без требований к реальному времени;
  • небольших баз знаний с нечувствительными документами, если команда может развернуть открытую модель;
  • сравнения нескольких решений на одном оценочном наборе перед закупкой.

Плохо подходит для:

  • клиентских сервисов с высоким параллелизмом, где нужны стабильная задержка и обязательства при сбоях;
  • чувствительных данных без возможности развернуть решение в своём контуре, когда остаётся только внешний бесплатный уровень;
  • очень длинных и многочисленных кандидатов, где лимиты бесплатного уровня напрямую ограничивают качество;
  • корпоративных сценариев с требованиями аудита, хранения и прослеживаемости прав;
  • долгосрочного продакшена, где у команды нет ресурсов на эксплуатацию GPU и она всё равно вернётся к хостингу.

7. Путь от бесплатного к платному

Переходить стоит при частых ограничениях скорости, нестабильном P95, выходе оценки на плато, непрохождении комплаенса или устойчивом росте вызовов. Обычно есть три пути:

  • Платный хостинговый API: минимальные изменения, меньше эксплуатации; сравнивайте лимиты, ограничения скорости, условия данных и счёт.
  • Открытая модель на своём сервере: контроль данных, при больших объёмах может быть выгоднее, но нужно считать GPU, персонал и стабильность.
  • Единый шлюз: один вход для нескольких моделей и ключей, удобно переключаться и учитывать расход; поддержка — по списку моделей на сайте.

При любом пути сохраняйте деградацию: при тайм-ауте реранкинга возвращайтесь к векторной похожести или ключевому порядку и фиксируйте число таких случаев.

Частые вопросы

Можно ли сразу использовать бесплатный лимит в продакшене?

Большинство бесплатных уровней предназначены для оценки и проб. Условия, ограничения скорости и стабильность не рассчитаны на промышленную нагрузку. Перед запуском уточните коммерческую лицензию, SLA и обработку данных, затем выбирайте платный хостинг или развёртывание в своём контуре.

Можно ли коммерчески использовать открытую модель реранкинга?

Зависит от лицензии конкретной модели. Одни лицензии мягкие, другие содержат дополнительные ограничения. Перед использованием изучите карточку модели и LICENSE; возможность скачать веса не означает разрешение на коммерческое применение.

Насколько бесплатный реранкинг хуже платного?

Единого ответа нет: разница зависит от размера модели, языковых возможностей, длины входа и числа кандидатов. Сравнивайте NDCG@10, попадание в Top-3 и задержку на одном наборе — это надёжнее рекламных страниц.

Может ли реранкинг заметно улучшить RAG?

Только если правильный фрагмент уже найден. Если поиск пропустил ответ, реранкинг не исправит ситуацию. Сначала смотрите Recall@k, затем оценивайте выгоду; многие проблемы кроются в нарезке и поиске.

Для китайского языка выбирать открытую модель или зарубежный API?

Стоит тестировать оба варианта. Открытая модель выигрывает в контроле данных и стоимости, хостинг — в отсутствии эксплуатации и стабильности. Добавьте в оценочный набор китайский язык, отраслевые термины и длинные документы, затем учитывайте трансграничную передачу данных и бюджет.

Что дальше

Чтобы недорого проверить цепочку реранкинга, можно с небольшим бюджетом зарегистрироваться в ZSQH AI Gateway, собрать поиск, реранкинг и генерацию в один сценарий и затем решить, нужен хостинг или собственное развёртывание. Модели и цены — на странице тарифов.

Связанные статьи: