Хотели записаться на встречу и разобраться, не пропустили ли срок. Ввели в поиск «регистрация» — первой открылась памятка владельцу автомобиля. Слова знакомые, текст обстоятельный. На первом месте выдачи основательно припарковалась машина, хотя на встречу вы собирались пешком.
Поиск уже принёс похожие тексты. Остаётся выделить тот, где написано про нужную регистрацию. При reranking в RAG найденные фрагменты сопоставляют с вопросом ещё раз и меняют порядок кандидатов перед подготовкой ответа. Автомобилю придётся уступить место объявлению о встрече. Посмотрим, что меняется в самом списке.
RAG называют способ, при котором помощнику дают найденные материалы, чтобы он мог опереться на них при ответе. Если вы уже пробовали задавать вопросы к своим заметкам или документам, замысел знаком. Внутри пути есть три разных дела: достать фрагменты, выбрать полезные и составить ответ. Разберём средний шаг на наборе, который целиком помещается перед глазами.
Поиск привёз список. Кто здесь по нашему делу?
У первого поиска своя работа: быстро отобрать кандидатов из большого набора материалов. В них могут совпадать слова, тема или смысловые признаки. Второй этап получает только найденный список и рассматривает каждый фрагмент вместе с вопросом. Для нашей встречи существенно, о чьей регистрации идёт речь и до какого дня она открыта.
В официальном описании Cohere Rerank на вход подают вопрос и список документов, на выходе получают порядок по смысловому соответствию. Для понимания прочитаем три фрагмента и сами выберем основание. Получится короткая проба, которую можно повторить в обычном чате без установки системы и оплаты отдельного сервиса.
Пусть поиск вернул документы в порядке D2, D1, D3. Буква с цифрой — короткая метка, чтобы не потерять, какой текст перед нами. Это учебная ситуация, а не замер конкретного поискового алгоритма. По содержанию ниже мы сможем объяснить, почему порядок стоит изменить.
Те же фрагменты, другой порядок: второй этап работает с тем, что поиск уже принёс.
Один этап отвечает на вопрос «что нашлось среди материалов?», другой — «что из найденного поставить ближе к сегодняшнему вопросу?». Пока эти дела смешаны, ошибка выглядит общей: помощник плохо ответил. Когда мы их разделили, можно проверить точнее. Он не получил объявление о встрече или получил, но выбрал вместо него автомобиль?
Три фрагмента и две похожие даты
Мы хотим узнать, до какого дня можно зарегистрироваться на встречу. Возьмём три короткие записи. Их можно прочитать прямо здесь, а затем использовать в разговоре с помощником.
D1. Срок записи
Регистрация участников на встречу открыта до 12 мая.
D2. Другой предмет
Для регистрации автомобиля подготовьте документы на транспортное средство.
D3. Дата встречи
Встреча участников начнётся 15 мая.
Слово «регистрация» есть в D1 и D2. У одного текста нужное действие связано со встречей, у другого — с автомобилем. Дата в D3 тоже выглядит заманчиво: вот же число, которого мы искали! Только это день начала встречи. D1 отвечает на вопрос «до какого дня записаться». Нам пригодилась связка предмета, действия и даты, а не один узнаваемый знак.
Полезен не любой текст с датой. Нужная дата относится к нужному действию.
Теперь порядок D1, D3, D2 понятен. Сначала — решающее основание. Потом — соседний контекст о той же встрече. Последним остаётся другой предмет. В реальной системе модель переранжирования оценивает пары «вопрос — кандидат», а в нашей пробе это читательская оценка по предоставленным словам.
Теперь можно ответить «до 12 мая» и сразу показать фрагмент D1. Если следом спросят, когда приходить на саму встречу, откроем D3 и назовём 15 мая. Две даты перестали толкаться за одно место: у каждой нашлось своё действие.
Попросите помощника показать, на что он опёрся
Попробовать принцип можно в привычном текстовом чате. Для начала подойдёт DeepSeek. Вставьте в поле сообщения вопрос и весь короткий набор ниже. В первом ответе вам нужны выбранный фрагмент, причина выбора и краткий ответ с его меткой.
Помоги выбрать основание для ответа. Используй только эти три фрагмента; не ищи дополнительные сведения и не дописывай отсутствующее.
Вопрос: до какого дня можно зарегистрироваться на встречу?
D2: Для регистрации автомобиля подготовьте документы на транспортное средство.
D1: Регистрация участников на встречу открыта до 12 мая.
D3: Встреча участников начнётся 15 мая.
Сначала расположи фрагменты по полезности для этого вопроса и объясни порядок. Затем ответь одной фразой, указав метку фрагмента с основанием. Отдели срок регистрации от даты встречи. Если нужных сведений в наборе нет, прямо скажи, чего не хватает.Прочитайте, какой фрагмент помощник поставил первым и почему. Затем найдите в нём названный срок. Если получилось «регистрация до 15 мая», попросите: «Покажи дословную строку, где написан именно срок регистрации». В нашем наборе её не окажется. Уточнение «15 мая начинается встреча, а я спрашиваю о записи» возвращает разговор к нужному действию.
Такой запрос позволяет увидеть, как помощник выбирает и объясняет основания. Обычный чат при этом не превращается в испытанную реализацию конкретного reranker. Мы разбираем понятный способ чтения найденного набора и можем сами оценить результат по трём строкам.
Для своей задачи возьмите несколько уже найденных отрывков и дайте каждому короткую метку. Сам вопрос запишите целиком. «Когда регистрация?» может относиться и к встрече, и к автомобилю; по обрезанной фразе помощнику придётся выбирать предмет. Добавьте то, что вам уже известно: «До какого дня записываются участники встречи?» После этого можно сравнивать полезность фрагментов.
После перестановки документ должен остаться собой
После перестановки D1 остаётся тем же текстом, который был вторым в исходной выдаче. Если назвать его теперь просто «первым», мы запутаемся при следующем сравнении. Сохранённая метка работает как постоянная подпись: место изменилось, документ прежний. Вместе с ним сохраняются и слова, из которых получен ответ.
В ответе Cohere есть исходный индекс документа и оценка соответствия — relevance_score. Индекс связывает новое место с прежним списком, оценка помогает сортировать кандидатов. Если встретите эти названия в описании программы, вспомните наши карточки: важно и выбрать подходящую, и затем без ошибки найти именно её.
В нашем наборе роль постоянной метки выполняет D1. Ответ «до 12 мая, D1» ведёт к нужной строке независимо от её места в списке. Для большой библиотеки это та же привычка: рядом с фрагментом оставляют адрес файла или страницы, название раздела, иногда номер страницы. После следующего поиска выдача может перестроиться, а адрес оригинала поможет найти прежний текст.
От ответа можно вернуться к строке, из которой взят срок.
| Что сохраняем | Зачем это нужно читателю | Пример в нашей задаче |
|---|---|---|
| Вопрос | Не потерять нужное действие | Узнать срок регистрации |
| Метку фрагмента | Найти тот же текст после перестановки | D1 |
| Само основание | Сверить, что ответ взят из строки | «Регистрация… до 12 мая» |
| Адрес оригинала, если он есть | Прочитать окружение и условия | Страница объявления о встрече |
| Отдельное пояснение | Различить близкие сведения | 15 мая — начало встречи |
Если вы нашли хорошую инструкцию и теперь хотите пройти её сами, следующим шагом будет последовательность действий по источнику. Там выбранный материал превращается в понятные шаги. Здесь наша задача заканчивается точным фрагментом и проверяемой связью с ответом.
Высокая оценка не делает запись верной
А теперь представьте, что D1 взят из старого объявления, а регистрацию позже продлили. По формулировке он всё ещё прекрасно отвечает на вопрос о сроке: в нём есть и встреча, и нужное действие. Он может попасть наверх списка, хотя нам нужно более позднее объявление. Когда адрес источника сохранён, можно открыть его и найти обновление вместо спора с номером первого места.
Стукач у Оруэлла требует у животных документы, подтверждающие прежние решения. Позже Кашка добирается до надписи на амбаре и узнаёт о простынях, которых не помнит в заповеди. Подходящий по теме текст буквально висит перед глазами. Вопрос о том, менялась ли запись, остаётся. Так и с найденным объявлением: мы можем выбрать нужную строку, а затем выяснить, какая её версия относится к нашему случаю.
Поэтому score описывает соответствие вопросу и не становится вероятностью истинности факта. В нашей пробе не нужны выдуманные баллы вроде «документ верен на столько-то процентов». Достаточно увидеть, на какой вопрос отвечает строка, а затем проверить её происхождение. У очень подходящего по формулировке объявления всё ещё может оказаться прошлогодняя дата.
Если в найденном наборе два объявления с разными сроками, оставьте оба перед глазами и спросите помощника, чем они различаются. У одного могла быть поздняя дата публикации, у другого — уточнение для отдельной группы участников. Попросите выписать различие с метками документов. Так появится предмет для следующей проверки: найти обновление или уточнить, к какой группе вы относитесь.
Когда в списке нет ответа, двигать карточки поздно
Уберём D1 из набора. Останутся памятка про автомобиль и сообщение о начале встречи. Можно усадить автомобиль на первое место, потом на второе, потом торжественно вынести весь список на сцену. Последний день записи от этого не появится. Теперь понятно, что искать: объявление с условиями регистрации.
Вернитесь к предыдущему этапу: откройте письмо с условиями записи, найдите объявление о регистрации, добавьте пропущенный файл. Когда D1 попадёт в набор, появится и основание для ответа. Теперь вы можете объяснить сбой одной фразой: «Поиск не принёс документ со сроком». Это уже конкретное дело, которое можно исправить.
Для второй пробы удалите из запроса D1, оставив D2 и D3. Снова спросите о последнем дне регистрации и посмотрите, на что помощник ссылается. Ответ «дата начала встречи есть, срок регистрации не указан» точно описывает наш набор. Можно вернуть D1 и проверить, как изменилось основание. Две короткие попытки показывают, в какой момент нужная информация появляется в работе.
Если вы только выбираете способ работы со своими материалами, можно сначала разобраться, когда нужен поиск по источникам, а когда — дообучение. Настройка всей системы начинается с её задачи. Повторная сортировка — один из возможных этапов внутри пути к ответу.
Частые вопросы
Чем reranking отличается от обычного поиска?
Поиск достаёт кандидатов из доступного корпуса. Второй этап пересматривает уже найденный список с учётом вопроса и меняет приоритет. Для трёх коротких строк это можно сделать глазами; автоматизация помогает повторять такую работу в большем потоке.
Нужно ли каждому документу назначать балл вручную?
Для понимания примера достаточно объяснить порядок: D1 даёт срок, D3 относится к встрече, D2 говорит о другом. Мы не придумываем числовой результат модели. В конкретном сервисе оценка и способ её использования определяются его документацией.
Можно ли доверять только первому фрагменту?
Откройте его и убедитесь, что он отвечает на нужный вопрос. Для нашего срока достаточно D1. Для вопроса «когда запись и когда сама встреча?» понадобятся уже D1 и D3. Полезный набор зависит от того, что вы собираетесь сообщить.
Что должно остаться после этой пробы?
Схема поиск → повторная сортировка → ответ с основанием и одна точная строка. На примере мы увидели, как работает reranking в RAG: первым стал фрагмент о сроке, а дата встречи сохранила своё значение. Возьмите собственный вопрос и несколько найденных текстов. Когда у ответа появится адрес, останется прочитать условие и записаться на встречу. Машину пока можно оставить в другой выдаче.