Штольц заглянул в книгу Обломова и обнаружил, что страница «Путешествия в Африку» заплесневела. Путешествие остановилось, зато на месте развивалась жизнь. У наших сохранённых материалов свой способ обрасти мхом: заметка ещё вчера обещала прекрасный выходной, а сегодня мы не можем найти её среди ста других прекрасных выходных.
Допустим, в субботу пошёл дождь. Вы помните заметку о прогулке, где можно почти не мокнуть. В поиске пишете «куда сходить в дождь», а в записке было «маршрут под навесами». Поиск по буквальному совпадению может пройти мимо. Рядом зато исправно найдётся список зонтов, потому что слово «дождь» там есть. Зонты сами по себе прекрасны, но сегодня хотелось выйти из дома с планом.
Один из способов искать иначе — сравнивать числовые представления текстов. В этом объяснении мы пройдём путь от фразы к вектору и вручную выберем более близкую стрелку. После этого будет легче понять, что именно нашла программа и какой вопрос стоит задать найденной странице.
Как эмбеддинг помогает найти соседнюю мысль
Возьмём знакомую фразу. Её эмбеддинг можно записать как упорядоченный набор чисел — вектор. Его создаёт специальная модель. Числа занимают определённые места: первое, второе, третье и дальше. Модель создаёт это представление по своим обученным правилам; человек не назначает каждому слову координаты вручную.
Для поиска можно получить эмбеддинг запроса и представления сохранённых фрагментов, затем сравнить их выбранной математической мерой. В документации Яндекса о векторизации этот подход показан как поиск близкого текста по числовым векторам. Размерность — количество чисел — зависит от выбранной модели и её настроек.
Представьте карту, на которой тексты занимают свои места. Поиск выбирает соседей запроса. Так легче увидеть принцип числового сравнения. Но настоящая модель сама формирует представления при обучении; на её осях обычно нет знакомых табличек «дождливость» и «любовь к прогулкам». Нельзя вытащить одно число и объявить его количеством желания выйти из дома.
В поиске маршрута эмбеддинг полезен тем, что запрос и подходящая заметка могут говорить об одном деле разными словами. Получится ли у конкретной модели правильно сблизить их, зависит от её работы. Мы пока объясняем способ, а не измеряем русские фразы. Чтобы разобраться с самой арифметикой, сейчас возьмём числа, которые задали сами.
Схема поиска: числовое сравнение помогает выбрать материал, после выбора открывают сам текст.
Три стрелки, с которыми можно договориться
Нарисуем обычные оси: вправо и вверх. Вектор можно представить стрелкой из общего начала до точки. Наш пример задан редакцией для объяснения: A = (1; 0), B = (0,8; 0,6), C = (0; 1). Эти пары не получены из нейросети и не присвоены заметкам о погоде. Здесь две координаты, чтобы всю геометрию можно было увидеть на листе.
A направлен строго вправо. C — строго вверх. B идёт вправо и вверх, но ближе по направлению к A. Это уже видно на рисунке. Числа позволят проверить впечатление.
Длины всех трёх стрелок равны единице. Для A и C это видно сразу: одна координата равна единице, другая нулю. Для B проверим: 0,8² + 0,6² = 0,64 + 0,36 = 1. Корень из единицы тоже равен единице. Нам понадобилась эта небольшая проверка, потому что с единичными векторами дальнейший счёт становится проще.
У всех трёх стрелок единичная длина. По направлению B ближе к A, чем C. Числа здесь заданы для расчёта.
Один из способов сравнения — косинусное сходство. Смотрят на угол между стрелками: чем он меньше, тем выше результат по этой мере. Hugging Face объясняет такое сравнение в задаче сходства текстов. При одинаковом направлении значение равно 1, при прямом угле — 0. Возможны и отрицательные значения, когда направления расходятся дальше прямого угла.
Для единичных векторов достаточно умножить координаты на соответствующих местах и сложить произведения. Первая с первой, вторая со второй. Это называется скалярным произведением. Если длины другие, в общей формуле сумму ещё делят на произведение длин; наш пример специально подготовлен так, чтобы этого шага не требовалось.
Посчитаем, кто ближе к A
Начнём с пары A и B. На первых местах стоят 1 и 0,8; их произведение — 0,8. На вторых местах 0 и 0,6; произведение — 0. Складываем: 1 × 0,8 + 0 × 0,6 = 0,8.
Теперь A и C. Получаем 1 × 0 + 0 × 1 = 0. Стрелки стоят под прямым углом, результат соответствует рисунку.
Осталась пара B и C: 0,8 × 0 + 0,6 × 1 = 0,6. Проверили все три пары, ни одна координата не пропала.
| Пара | Умножаем и складываем | Косинусное сходство |
|---|---|---|
| A и B | 1 × 0,8 + 0 × 0,6 | 0,8 |
| A и C | 1 × 0 + 0 × 1 | 0 |
| B и C | 0,8 × 0 + 0,6 × 1 | 0,6 |
Если A — то, с чем мы сравниваем два варианта, выбираем B: 0,8 больше 0. Число 0,6 относится к другой паре, B и C; оно не участвует в выборе между двумя соседями A. Такой маленький порядок в обозначениях сильно облегчает жизнь, когда вместо двух вариантов появляется целая папка.
На этом примере можно остановиться и пересчитать всё обычным калькулятором. Чтобы помощник объяснил непонятное место, откройте DeepSeek или привычный чат и вставьте запрос:
Помоги понять косинусное сходство на заданных единичных векторах:
A=(1,0), B=(0.8,0.6), C=(0,1).
Покажи по одному действию, как получаются сравнения A с B,
A с C и B с C. После каждого расчёта спроси, понятен ли шаг,
и дождись ответа. Это заданные числа, не результат модели.
Не назначай векторам значения русских фраз.Помощник здесь работает репетитором. У вас уже есть правильные результаты для сверки: 0,8; 0; 0,6. Если он перескочил на длинную формулу, попросите вернуться к умножению двух чисел на одном месте. Установки, ключи и платный API для такой работы не нужны.
Близкая заметка ещё должна рассказать, куда идти
Вернёмся к прогулке. Представим, что поиск принёс запись «Маршрут под навесами». Открываем её и читаем: «От станции до оранжереи можно дойти по крытой галерее. В субботу галерея закрыта. От ворот к входу остаётся открытая дорожка».
Слова относятся к нашему делу: маршрут, укрытие, прогулка. Но в субботу галерея закрыта. Пока вы обсуждали удачную находку, семья уже могла надеть лёгкие кроссовки: ведь обещана прогулка почти под крышей. Одна прочитанная строка возвращает выбор обуви и маршрута в сегодняшний дождь. Близость темы принесла материал, конкретное условие поменяло план.
Эмбеддинг участвует в выборе похожего материала. Проверка ответа требует другого действия: открыть исходник, найти условие, сверить его с вопросом. Векторное сходство не является вероятностью истинности текста. Наши 0,8 означают результат математического сравнения заданных стрелок; переводить это число в «80% правды» было бы другой операцией без основания.
Попросите помощника разобрать найденное: «Покажи точную фразу, на которую опирается ответ о субботе. Затем назови, чего в заметке не хватает для выбора маршрута». В нашем фрагменте есть закрытая галерея и открытая дорожка, но нет подходящей замены. Следующий полезный вопрос — где можно провести прогулку под крышей в субботу. В своей записи оставьте условие рядом с маршрутом, чтобы удачная находка помогла и в следующий раз.
Числовая близость приводит к странице. Условие на странице помогает принять решение.
Почему у чисел должна быть общая система
Эмбеддинг создаётся определённой моделью. Сравнивать нужно представления, рассчитанные для совместной работы. У Яндекса, например, для запросов и документов предусмотрены соответствующие модели одной системы. Совпавшего количества чисел недостаточно: две разные модели могут задавать разный смысл координатам.
Представьте два плана города. На одном начало отсчёта у вокзала, на другом — у площади. Одинаковая пара чисел может привести в разные места. Если без согласования положить один план на другой, трамвай приедет прямо в фонтан — хотя оба чертёжника честно подписали свои координаты. Числовым представлениям тоже нужны согласованные правила.
Для человека, который пользуется готовым поиском, полезный вопрос звучит так: «Этим запросом я ищу по материалам, обработанным совместимой системой?» Если вы меняете модель в своём проекте, отдельно выясните, нужно ли заново получить представления документов. Выбор базы и настройка поиска — следующий самостоятельный этап; здесь достаточно понимать причину этого вопроса.
Частые вопросы об эмбеддингах
Токен и эмбеддинг — одно и то же?
Токен — единица, на которые токенизатор разбивает текст: слово, часть слова или последовательность символов. Эмбеддинг — числовое представление. Внутри языковых моделей встречаются представления отдельных токенов, а в поиске из этой статьи мы обсуждаем вектор текста или фрагмента. Разбиение на кусочки и описание числами выполняют разные работы. Определение токенов в документации Яндекса.
Откуда взялись две координаты?
Их задали специально, чтобы рисунок и три расчёта уместились перед глазами. Настоящий эмбеддинг может содержать гораздо больше чисел; точный размер смотрят у выбранной модели. На нашей схеме проверяется арифметика сходства, смысл русских фраз она не измеряет.
Ноль означает, что у текстов вообще нет ничего общего?
В нашем примере ноль получился у перпендикулярных стрелок A и C. В рабочем поиске значение интерпретируют с учётом модели и задачи. Одно число не заменяет чтение найденного материала и проверку того, отвечает ли он на вопрос.
С помощью этого можно сразу получить готовый ответ?
Сравнение помогает выбрать материал. Чтобы составить по нему ответ, нужна дальнейшая работа: прочитать подходящий фрагмент и сформулировать вывод. Такой путь часто встречается в системах RAG. Если хотите выбрать способ работы со своими документами, прочитайте сравнение RAG и дообучения.
Что делать, если программа находит похожее, но нужная запись остаётся внизу?
Сначала проверьте сам запрос и посмотрите, какие фрагменты попали в результаты. Если нужный материал уже найден, а порядок неудобен, возникает задача повторной оценки кандидатов. Её объясняет статья о переранжировании результатов. У числового представления и последующей сортировки разные места в поиске.
Страницу всё-таки открыли
Теперь у нас есть понятная последовательность: для текста получают эмбеддинг, правило сравнения помогает выбрать близкий вариант, читатель открывает найденное и проверяет нужную строку. На трёх заданных стрелках мы получили 0,8; 0; 0,6 и выбрали B как более близкий к A. Можно объяснить выбор без магического жеста в сторону нейросети.
Продолжить со своими заметками можно в «Первопроходцах»: учиться применять ИИ, задавать вопросы и дорабатывать собственный проект. Никита проводит эфиры раз в две недели и лично проверяет проектные работы участников. Дополнительный путь — практика работы с источниками.
Заметка теперь открыта, условие про субботу замечено, лёгкие кроссовки остались суше. У страницы снова появилась работа. Плесень может отменять командировку в Африку: читатель всё-таки двинулся дальше.