Гамлет протягивает Гильденстерну флейту и просит сыграть. Тот признаётся, что не умеет. Видимые отверстия, понятная просьба — а музыки нет. При этом тот же знакомый берётся выпытывать скрытые причины поведения принца. Гамлет замечает, что инструмент оказался для него сложнее чужой души.
После разговора с нейросетью легко попасть в похожее положение. Она разложила домашние заметки по группам и обстоятельно объяснила, как всё поняла. Рассказ складывается, слова знакомые. Ещё абзац — и хочется выдать себе ключ от машинного отделения. Между тем мы пока получили только билет на экскурсию, написанный самой системой.
Проверим это на деле, которое можно оценить без чужих секретов: покупки для растений и уход за ними. На холодильнике висят заметки о грунте, семенах и базилике. Хотим разделить, с чем идти в магазин, а что сделать дома. Три строки и короткое правило позволят увидеть, где кончается наблюдение и начинается версия о причине.
Что скрывает метафора «чёрный ящик»
Вы передаёте системе запрос и получаете ответ. Например, пишете «Купить грунт», а она возвращает категорию «покупка». Эти две строки можно сохранить и сравнить с заданием. Внутренняя работа между ними требует отдельного объяснения.
Схема чёрного ящика показывает доступное наблюдателю. Знак вопроса внутри означает, что механизм ещё нужно установить.
В машинном обучении модель получает закономерности из данных. Вводный урок Google связывает модель с прогнозами и созданием содержания на основе таких закономерностей. Однако общее знание о том, как обучаются модели, ещё не объясняет каждое отдельное решение конкретной системы.
Чёрный ящик не обязательно хранит засекреченный код. Архитектура может быть опубликована, веса доступны исследователю, а связь между множеством вычислений и одним выбранным словом всё равно окажется сложной. В другой задаче, с простой моделью и понятными признаками, разобраться будет легче. Метафора описывает трудность объяснения, а не обязательную коробку с замком.
Для обычной работы полезнее разделить два вопроса: «Подходит ли мне этот ответ?» и «Как именно система получила его внутри?» Первый часто можно решить своими проверками раньше второго.
Три заметки, которые удобно проверить самому
Откройте помощника, которым пользуетесь, например DeepSeek. Оставьте один и тот же доступный режим для всех трёх заметок. Если название модели или режима видно в окне, запишите его рядом с результатом: это поможет позже повторить ту же попытку.
Задача простая: отнести заметку к «покупке» или «уходу». Вы сами задаёте правило и заранее видите ожидаемый результат.
| Текст заметки | Ожидаемая категория по нашему заданию |
|---|---|
| Купить грунт | покупка |
| Купить семена | покупка |
| Полить базилик | уход |
Вставьте в поле сообщения:
Раздели мои заметки на две категории: «покупка» и «уход».
Покупка — нужно приобрести вещь или материал.
Уход — действие с уже имеющимся растением.
Верни каждую исходную строку и одну категорию рядом.
Если строки недостаточно для выбора, напиши «уточнить».
Пока не объясняй внутренние причины своего решения.
Купить грунт
Купить семена
Полить базиликСохраните полученные строки отдельно от таблицы ожиданий. В статье они не заполнены заранее: это будут ответы той модели и того режима, которые выбрали вы. Сравните категории со своим правилом. Первый полезный результат — три конкретных наблюдения, которые можно показать и обсудить.
Если всё совпало, вы знаете, что эта попытка прошла проверку на этих заметках. Если какая-то категория иная, у вас есть точное место для разбора: исходная строка, ваше правило и ответ. Например, семена попали в «уход» — их стоит вернуть в список магазина и выяснить, какой смысл помощник придал строке. Чёрный ящик уже позволил проверить небольшое поведение без догадок о его устройстве.
Две системы могут выглядеть одинаково снаружи
Теперь устроим отдельный мысленный опыт. Сделаем две простые системы, внутренности которых нам известны, потому что мы сами их придумали. Это иллюстрация различия механизмов, а не описание скрытых весов DeepSeek.
Первая система пользуется правилом: если строка начинается словом «Купить», выдать «покупка»; если словом «Полить» — «уход»; иначе «неизвестно».
Вторая пользуется готовой таблицей: в ней записаны ровно три соответствия из предыдущего раздела. Для отсутствующей строки она выдаёт «неизвестно».
На наших трёх заметках результаты совпадут:
| Вход | Правило | Готовая таблица |
|---|---|---|
| Купить грунт | покупка | покупка |
| Купить семена | покупка | покупка |
| Полить базилик | уход | уход |
Две придуманные реализации одинаково ведут себя на этом небольшом наборе.
Если смотреть только на эти пары входа и выхода, выбрать одну внутреннюю причину нельзя. Внутри могло работать правило по началу строки, а мог идти поиск готового соответствия. Один и тот же видимый ответ допускает разные объяснения.
Так чёрный ящик становится понятнее: проблема возникает даже у крошечных систем. Для неё не обязательно представлять миллиарды параметров. Нам просто не хватает наблюдений, которые различают варианты.
Добавим один вопрос, на котором версии расходятся
Передадим обеим придуманным системам новую строку: «Купить горшок». Правило выдаст «покупка», потому что начало строки знакомо. Таблица выдаст «неизвестно», потому что такой записи в ней нет.
Для этих двух систем проверка различает заранее названные реализации. Мы понимаем, почему ответы разные: их устройство задали сами. Если же реальная нейросеть тоже отнесёт горшок к покупке, из одного совпадения ещё нельзя заключить, что внутри неё работает наше короткое правило. Другие способы могут давать такой же ответ.
Можно добавить «Нужен новый горшок». Для нашей первой системы, где важно именно начало «Купить», ответ станет «неизвестно». Человек в задаче приобретения скорее выберет покупку, хотя в настоящем доме горшок ещё может найтись в кладовке. Теперь мы придумали полезный вопрос: достаточно ли контекста для выбора или помощнику следует уточнить, что именно нам нужно?
Чёрный ящик допускает такие опыты: менять формулировку, сохранять смысл, сравнивать ответ. Для списка на холодильнике это практический вопрос: попадёт ли горшок в покупки, если вечером вы записали его спросонья и забыли слово «купить»? Каждый опыт стоит описывать тем, что он показал: «отнёс эту переформулировку к покупке» или «здесь попросил уточнение».
Если хочется идти дальше, сначала решите, какой следующий случай действительно встречается в ваших заметках. Например: «Пересадить базилик в новый горшок». Тут есть и вещь, и действие ухода; возможно, вашему списку нужны две метки вместо одной. Проверка заодно уточняет само задание.
Объяснение ответа тоже нужно оценивать
После получения категорий можно спросить: «Почему ты отнёс грунт к покупкам?» Вероятный полезный ответ сошлётся на слово «купить» и смысл приобретения. Такое пояснение помогает понять соответствие вашему правилу.
Но текст объяснения — ещё один выход системы. Фраза «я сначала выделил глагол, затем проверил его значение» сама по себе не является записью всех внутренних вычислений. Чёрный ящик не становится прозрачным только от того, что заговорил от первого лица. Воображаемый экскурсовод может носить каску и показывать указкой, но стенки коробки от этого никуда не делись.
В NIST IR 8312 предложены четыре принципа объяснимого ИИ: дать объяснение, сделать его понятным адресату, верно отразить причину или процесс и учитывать границы применимости системы. Для нашего вопроса особенно существенно explanation accuracy — точность самого объяснения.
Понятность и точность причины различаются. Можно доходчиво описать выдуманный процесс. А можно получить правильную категорию без хорошего объяснения. Поэтому полезно отдельно спрашивать, что именно подтверждает версия о внутренней причине.
Потребность в объяснении тоже зависит от дела. Для трёх домашних заметок вам может хватить ясного правила и проверки спорной строки. Исследователю, который изучает внутренний механизм, потребуются другие сведения и методы. Удачный бытовой тест и исследование устройства отвечают на разные вопросы.
Запишите результат и причину на разных строках
Возьмите собственную попытку с тремя заметками и сделайте короткую карточку. Например, если ответы действительно совпали с заданием:
- Наблюдение: в такой-то модели и режиме три строки получили ожидаемые категории.
- Проверка: категории сравнили с заранее записанным правилом.
- Версия: система могла опираться на слова действия и смысл приобретения или ухода.
- Дальше: попробовать переформулировку «Нужен новый горшок».
Карточка сохраняет наблюдаемое отдельно от предположения о механизме.
Если ответы не совпали, первую строку замените фактическим результатом. Запись «две категории подходят, одна спорная» сразу подскажет, что разбирать дальше. Можно показать помощнику конкретную строку и сказать: «Семена я ещё не купил, они нужны в списке магазина». После уточнения сравните новый ответ с прежним.
Для чёрного ящика такая дисциплина делает разговор предметным. Вы можете вернуться к исходной заметке, уточнить правило или выбрать другой способ организации списка. А красивое объяснение останется отдельным материалом, который тоже можно обсуждать.
Попросите помощника разобрать именно наблюдение
Следующее сообщение можно строить по вашим реальным строкам:
Вот мой запрос и полученный ответ: [вставьте короткий фрагмент].
Правило проверки было таким: [ваше правило].
Раздели разбор на три части:
1. Что прямо видно из этих строк.
2. Подходит ли результат под заданное правило и почему.
3. Какие версии о причине возможны, но этими строками не установлены.
Не выдавай рассказ о внутренних вычислениях за их запись.
Предложи один новый вход, который поможет проверить
пригодность ответа для моего списка дел.
Если само правило двусмысленно, сначала задай один вопрос.Здесь ИИ выполняет понятную работу: помогает сформулировать проверку и заметить двусмысленность. Чтобы оценить предложение, спросите себя, встречается ли такая строка в вашем деле и какой ответ вы хотели бы получить.
Когда хочется проверить отдельное фактическое утверждение, пригодится способ сверять ответы ИИ с источниками. Чёрный ящик ставит другой вопрос — как соотнести наблюдаемый результат и объяснение его появления. Точность факта и точность рассказа о механизме стоит держать раздельно.
Частые вопросы
Если ответы повторяются, механизм стал известен?
Повторяемость помогает описать поведение в данных условиях. Устройство системы может по-прежнему допускать несколько объяснений. В нашем примере готовая таблица тоже повторяет ответы без изменений.
Открытые веса решают вопрос автоматически?
Они дают исследователю больше материала. Но связать большой набор вычислений с конкретным ответом — самостоятельная работа. Доступ к числам и понятное объяснение их роли не совпадают по смыслу.
Стоит ли спрашивать у модели «почему»?
Стоит, когда пояснение помогает проверить соответствие задаче или понять термин. Уточняйте, о чём ответ: о видимом основании, общем принципе работы или предполагаемом внутреннем процессе. Для первого в наших заметках есть слова «купить» и «полить».
Нужно ли сначала изучить весь механизм?
Для небольшого бытового дела можно начать с ожидаемого результата и нескольких понятных примеров. Это даст основание решить, удобно ли вам пользоваться помощником в этой задаче. Интерес к устройству можно развивать следующим шагом.
Флейта и три сохранённые строки
После опыта у вас останутся запрос, фактические категории и карточка проверки. Чёрный ящик уже не выглядит мистическим собеседником: с ним можно работать, уточняя задание и наблюдая результат.
В «Первопроходцах» можно продолжать такие опыты на своих задачах, осваивать ИИ, задавать вопросы и развивать проектные работы с личной проверкой Никиты Малова. Условия участия в клубе — здесь.
А Гильденстерну вернём флейту. Пусть начнёт с одной ноты, а мы пока отделим семена для магазина от базилика, который ждёт воды. Для маленького списка дел это уже хорошая музыка.