У Сфинкса была короткая анкета. Один вопрос про ноги, затем решение судьбы путника. Внизу анкеты, видимо, уже стояла графа «Съесть». Эдип ответил «человек» и избавил Фивы от чудовища. Сегодня ответ известен многим ещё с детства. Перед Сфинксом могла бы выстроиться очередь дошкольников: каждый говорит «человек», чудовище мрачно отодвигает очередную анкету. Знакомый пароль делает грозный контроль на удивление лёгким.
А как поставить вопрос, если хочется увидеть поведение собеседника в разговоре? Он может уточнять, шутить, объяснять, ошибаться, менять ответ после возражения. Одной заранее известной загадки для такого наблюдения мало. Здесь и начинается интерес к идее Алана Тьюринга.
Тест Тьюринга удобно разобрать на маленькой сцене: два собеседника скрыты, наблюдатель получает только текст. Чтобы сцена дала понятный результат, сначала расставим роли. А затем посмотрим, что по ответам действительно можно заметить.
Как устроен тест Тьюринга в исходной работе
В статье 1950 года Computing Machinery and Intelligence Тьюринг начинает с вопроса о мышлении машин и предлагает заменить его более определённой задачей. В первых разделах описана игра с тремя людьми: мужчиной A, женщиной B и спрашивающим C.
Спрашивающий находится отдельно и должен определить, кто из двух скрытых участников мужчина, а кто женщина. Участник A старается его запутать, участница B помогает определить верно. Общение идёт письменно; голос и внешность не должны давать подсказку. Телетайп подходит лучше устного разговора именно по этой причине.
Затем Тьюринг предлагает поставить машину на место участника A и спрашивает, как изменится частота ошибок наблюдателя. Это историческая постановка. В ней важны и роли, и подмена участника, и способ общения. Так общий философский вопрос получает описанную сцену наблюдения.
Тест Тьюринга часто пересказывают короче: судья переписывается с человеком и программой и угадывает, кто есть кто. Это понятная современная адаптация. Ниже будем пользоваться именно ею, сохраняя различие с исходной игрой.
Почему собеседников прячут за текстом
Пусть в адаптации собеседники обозначены X и Y. Наблюдатель отправляет вопросы, получает ответы и делает выбор. Если рядом с X нарисовать металлического человечка, игра закончится прежде первого сообщения. Наблюдатель даже не успеет отложить печенье — ответ уже подмигивает ему с аватара. Такие подсказки убирают, чтобы сравнивать поведение в выбранном канале.
Современная адаптация. Личности X и Y скрыты, наблюдатель сравнивает текст в заранее оговорённых условиях.
Отсюда важная особенность: тест Тьюринга наблюдает то, что доступно в переписке. Как собеседник поддерживает тему, понимает уточнение, строит ответ, справляется с неожиданным поворотом. Решение делает конкретный человек по полученному разговору.
Поэтому сообщение в обычном чате ещё не описывает испытание. Нужны участники сравнения, одинаково устроенный канал, вопросы и способ оценить решение. Иначе у нас есть впечатление от одного ответа, которое само по себе тоже может быть интересным.
Два диалога, которые легко представить человеческими
Попробуем на двух коротких сценах. Оба диалога сочинены для этой статьи. Посмотрите, какое впечатление создаёт сама речь.
Диалог X
Наблюдатель: Бывает, заходишь в комнату и забываешь зачем?
X: Да. Обычно вспоминаю ровно в тот момент, когда возвращаюсь обратно.
Наблюдатель: И что помогает?
X: Остановиться на минуту, прежде чем начинать следующее дело. Хотя я чаще сначала ещё раз хожу туда-сюда.
Диалог Y
Наблюдатель: Бывает, заходишь в комнату и забываешь зачем?
Y: Бывает. Захожу за блокнотом и начинаю искать зарядку. Комната успевает выдать новое задание.
Наблюдатель: И что помогает?
Y: Возвращаюсь мысленно к тому, что делал до этого. Иногда срабатывает раньше, чем очередной круг по квартире.
Оба ответа похожи на обычную речь. В них узнаваемая бытовая ситуация, небольшая ирония и уместное продолжение. В первом собеседнике легко узнать себя, во втором — знакомого, у которого любая бытовая история становится маленьким рассказом. Можно заметить, из каких деталей сложилось это впечатление.
Но авторство скрытого участника мы здесь не установили: оба фрагмента написал автор статьи. Этот маленький пример показывает разницу между впечатлением от реплики и известным происхождением текста. Тест Тьюринга как раз делает происхождение скрытым для наблюдателя и ставит перед ним задачу различения.
Правдоподобие и проверка факта отвечают на разные вопросы
Добавим к нашей сцене конкретный материал. На столе лежит записка: «Встреча кружка в четверг в 14:30, кабинет 12». Теперь можно спросить обоих собеседников: «Во сколько встреча и где?»
Ответ «в 14:30, в кабинете 12» легко сравнить с запиской. Если прозвучало «в 15:30», мы нашли расхождение с источником. Проверка не зависит от того, насколько обаятельно собеседник рассказал о поисках зарядки. Если перенести неверное время в приглашение, люди придут на час позже; хорошая шутка этот час не вернёт.
С фразой «я забываю, зачем вошёл в комнату» устроено иначе. По одному такому сообщению видно, что участник написал о знакомом опыте от первого лица. Что именно стоит за этой репликой, сама реплика не показывает. Здесь особенно полезно назвать, что мы наблюдали, без добавления лишнего вывода.
В сочинённых диалогах разбираем свойства текста. Сведения из записки проверяем отдельным сравнением.
| Наблюдение | Что можем сказать |
|---|---|
| Ответ звучит естественно | В нём есть признаки обычной разговорной речи |
| Ответ совпал с переданной запиской | Эти сведения верно извлечены из данного источника |
| Наблюдатель выбрал X как человека | Таково его решение в этой переписке |
| Собеседник написал о своих чувствах | Он выдал такую реплику; её происхождение и внутренний опыт требуют других оснований |
Эта таблица пригодится и вне игры. Когда помощник пишет приглашение, приятный тон важен. Когда он переносит время из заметки, сверяем время. Разные свойства ответа можно оценивать отдельно, и работа становится яснее.
Что записать в условиях своей адаптации
Если захотите обсудить тест Тьюринга с друзьями или разобрать готовый опыт, начните с короткой карточки условий. Вечеру хватит небольшой карточки. Иначе после игры обнаружится, что один наблюдатель спрашивал только о погоде, другой полчаса разбирал выдуманную историю, а оба результата записали одним словом «угадал».
Запишите участников: кто отвечает, кто наблюдает и знает ли наблюдатель, что сравниваются человек и программа. Укажите канал: только текст или ещё голос, изображения, аватары. Затем обозначьте длительность и правила вопросов: можно ли продолжать тему, задавать уточнения, обращаться к источникам.
Следом запишите, какое решение требуется от наблюдателя и как его сопоставят с настоящими ролями. Если наблюдателей несколько, сохраняйте их отдельные решения. На итог влияет и то, сколько разговоров просмотрено, и какие условия были одинаковыми.
Карточка помогает понять результат чужого описания или заранее договориться о собственной адаптации.
Тест Тьюринга не получает один и тот же смысл при любых настройках. Короткий разговор на знакомую тему и длинная беседа с уточнениями дают разный материал для решения. Чтобы сравнивать результаты, сначала сравните условия.
Особенно внимательно читайте, что именно посчитали: верные определения участников, ошибки наблюдателей или выбор в одном эпизоде. Само слово «прошёл» удобно для заголовка, а устройство разговора придётся раскрыть внутри.
Попросите ИИ помочь разобрать наблюдения
Здесь помощник может сделать полезную работу до всякого живого испытания. Откройте DeepSeek, скопируйте два сочинённых диалога выше и напишите:
Хочу понять тест Тьюринга на этих двух вымышленных диалогах. Разбери, какие детали создают впечатление человеческой речи. Затем раздели три вещи: наблюдаемое свойство текста, проверяемый по источнику факт и вывод о скрытом собеседнике. Не угадывай настоящего автора: оба диалога сочинены для объяснения. Предложи один уточняющий вопрос, который даст больше материала для наблюдения, и объясни, что его ответ позволит узнать. После этого помоги кратко записать условия современной адаптации.
Например, продолжение можно связать с конкретной ситуацией: «Что именно ты собирался взять в комнате?» Оно даст более длинный связный ответ. А задача по записке даст сведения, которые сравниваются с уже известным источником. От каждого вопроса мы ожидаем определённого наблюдения.
Сохраните разбор в заметке и проверьте, не появилась ли в нём уверенная разгадка X или Y. У нас уже известно происхождение обоих фрагментов. Поэтому фразу «X точно программа: слишком аккуратно отвечает» можно сразу сопоставить с тем, что действительно произошло: автор написал обе сцены. Это полезный момент, где красивое объяснение расходится с известным основанием. Такой разбор — упражнение на понимание критерия; настоящий тест с участниками он не заменяет.
Почему для оценки способностей смотрят шире одной беседы
Тест Тьюринга сделал разговор предметом серьёзного исследования. Современные авторы обсуждают и другие способы описывать возможности систем. В Levels of AGI Мередит Рингел Моррис и соавторы предлагают различать широту способностей и качество выполнения задач.
Идея доступная: система может работать в узком деле очень сильно либо браться за множество разных дел с разным качеством. Эти два измерения полезно держать отдельно. Авторы связывают оценку с тем, что система способна сделать, и с задачами, имеющими смысл для людей.
Нам не нужна вся шкала, чтобы применить эту мысль. Для своей задачи можно проверить связность текста, точность сведений, соблюдение условий и способность исправить найденное расхождение. Это отдельные наблюдения. А вопрос о понимании и внутреннем устройстве требует отдельного исследовательского разговора.
Если после чтения хочется перейти к собственному делу, возьмите знакомую заметку и попросите помощника подготовить по ней короткий текст. Так появится удобный источник для проверки. Начать можно с практики первых задач или разбора запроса под свою задачу.
Вопросы и ответы о тесте Тьюринга
Нужно ли обязательно разговаривать пять минут?
В работе 1950 года Тьюринг высказывает прогноз: он ожидает определённой успешности машин и вероятности правильного решения наблюдателя после пяти минут вопросов. Упоминаемые там 70% относятся к этому прогнозу. Универсальный стандарт любого последующего испытания из такой фразы не получается: для конкретного опыта нужно прочитать его протокол.
Можно провести игру с одной программой и одним человеком?
Нужен ещё наблюдатель и заранее понятные роли. Для современной адаптации можно договориться о текстовом сравнении и сохранить условия, вопросы и решения. Тогда вы будете знать, что именно наблюдали. Масштаб вывода должен соответствовать числу разговоров и их устройству.
Почему нельзя определить автора по одной смешной реплике?
В наших сценах обе реплики придуманы одним автором, хотя звучат как разные бытовые ответы. Уместная шутка — наблюдаемое свойство текста. Чтобы установить происхождение, нужны известные роли участников и сама процедура различения.
Полезен ли критерий сегодня?
Тест Тьюринга помогает точно обсуждать поведение в разговоре и условия человеческой оценки. Для выбора помощника к этому удобно добавить проверку нужной вам работы: как он читает вашу заметку, сохраняет факты и отвечает на уточнения.
Сфинкс требовал от путника назвать человека. Наша сцена заканчивается спокойнее: наблюдатель записывает, что увидел, какой вопрос задал и к какому выводу пришёл. Сфинксу можно выдать карандаш и попросить пока убрать когти с бланка. Загадка остаётся интересной, а решение теперь можно спокойно рассмотреть.