Обломов протягивает собеседнику письмо: вот материал, из которого нужно понять, что делать дальше. Это хороший первый жест и для разговора с ИИ. Только сегодня к письму легко прибавляются фотография и голосовое сообщение. Все три касаются одного дела, но сообщают о нём разное. Как в хорошей компании: один помнит время, другой узнаёт вещь с первого взгляда, третий наконец напоминает про коробку.
Допустим, вы собираетесь на дружеское чаепитие, на которое каждый приносит свою кружку. В сообщении написано, когда и где встречаться. На фото — синяя кружка с жёлтой ручкой, которую надо взять. В короткой записи знакомая добавляет: «Возьми кружку с жёлтой ручкой. Коробку оставь дома». Всё это умещается в телефон, но живёт в трёх разных местах. Палец уже проделал маленькое путешествие: чат, галерея, снова чат, кнопка воспроизведения. На столе стоит одна кружка, а сведения о ней разошлись по отдельным комнатам телефона.
Понять мультимодальность можно на этом же столе, без экскурсии по устройству вычислительного центра. У человека есть дело и разные материалы. У помощника должна быть возможность принять именно те виды данных, в которых содержится ответ.
Что делает мультимодальная нейросеть
В слове «мультимодальный» спрятаны разные способы представить информацию. Текст читают по словам, в изображении важны видимые детали, в звуке — то, что можно услышать. Эти типы данных называют модальностями. Для начала достаточно держать рядом три знакомых предмета: сообщение, снимок и запись.
Если модель принимает только текст, вы можете написать ей: «Кружка синяя, ручка жёлтая». Тогда она работает с вашим описанием. Когда фотография поступает в мультимодальную нейросеть вместе с вопросом, информация о ручке приходит уже из изображения. Вопрос помогает понять, на какую деталь смотреть.
Именно такую способность обрабатывать и объединять разные типы данных описывает IBM в объяснении мультимодального ИИ. Дело не сводится к перечню расширений файлов. Важно, какие сведения получает модель и как связывает их для ответа.
Понятие на схеме. Конкретная модель может поддерживать лишь часть показанных входов; здесь изображена связь разных данных с текстовым ответом.
При работе с кружкой вопрос «Какого цвета ручка?» относится к снимку. Вопрос «Что оставить дома?» — к записи. Соединив нужные сведения, можно получить короткий список для выхода из дома: когда идти, куда идти и что взять. Ради этого и приятно перестать переносить каждую мелочь между окнами вручную.
Что подать на вход, а что получить на выходе
Вход — материал, который вы даёте помощнику. Выход — то, что хотите получить от него. Эти две стороны полезно назвать по отдельности. Например: «Вот фотография. Назови цвет ручки одним предложением». Вход — изображение с текстовым вопросом, выход — текст.
У мультимодальной нейросети ответ совсем не обязан выглядеть как вход. По фотографии можно получить описание словами. По словесному описанию другая подходящая модель может создать рисунок. Во втором случае вы уже просите придумать изображение, и его проверка будет другой: соответствует ли оно вашему замыслу.
Для нашей встречи новый рисунок не нужен. Нужна точная заметка о существующих материалах. Поэтому во всех трёх попытках попросим ответ словами, а вход и проверку будем выбирать под вопрос.
| Что хочется узнать | Что дать на вход | Где сверить ответ |
|---|---|---|
| Когда и где встреча | Исходное сообщение | В строке с временем и местом |
| Какого цвета ручка кружки | Фотографию самой кружки | На видимой ручке в снимке |
| Что знакомая попросила оставить дома | Короткую аудиозапись | При повторном прослушивании нужной реплики |
Таблица показывает, какого материала пока не хватает. Если у вас только фото кружки, дату встречи придётся взять из сообщения. Цвет ручки, наоборот, проще показать, чем описывать несколькими предложениями.
Сначала один вопрос к тексту
Откройте привычный текстовый чат — для первой попытки подойдёт DeepSeek — и вставьте небольшое сообщение:
В субботу встречаемся в 12:00 у библиотеки. Принеси синюю кружку.
Выпиши только время и место встречи. Возьми их из сообщения; если какого-то сведения нет, так и скажи.
Сверка здесь короткая: время 12:00, место у библиотеки. Дата в календарном смысле не указана: «в субботу» нужно соотнести со своей перепиской. Вы проверяете ровно то, о чём спросили, а не просите угадать город и адрес библиотеки.
Для этого вопроса мультимодальная нейросеть не требуется: все нужные слова уже на странице. Это удобная первая проба. Вы увидели, как выбрать исходник, задать узкий вопрос и проверить ответ по строке. Дальше та же привычка перейдёт на фотографию и звук.
Теперь покажите ручку, затем дайте послушать просьбу
Если у вас уже есть доступ к Gemini, путь загрузки фото и аудио показан в раскрывающемся блоке ниже.
Возьмите собственный снимок предмета, которым готовы поделиться. Лучше, чтобы нужная деталь была видна целиком. Для нашего примера это фотография синей кружки с жёлтой ручкой. В сервисе, который поддерживает анализ изображений, прикрепите снимок к сообщению и спросите:
Посмотри на кружку на фотографии. Какого цвета её ручка? Назови только видимую деталь. Если ручка плохо видна, скажи, что нужно переснять.
Когда изображение рассматривает мультимодальная нейросеть, её описание всё равно полезно сверить глазами. В нашем примере ответ должен соответствовать жёлтой ручке, а не синему корпусу. Если она скрыта за корпусом кружки, поверните предмет и сделайте ещё один снимок. Переснимать нужно ради ручки: общий вид стола с тем же ракурсом её не покажет.
Затем возьмите короткую собственную аудиореплику — например, запишите своим голосом: «Возьми кружку с жёлтой ручкой. Коробку оставь дома». В сервисе с документированной поддержкой аудиофайлов прикрепите запись и попросите:
Запиши словами эту короткую реплику, сохранив предметы и действия. Затем отдельно скажи, что взять и что оставить дома. Если часть неразборчива, отметь её, не дописывай по догадке.
Сначала послушайте запись сами, затем сопоставьте с ответом. Важна разница между «взять» и «оставить»: одно неверное действие отправит коробку в дорогу вместо кружки. Вы придёте на чаепитие с отлично упакованным воздухом, а нужная вещь останется у двери. Поэтому здесь стоит проверить именно глаголы рядом с предметами. Если звук неразборчив, переслушайте нужное место или повторите свою реплику яснее. Одного красивого пересказа для проверки мало.
Каждый ответ возвращается к своему источнику. Цвет ручки проверяют по снимку, просьбу оставить коробку — по записи.
Где можно попробовать фото и аудио, если у вас уже есть доступ к Gemini
Google описывает загрузку изображений и аудио в справке приложений Gemini. Нужен вход в аккаунт. Доступность и лимиты зависят от аккаунта и функции; увеличенные лимиты предлагаются в отдельных тарифах.
В веб-приложении на компьютере введите запрос в нижнее текстовое поле, нажмите «Добавить файлы» → «Загрузить файлы», выберите поддерживаемый файл с устройства и отправьте сообщение. Для первой попытки берите один понятный снимок или одну короткую запись. После загрузки дождитесь ответа и выполните проверку выше.
Если файл не принимается, смотрите сообщение об ошибке и текущую справку по своему типу файла. Возможность прикрепить фотографию не означает, что тот же режим примет любую запись. Предложенный путь относится к приложению; устройство конкретной модели внутри сервиса по одной кнопке определить нельзя.
Можно попросить DeepSeek помочь разобраться с непонятным шагом: «У меня [устройство и сервис], хочу прикрепить собственное фото кружки. Сначала уточни версию, затем объясняй по одному действию: куда нажать и что должно появиться. Жди моего ответа. При ошибке сверь её с официальной справкой, если доступен поиск». Без поиска передайте помощнику нужный фрагмент справки. Текст ошибки предварительно очистите от личных сведений и кодов доступа.
Когда материалы помогают друг другу
По отдельности вы получили три небольших ответа. Теперь можно соединить материалы, если выбранный режим действительно поддерживает их вместе, и попросить собрать короткую заметку:
По сообщению выпиши время и место. По фото укажи цвет ручки кружки. По записи выпиши, что взять и что оставить. Для каждого пункта назови источник: сообщение, фото или запись. При расхождении покажи оба варианта и спроси меня, какой верен.
Так мультимодальная нейросеть получает работу, ради которой понадобились разные входы: связать сведения об одном деле. У каждого пункта остаётся понятное происхождение. При ошибке не приходится спорить со всей заметкой: можно открыть нужную строку или прослушать одну реплику. В нашем примере сообщение даёт встречу у библиотеки в 12:00, снимок — жёлтую ручку, запись — просьбу оставить коробку дома.
Если в сообщении сказано «синяя кружка», а на фото у неё жёлтая ручка, противоречия нет: речь идёт о разных частях предмета. Если же запись просит взять красную кружку, а снимок показывает синюю, это уже повод уточнить выбор. Вопрос знакомой может быть коротким: «На фото синяя с жёлтой ручкой, а в записи красная. Какую берём?» Дополнительный материал бывает полезен именно тем, что обнаруживает такой вопрос до выхода из дома.
Похожий разбор можно поручить мультимодальной нейросети и после прогулки: связать текстовый список мест, фотографию указателя и короткую мысль, произнесённую на ходу. Начните с одного предмета, чтобы при сверке не искать потерянную связь в большой папке.
Вопросы и ответы о разных входах
Кнопка загрузки файла означает, что передо мной мультимодальная нейросеть? Сама кнопка этого не показывает. Приложение может извлечь слова из документа и передать дальше только текст. Для выбора своего действия смотрите поддержку нужного вида данных в конкретном режиме: изображения, аудио или другого входа.
А голосовая кнопка в чате? Она может только преобразовывать вашу речь в набранные слова. Тогда модель получает текст, и по такой кнопке нельзя заключить, что она анализирует исходный звук. Работа с аудиозаписью должна быть отдельно описана в справке сервиса.
Если модель принимает фото, она умеет и рисовать? Это отдельная возможность выхода. Мультимодальная нейросеть может понимать изображение и отвечать словами; создание новых картинок выбирают и проверяют по другой функции. В нашей задаче описать существующую ручку достаточно.
Можно ли по фотографии узнать владельца кружки? Для этого нужен другой источник: подпись, сообщение хозяина или ваш собственный ответ. На снимке видны цвет и форма. Жёлтая ручка не превращается в паспорт владельца, даже если увеличить её до размеров дверной. Имя хозяина нужно спросить или прочитать в другом месте.
Схема границы конкретного вопроса: снимок помогает увидеть предмет, сведения о владельце берут из другого материала.
Зачем проверять, если данные уже соединены? Для мультимодальной нейросети соединение данных — возможность получить больше сведений, а для вас проверка остаётся привязанной к исходникам. Начните с трёх коротких вопросов из таблицы. Тогда легко увидеть, на каком именно материале возникла ошибка и что стоит показать яснее.
Когда захотите подробнее разобраться со сверкой ответов, пригодится проверка фактов вместе с ИИ. А практика для начала поможет выбрать следующую небольшую задачу со своими материалами.
Перед выходом у вас остаётся короткая заметка, а в руках — нужная кружка. Коробка спокойно ждёт дома: вы уже исключили её из состава делегации на чаепитие. Путешествие по чату, галерее и записи превратилось в понятный порядок: что показать, о чём спросить и с чем сравнить ответ.