Гулливер видит аккуратные домики, виноградники и луга. Красивый пейзаж уже перед ним, а чьи это владения, сообщает его спутник Мьюноди. Для одного знания хватило глаз, для другого понадобился разговор. В описании картинки эти два шага легко слипаются: рядом с видимым предметом внезапно появляется целая биография.
Красная кружка на балконном столике способна получить от помощника завидную биографию. В ней окажется утренний кофе, рядом — дневник хозяина, а сам хозяин только что закончил трудную работу. Между тем на картинке есть кружка, растение и закрытый блокнот. Кофе в резюме кружка себе не записывала. Возможно, нам вообще нужна лишь рамка вокруг неё.
Разберём четыре просьбы к одному изображению. Это поможет выбирать инструменты по своему делу: рассортировать снимки, найти вещь в кадре, написать понятное описание или получить новую красивую версию.
Компьютерное зрение: начнём с одного кадра
Для своей пробы возьмите снимок, содержание которого хорошо знаете. Подойдёт фотография стола, полки или балкона без мелких надписей. В нашем примере исходная иллюстрация выглядит так:
Один исходный кадр для четырёх разных задач. Все дальнейшие выводы можно сравнить именно с ним.
Для первого знакомства используем чат Gemini, который принимает изображения. Понадобится вход в доступный вам аккаунт. На компьютере откройте gemini.google.com, введите вопрос, нажмите Добавить файлы → Загрузить файлы, выберите свой снимок и отправьте сообщение. Такой порядок дан в официальной справке о загрузке. Если достигнут лимит загрузки, ориентируйтесь на сообщение аккаунта; для этой пробы достаточно одного файла.
Начните с короткой просьбы: «Перечисли три самых заметных предмета на изображении. Пока ничего не меняй». Сравните ответ с кадром. Вы получили первый маленький результат: несколько слов, которые можно проверить глазами. Дальше будем менять задачу, сохраняя само изображение.
Если меню на вашем устройстве отличается, попросите текстового помощника, например DeepSeek, провести по одному действию: «Я хочу загрузить фото в Gemini. У меня такое устройство и браузер, вижу такие пункты. Уточни необходимое, затем скажи, что открыть, что нажать и что должно появиться. Жди моего ответа; шаги для версии сверяй с официальной справкой». Сам снимок для помощи с меню пересылать не нужно.
Назвать класс: к какой группе отнести картинку
Сначала попросим компьютерное зрение помочь с сортировкой. Например, у вас смешались кадры из комнаты, с балкона и из сада. Нужна короткая метка, по которой снимок попадёт в подходящую подборку.
Выбери наиболее подходящую метку сцены из списка: «комната», «балкон», «сад». Дай одну метку и назови видимые признаки, на которые опираешься. Если их недостаточно для выбора, скажи об этом.
В нашем кадре есть перила, открытое пространство и столик у стены — по ним можно обсуждать метку «балкон». При этом сама метка ещё не перечисляет все вещи и не указывает, где стоит кружка. Это отдельная форма результата: название категории.
Такую задачу называют классификацией: картинке выдают ярлык для нужной вам подборки. В вводном уроке Google о машинном обучении она отличается от создания нового содержимого. А в перечне функций Cloud Vision обобщённые метки выделены отдельно от поиска границ объектов.
Заранее выбранные категории определяют вашу подборку. Метки «уют», «интерьер» и «растения» могли бы подойти тому же кадру, но сортировали бы его по разным признакам. Для альбома мест выберите места, для каталога вещей — типы предметов. Тогда метку можно проверить по тому правилу, ради которого вы её просили.
Для семейного архива это может быть разделение на места съёмки; для фотографий собственных вещей — по типам предметов. Компьютерное зрение в таком случае помогает разложить материал по группам. Правильность метки всё равно удобно проверить на нескольких знакомых кадрах, прежде чем поручать ей весь архив.
Найти кружку: где начинается и заканчивается предмет
Теперь представьте другую задачу: поместить подпись рядом с кружкой или проверить, не обрежет ли её будущий кадр. Одного слова «кружка» здесь мало. Нужна область изображения, которая её охватывает.
Найди красную кружку. Укажи примерную рамку: верхний левый и нижний правый углы, в долях ширины и высоты кадра от 0 до 1. Начало координат — левый верхний угол. Учитывай ручку. Если не можешь уверенно оценить границы, так и скажи.
Так компьютерное зрение переходит от названия предмета к его положению. В специализированной задаче локализации выходом служат метка и координаты рамки. Cloud Vision, например, возвращает нормализованные вершины границ: они задают доли размера кадра. Для понимания нам важна сама разница выходов; подключать API к этой пробе не требуется.
В обычном чате числовая рамка может оказаться приблизительной. Сверьте её с картинкой: охватывает ли она всю кружку вместе с ручкой, не захватила ли растение, не пропустила ли край? Если нужны точные координаты для обработки многих изображений, выбирайте инструмент локализации и проверяйте его результат наложением рамок. Текстовый ответ «слева» не заменит такой выход.
Объясняющая рамка на исходной иллюстрации. Она показывает нужный вид результата для поиска объекта в кадре.
Рамка обозначила место кружки. Из самой картинки она ничего не вырезала: предмет по-прежнему стоит на столе, ручка на месте. Дальше можно попросить обрезку, разместить рядом подпись или перейти к редактированию. Вы видите, какую часть дела уже сделали и какой результат ещё нужен.
Описать видимое: связать признаки словами
Для подписи к картинке или объяснения человеку потребуется связный текст. Тут компьютерное зрение помогает заметить предметы, а языковая модель собирает из наблюдений описание. Читайте его как набор утверждений, каждое из которых можно сверить с исходником.
Опиши только наблюдаемое на этом изображении в трёх предложениях. Укажи расположение кружки, растения и блокнота. Не определяй напиток, владельца вещей и события за пределами кадра. Если предмет виден неоднозначно, обозначь это коротко.
В нашем случае можно увидеть красную кружку слева, зелёное растение в горшке справа и закрытый светлый блокнот ближе к переднему краю стола. Видны перила, деревья и небо. Содержание блокнота закрыто обложкой, а вид напитка по тёмной внутренней поверхности кружки не определяется.
Так компьютерное зрение даёт материал для описания, но состав задачи задаёте вы. Для поиска вещи полезно положение, для подписи — несколько заметных признаков, для творческого текста можно отдельно попросить атмосферу. Пусть эти результаты остаются различимыми.
Если в ответе хозяин уже допивает утренний кофе после работы, спросите: «Что на кадре указывает на кофе и время суток?» Верните описание к подтверждаемым деталям. У кружки и без того достаточно занятий: стоять слева и сохранять ручку. Работать свидетелем всей хозяйской жизни она не обязана.
Вопросам точного описания посвящён отдельный разбор фотографии с ИИ. Он пригодится, если из четырёх задач вам нужна именно подпись или описание своего снимка.
Создать новую картинку: уже другая работа
Теперь попросим сделать из дневного балкона вечерний. Для этой части нужна доступная в аккаунте функция редактирования изображений; по справке Gemini она позволяет загрузить свой кадр и задать изменение. Условия доступа зависят от аккаунта и места использования; редактирование доступно совершеннолетним.
Создай новую версию этого изображения с вечерним светом. Сохрани стол, красную кружку, растение и блокнот на прежних местах. Добавь небольшой тёплый светильник на стене. Верни изображение, а не текстовое описание.
Результат теперь — новый файл. Раньше мы спрашивали, что видно на исходнике, теперь предлагаем изменить освещение и добавить предмет. Компьютерное зрение может участвовать в разборе исходной сцены, а генеративная модель создаёт её новую версию.
Вечерняя переработка исходной иллюстрации. Добавленный светильник появился в новой версии, в исходном кадре его не было.
Поставьте файлы рядом. Проверьте ручку кружки, блокнот и положение горшка: вы просили сохранить эти предметы. Если свет стал красивым, а блокнот исчез, одна часть поручения выполнена, другая потерялась. Попросите вернуть именно блокнот, оставив удачный свет. Вместо общей оценки «сделай лучше» у вас появилась конкретная поправка к новому файлу.
У компьютерного зрения и генерации здесь разные критерии успеха. В первой задаче рамка должна совпасть с существующим предметом. Во второй новый предмет может появиться по вашей просьбе. Нарисованный светильник не сообщает, что такой светильник раньше находился за границей фотографии.
Одна картинка, четыре формы выхода
| Ваша задача | Какой результат нужен | Что проверить |
|---|---|---|
| Отнести сцену к группе | Метка из заданного списка | Подходят ли видимые признаки категории |
| Найти кружку | Область или координаты границ | Внутри вся кружка с ручкой, другие предметы снаружи |
| Рассказать о видимом | Несколько предложений | Каждое существенное утверждение подтверждается кадром |
| Сделать вечернюю версию | Новый файл изображения | Выполнены ли изменения и сохранены ли важные предметы |
Когда компьютерное зрение кажется загадочным, сначала посмотрите на эту правую часть задачи. Что вы ждёте: слово, координаты, текст или картинку? Так проще заметить и недоразумение. Помощник может подробно описать кружку, хотя вы собирались вырезать её для открытки. Текст займёт полэкрана, но границ для обрезки в нём всё ещё не будет. Верните просьбу к нужному выходу — области предмета. Так легче понять, что менять в задаче или в выборе инструмента.
Попробуйте на своём кадре сохранить четыре запроса и рядом — четыре полученных результата. Если какая-то функция в выбранном чате недоступна, отметьте именно её. Умение анализировать фото и умение редактировать его в интерфейсе могут предоставляться раздельно; качество одного ответа не описывает все возможности инструмента.
Ещё два вопроса, которые часто прячутся за словом «видит»
С надписями компьютерное зрение работает через распознавание текста — OCR. Здесь выходом становятся символы, слова и их расположение, а не общий пересказ сцены. Если на снимке важна строка, попросите переписать именно её, затем сравните буквы. Мелкий размытый текст лучше снять крупнее: дополнительный рассказ о картинке не восстановит надёжно исчезнувшие детали.
Для подсчёта вещей сначала уточните, какие именно предметы считать и как относиться к частично закрытым. Считайте сами предметы: ручка, частично закрытая соседней вещью, может потребовать отдельного взгляда на весь объект. Для большой подборки пригодится инструмент обнаружения экземпляров и контроль на знакомых изображениях.
Эти различия помогают ставить повседневные задачи точнее: прочитать ярлык, найти велосипед на семейном кадре, собрать подборку балконов или сделать открытку по собственному снимку. Компьютерное зрение становится полезным, когда вы знаете, какой ответ хотите проверить.
Частые вопросы
Назвать предмет и найти его — одно и то же?
Название отвечает на вопрос «что», положение — «где». Для поиска и дальнейшей обработки нужны границы. Список вещей в кадре их не содержит автоматически.
Если модель уверенно называет напиток, можно ей верить?
Посмотрите, есть ли в кадре признак, по которому напиток действительно определяется. У непрозрачной кружки таких сведений может не быть. Оставьте в описании видимый предмет и его признаки.
Почему хорошее описание не гарантирует удачную перерисовку?
Это разные задачи и разные выходы. Сначала текст сверяют с исходником, затем новый файл — с условиями изменения. Ошибку ручки, исчезнувший блокнот и неверную метку проверяют каждый в своём месте.
Нужно ли новичку подключать Cloud Vision API?
Для этого знакомства достаточно чата с анализом изображений и одного своего кадра. Специализированный инструмент понадобится, когда вы выберете конкретную задачу, например точные координаты и обработку подборки. Сейчас полезнее научиться различать результаты.
Сохраните четыре результата рядом с исходником и назовите, какую задачу решает каждый. Этого хватит, чтобы выбрать следующий шаг для своей картинки. На балконе останутся кружка, растение и блокнот. Биографа, который уже написал им мемуары, можно отпустить до отдельного творческого поручения.