На столе два тканевых флажка и четыре прищепки: по две на каждый, чтобы уголки не сворачивались. Петя готовит маленькую гирлянду. Для человека расчёт пока помещается в одном взгляде. А давайте поручим его простейшему вычислительному узлу, который ещё не настроен и выдаёт только две прищепки. Вычислитель уже оставил половину гирлянды болтаться. Петя придерживает угол локтем: на детском празднике появился сотрудник, которого не было в плане. Уйти за чаем он сможет только вместе со всей декорацией. Откуда внутри возьмётся исправление?
В приведённой сцене Свифта Гулливер надел перчатки, а разумный конь решил, что с его передними конечностями что-то случилось. Когда путешественник снял перчатки, появилось наблюдение, которого прежде не хватало. Нас тоже интересует переход от первого впечатления к поправке. Только у математической модели он будет выражен числами: посчитаем ответ, промах и изменение параметра.
Всё необходимое поместится на листе. Можно открыть калькулятор на телефоне и повторять действия по очереди. Устанавливать среду разработки и запускать настоящую сеть для этого примера не понадобится.
С чего начинается обучение нейросети
Для обучения нейросети сначала выберем простой вход — число флажков. Есть вес: коэффициент, на который умножается вход. Есть смещение, добавка после умножения. Ответ считается так: вход умножить на вес и прибавить смещение.
Возьмём вход 2, вес 1 и смещение 0. Получается 2. Правильный ответ для выбранного примера —4. Пока модель недооценила количество. Мы задали такой маленький мир специально, чтобы проследить каждое изменение, не пряча его за большой таблицей.
Это линейный вычислительный узел. Он нужен как открытый участок механизма: здесь видно, откуда берётся следующий вес. В большой сети подобных вычислений много, они связаны между собой, а нелинейные функции позволяют описывать более сложные зависимости. Устройство узлов и слоёв показано в уроке Google.
Для дальнейшего шага договоримся: смещение всё время остаётся нулём. Меняем только вес. Так можно отдельно увидеть его вклад, не смешивая два одновременных исправления.
Запишите исходные условия рядом с расчётом. Если позже вес стал другим, а правильный ответ остался прежним, мы сравниваем одну и ту же задачу до и после обновления. Подмена самого примера дала бы уже другое сравнение.
Первое действие: получить ответ и измерить промах
Модель считает: два умножить на один, прибавить ноль — получится два. Такой расчёт от входа к выходу называют прямым проходом. Параметры пока не меняются: мы только применяем их.
Теперь сравним результат с правильным ответом. Разность равна минус двум: получили 2 вместо 4. Для оценки возьмём квадрат этой разности. Минус два в квадрате — четыре.
Это выбранная функция потерь: правило, которое превращает расхождение в одно число. Здесь она называется квадратом ошибки. В других задачах правило может быть другим; например, оценивать выбор категории надо с учётом того, как устроен ответ модели.
Не перепутайте два значения 4. Одно означает правильное количество прищепок, другое получилось после возведения разности в квадрат. Они совпали случайно. Если бы модель выдала 3, при прежнем правильном ответе 4 квадрат ошибки был бы 1.
Обучение нейросети использует такую оценку, чтобы менять параметры. Но пока у нас только известен размер промаха. Фраза «ошибка большая» ещё не сообщает, куда двигать вес. К увеличению или уменьшению? На сколько? Следующий расчёт отвечает именно на это.
Как ошибка указывает направление
Если производная пока незнакома, ниже есть готовый запрос к ИИ для разбора по одному действию. Здесь начнём с видимого изменения: что произойдёт с ответом, если вес чуть увеличить?
Посмотрим на вес чуть внимательнее. Если он равен 1, ответ 2. Если немного поднять его, ответ тоже поднимется и приблизится к 4. Значит, около нынешнего значения увеличение веса уменьшает выбранную потерю.
При обучении нейросети эту локальную связь измеряет производная потери по весу. Она показывает, как меняется потеря при небольшом изменении параметра. Для нашего квадрата ошибки правило короткое: два умножить на разность ответа и цели, затем умножить на вход.
Подставим числа:
Ответ: 2 × 1 + 0 = 2
Потеря: (2 − 4)² = 4
Производная по весу: 2 × (2 − 4) × 2 = −8Минус восемь — значение производной в этой точке. Оно относится к нынешнему весу и выбранному примеру. При другом весе или входе число изменится.
Знак здесь важнее ощущения «минус — значит всё плохо». Отрицательная производная говорит: небольшой сдвиг веса вверх ведёт к уменьшению потери. Правило градиентного спуска пойдёт в противоположную сторону от производной. Вычитание отрицательного числа как раз увеличит вес.
Производная не равна самой ошибке и не назначает готовый новый вес. У нас потеря 4, производная−8, а вес пока 1. Каждый из этих числовых предметов выполняет свою работу. Когда они разложены по отдельным строкам, длинная формула перестаёт выглядеть как секретный пропуск в вычислительный центр. Перед нами всего три подписанные строки, и у каждой можно проверить арифметику.
Один шаг: вес меняется с 1 до 1,8
Нужно ещё выбрать размер шага. В нашем примере коэффициент шага равен 0,1. Его обычно называют скоростью обучения: он определяет, какую долю рассчитанного направления мы применим.
Теперь вычтем из старого веса произведение шага и производной:
Новый вес = 1 − 0,1 × (−8) = 1,8Смещение остаётся 0. Получим новый ответ: два умножить на 1,8 — это 3,6. Он ближе к 4. Новая разность равна−0,4, её квадрат —0,16.
Мы довели обучение нейросети в его простейшем фрагменте до наблюдаемого изменения. Заново вычислили результат с новым параметром и сравнили с той же целью. Похвала в чате для этой проверки не нужна: две короткие арифметические строки показывают, что произошло.
| Что сравниваем | До шага | После шага |
|---|---|---|
| Вход | 2 | 2 |
| Вес | 1 | 1,8 |
| Смещение | 0 | 0 |
| Ответ | 2 | 3,6 |
| Квадрат ошибки | 4 | 0,16 |
Ответ 3,6 здесь допустим, хотя настоящую прищепку мы не разрезаем. Мы рассматриваем числовую модель и её приближение к цели. Правило округления для практической закупки было бы отдельным действием после расчёта; сейчас оно только спрятало бы часть изменения.
Направление шага и его размер работают вместе. Слишком большой шаг может перескочить подходящую область и увеличить потерю. Поправка должна оцениваться по новому ответу: одного намерения исправиться для этого мало. Поэтому число 0,1 принадлежит нашему примеру, а не всем сетям. Сам принцип обновления разобран в объяснении градиентного спуска Google.
Где в большой сети обратный путь
Теперь соединим увиденное в цикл. Сначала по текущим параметрам получаем предсказание. Затем оцениваем его выбранной функцией потерь. После этого вычисляем производные по параметрам и обновляем их. С новыми значениями считаем следующий ответ.
Обучение нейросети повторяет этот путь на примерах или их группах. В многослойной сети ответ зависит от целой цепочки вычислений. Обратное распространение позволяет пройти эту цепочку в обратном порядке и получить нужные производные. Правило обновления, например градиентный спуск, использует их для изменения весов.
Полезно различать эти два действия. Обратный проход вычисляет, как параметры повлияли на потерю. Обновление меняет их с учётом выбранного шага. В библиотеке эти операции могут выполняться подряд, но смысл у каждой свой. Страница Google об обратном распространении связывает его с обучением многослойных сетей.
У нашего узла цепочка короткая, поэтому всё удалось выписать вручную. В большой модели вычисления выполняет программа. От человека остаются решения о данных, устройстве модели, функции потерь, режиме обучения и том, как оценивать получившийся результат.
Один шаг ещё не равен эпохе. Эпохой обычно называют проход по всему обучающему набору; внутри него может быть много обновлений по группам примеров. Поэтому сообщения «прошло десять шагов» и «прошло десять эпох» описывают разный объём работы. Для понимания сегодняшнего расчёта достаточно одного обновления.
Пусть ИИ объяснит место, где вы споткнулись
Если знак производной или вычитание минуса всё ещё мешает, откройте новый диалог в DeepSeek и покажите ему именно наш маленький расчёт. Начните с того места, которое хочется понять:
Разбираюсь, как проходит обучение нейросети. У меня один линейный узел: вход 2, цель 4, вес 1, смещение 0. Потеря — квадрат ошибки, меняем только вес, шаг 0,1. Объясни сначала, почему производная равна−8. Дай одно понятное действие для проверки на калькуляторе и дождись моего ответа. Затем разберём новый вес. Если я ошибусь, покажи строку, в которой это произошло.
Первый полезный ответ должен связать три вещи: нынешний ответ 2, недостачу до 4 и влияние веса на результат. Если помощник сразу показывает большой код, попросите вернуться к этим числам. Нам нужен разбор понятного узла, который можно проверить самостоятельно.
Для тренировки можно скрыть нижнюю половину расчёта и восстановить её самому. Зная производную−8 и шаг 0,1, получите вес 1,8. Потом пересчитайте ответ и потерю. Если одно число не сошлось, исправляйте конкретную строку, сохраняя остальные условия.
Обучение нейросети при этом происходит в нашем разобранном примере. Сам разговор с помощником показывает другой процесс: он объясняет материал с учётом написанного вами. Из того, что ответ в диалоге стал понятнее, не следует, что вы только что обновили основные веса сервиса. Если хочется подробнее разобраться с самим параметром, пригодится объяснение весов нейросети.
Вопросы и ответы об обучении и проверке
Уменьшение потери гарантирует результат на новом примере?
На выбранном входе потеря уменьшилась с 4 до 0,16. Это точный итог одного шага. Теперь хочется узнать, пригодится ли изменённый вес за пределами знакомого примера.
Для нашей гирлянды можно отдельно взять три флажка. Если договорённость по-прежнему «две прищепки на каждый», правильный ответ будет 6. С весом 1,8 узел выдаст 5,4. Мы применили параметр к другому входу и увидели оставшийся промах. Во время этой проверки вес не меняли.
Чем обучение отличается от проверки?
Обучение нейросети и оценка на новых данных поэтому разнесены. Набор, на котором меняют параметры, помогает их подобрать. Отдельные примеры показывают, как модель справляется с материалом, который не использовала в этих обновлениях. Снижение учебной ошибки само по себе этого ответа не даёт.
В реальной задаче фотографии, тексты или записи могут отличаться гораздо сильнее, чем два флажка от трёх. Проверку выбирают под желаемое применение. Наш маленький расчёт раскрывает механизм обновления, а решение о пригодности модели требует собственных новых примеров.
Четыре глагола вместо тумана
Попробуйте рассказать близкому, что произошло: модель посчитала, мы сравнили, затем вычислили направление и изменили вес. После этого проверили ответ снова. Если можете показать каждое действие на листе, основной цикл уже обрёл форму.
Обучение нейросети становится понятнее, когда за словом «учится» виден конкретный изменяемый параметр. Из 1 получился вес 1,8; ответ приблизился к цели. Дальше можно интересоваться слоями, наборами примеров или проверкой переноса — у каждого вопроса теперь есть своё место.
В клубе «Первопроходцы» можно осваивать ИИ на своих материалах, задавать вопросы и дорабатывать проектные работы с личной проверкой Никиты Малова. Познакомиться с подходом поможет и бесплатная практика.
А гирлянду всё-таки закрепим четырьмя целыми прищепками. Петин локоть можно уволить с праздничной службы. На листе останется 3,6 — след честно разобранного промежуточного шага. Теперь видно и то, что модель уже изменила, и то, что ей ещё предстоит приблизить к цели.