Вадим чертит прямоугольную клумбу из двух соседних полос. Одна шириной 1, другая 2, общая длина 4. Площадь посчитать легко: сначала сложить ширины, затем умножить на длину. А если чуть расширить первую полосу, насколько изменится итог? Мы уже сделали половину пути к производной — задали вопрос о влиянии одного числа.
В главе Нитобэ спокойствие соседствует с неожиданной игривостью. Два полководца в погоне обмениваются стихотворными строками; один заканчивает строку другого, и преследователь опускает лук. Нам пригодится этот темп: у серьёзно звучащего слова можно задержаться и рассмотреть маленькое действие. Математический пример поместится рядом с чертежом. Название занимает почти целую строку, а нужных действий пока всего два. Термин уже явился в парадных доспехах, но умещается на полях тетради. Калькулятор лежит рядом с лопаткой и впервые за день выглядит более грозным инструментом, хотя ни одного земляного червя пока не потревожил.
Возьмите лист и калькулятор. Сначала посчитаем обычный результат. Затем пойдём по тем же операциям с другим вопросом: как каждая из них передаёт небольшое изменение дальше? Для этого хватит сложения и умножения.
Обратное распространение ошибки начинается с прямого прохода
Назовём три входных числа коротко: x=1, y=2, z=4. Сначала складываем первые два. Промежуточный результат назовём q. Затем умножаем его на z и получаем итог f.
q = x + y = 1 + 2 = 3
f = q × z = 3 × 4 = 12В рисунке клумбы q соответствует суммарной ширине, а f — площади. Дальше будем считать сами числа, чтобы обозначения не мешали следить за операциями.
Вычислительный граф показывает, что от чего зависит. Входы x и y ведут к сложению, его результат q — к умножению, туда же приходит z. Выход умножения —f. Этот расчёт от входов к результату называют прямым проходом.
По стрелкам вперёд передаются значения. На каждом этапе известно, что именно мы посчитали.
Сохраните промежуточную тройку и входную четвёрку рядом с умножением. Они ещё пригодятся. При обратном расчёте мы будем использовать значения, которые уже получены в прямом проходе.
Этот способ разложить выражение на небольшие операции показан в разделах Simple expressions и Compound expressions конспекта Stanford CS231n. Наши входы выбраны отдельно:1,2 и 4. Нам нужен прозрачный граф, в котором каждую связь можно проверить вручную.
Производная: что случится от небольшой прибавки
Слово «производная» отвечает на вопрос о чувствительности результата к изменению выбранного числа. Остальные входы в таком сравнении держим прежними.
Посмотрим сначала на одно умножение: f=q×z. Если q чуть увеличилось, а z осталось 4, то прибавка к q в результате умножится на 4. Поэтому производная f по q здесь равна 4.
Теперь оставим q равным 3 и изменим z. Прибавка к z умножится на 3. Производная f по z равна 3. У одной операции два входа, и влияние каждого определяется другим множителем.
Запись df/dq читается как «производная f по q». Это обозначение результата нашего вопроса о влиянии. Буквы в такой записи не нужно воспринимать как команду поделить уже известное f на q.
Пока получили две локальные связи:
df/dq = z = 4
df/dz = q = 3Не путайте ответ функции и производную. Итог f равен 12, а чувствительность к q равна 4. Мы можем поставить эти числа в разные рамки, чтобы двенадцать не выдавало себя за четвёрку, и подписать словами: «получили» и «влияние небольшой прибавки». Так они перестанут подменять друг друга в рассуждении.
Для сложения всё ещё проще. В q=x+y прибавка к x целиком прибавится к q. То же верно для y. Поэтому локальные производные q по обоим входам равны 1.
Как соединяются два участка пути
До входа x от результата f можно пройти через промежуточное q. Сначала нужно узнать влияние q на f — мы получили 4. Затем влияние x на q — оно равно 1. Эти локальные величины умножаются.
df/dx = (df/dq) × (dq/dx) = 4 × 1 = 4
df/dy = (df/dq) × (dq/dy) = 4 × 1 = 4
df/dz = 3Так работает цепное правило. Небольшая прибавка проходит через последовательность операций, и её масштабы по пути перемножаются. Для x и y мы прошли через сложение и умножение. Для z было достаточно последнего умножения.
Стрелки назад показывают производные. Исходные значения остаются подписаны отдельно.
Расчёт удобно начать с производной результата по самому себе: df/df=1. Небольшое изменение f меняет f на ту же величину. Эта единица задаёт старт обратному проходу, а затем операции передают дальше уже соответствующие производные.
Вернёмся к чертежу. Расширение первой полосы увеличивает общую ширину на столько же. Дополнительная ширина затем умножается на прежнюю длину 4. Поэтому мы и получили 4 для влияния x на итог. Граф выражает ту же связь короткими подписями.
Сложение в прямом проходе не означает, что в обратном надо сложить 4 и 1. У каждого шага свой вопрос. Прямо мы вычисляли q, обратно соединяем два последовательных влияния. Именно поэтому 4×1, а не 5.
Проверьте одну производную на калькуляторе
Сохраним y=2 и z=4. Вместо x=1 подставим x=1,001. Это маленькая прибавка 0,001 только к одному входу.
Получим новую сумму 3,001. Умножим её на 4 — итог станет 12,004. Разница с прежним 12 равна 0,004. Теперь разделим изменение результата на изменение входа:
(12,004 − 12) ÷ (1,001 − 1) = 0,004 ÷ 0,001 = 4
Менялся только x. Остальные значения сохранены, поэтому проверяется именно его влияние.
Совпало с обратным расчётом:4. В этом выражении зависимость от x при фиксированных y и z линейна, поэтому отношение получилось точным. Для более сложных гладких функций малая прибавка даёт численное приближение к производной; выбирать её размер приходится с учётом вычислений.
Можно так же проверить y:оставить x и z прежними, немного изменить только второй вход и сравнить результаты. Но сначала доведите одну проверку до конца. Если вы одновременно поменяли и x, и z, отношение уже не отвечает на наш прежний вопрос об одном входе.
| Что получили | Значение | Какой вопрос закрыли |
|---|---|---|
| q | 3 | Чему равна сумма x и y? |
| f | 12 | Чему равен итог? |
| df/dx | 4 | Как влияет небольшое изменение x? |
| df/dy | 4 | Как влияет небольшое изменение y? |
| df/dz | 3 | Как влияет небольшое изменение z? |
Где здесь обучение нейросети
В нашем примере f — результат арифметики, связанный с площадью. Мы ещё не задавали правильный ответ модели и функцию потерь. Граф нужен, чтобы увидеть сам способ вычислять производные составного выражения.
При обучении таким конечным выражением становится потеря: число, которое оценивает расхождение предсказания с нужным результатом. Вычисления сети ведут к ней, а обратный проход даёт производные потери по параметрам.
Затем оптимизатор использует эти производные, чтобы обновить параметры по выбранному правилу. Например, для градиентного спуска важен ещё и коэффициент шага. Значит, получение производной и новый вес — разные результаты последовательных действий.
В уроке Google об обратном распространении показано его место в обучении многослойных сетей. В длинных цепочках производные могут становиться слишком малыми или слишком большими; это уже вопрос устройства и настройки более сложного обучения.
Наши x, y и z — числа маленького графа. Мы не объявляли каждое из них обучаемым весом и не меняли их ради уменьшения потерь. Понимание их влияния показывает математический приём; в настоящей задаче отдельно выбирают, какие величины являются данными, а какие параметрами для настройки.
Если пока хочется яснее представить сам коэффициент внутри узла, пригодится разбор весов нейросети. Здесь же мы сосредоточились на том, как влияние проходит через две операции.
Пусть помощник объяснит один узел
Откройте DeepSeek и покажите наш расчёт вместе с местом, которое непонятно. Можно начать так:
Разбираю граф q=x+y, f=q×z при x=1, y=2, z=4. Прямой ответ 12 я понимаю. Объясни только переход к производной df/dx: почему сначала берём 4, потом умножаем на 1. Дай одно действие для самопроверки и дождись моего ответа. Не называй производную новым весом и не превращай пример в запуск большой модели.
Если трудность в самом понятии производной, попросите помощника начать с изменения x на 0,001. Когда увидите разницу 0,004, вернитесь к двум локальным связям графа. Так объяснение будет опираться на уже понятное действие.
Удобная самопроверка — закрыть подписи производных и восстановить их, глядя на входы прямого прохода. Для умножения понадобятся значения другого множителя. Для сложения — локальные единицы. Потом соедините нужный путь цепным правилом.
Если ответ помощника расходится с вашим, покажите конкретную строку. Например: «Ты написал 4+1, а у меня здесь последовательный путь через q. Проверь, какое правило соединяет производные». Помощник сможет разобрать место ошибки, сохраняя остальные условия задачи.
После беседы сохраните свой лист: исходные входы, прямые значения, производные и одну численную проверку. Это законченный небольшой результат. При следующем знакомстве с большим графом у вас будет понятный образец вычислений.
Вопросы и ответы
Производная — это уже новый вес?
Нет. Обратный проход даёт производные потери по параметрам. Оптимизатор затем использует их, чтобы обновить параметры по выбранному правилу. Для градиентного спуска нужен ещё и коэффициент шага.
Почему конечная разность получилась точно равной четырём?
При фиксированных y и z зависимость нашего выражения от x линейна. Для более сложной гладкой функции малая прибавка даст численное приближение к производной.
На чертеже остались два прохода
Обратное распространение ошибки удобнее понимать через вопрос о влиянии: как изменение выбранного параметра отразится на конечной потере? Мы рассмотрели этот способ на двух операциях, получили 4, 4 и 3 и проверили одну производную отдельным вычислением.
В клубе «Первопроходцы» можно осваивать ИИ на своих материалах, задавать вопросы и дорабатывать проектные работы; для отдельного проекта можно выбрать личную проверку Никиты Малова. Для первого знакомства есть и бесплатная практика.
Вадим может вернуться к плану клумбы. Прямоугольник всё ещё составлен из двух полос, а рядом теперь видно, откуда взялась чувствительность к каждой стороне. Стрелки останутся в тетради; цветам достаточно места, которое он выберет по этому чертежу. Доспехи с термина тоже можно снять: под ними обнаружился понятный расчёт.