Лодка в главе Дефо оказалась на мели: моряки гуляли по острову, пока вода отступала. Теперь её тянут к морю, но мокрый рыхлый песок держит крепче, чем хотелось бы. Мышцы заняты, расстояние до воды прежнее.
Положим рядом с книгой лист бумаги и превратим его в маленькую карту. В точке «3» поставим флажок, в нуле — бумажный кораблик. Добраться до флажка можно короткими перемещениями. А можно раздвинуть ножки циркуля так, что одним движением кораблик окажется у чашки на противоположном краю стола. Капитан бодр, экипаж доволен, остров остался где-то позади.
Для модели при обучении тоже важно, куда привела поправка. На нашей карте это видно без большого компьютера: достаточно нескольких чисел. Мы посчитаем размер шага и проверим, уменьшилась ли ошибка после него.
Learning rate: сначала одно небольшое движение
Пусть модель в нашем примере хранит одно изменяемое число. Начальное значение — 0, желаемое — 3. Назовём это число параметром и обозначим буквой w. Пока это вся наша модель, помещающаяся на полях тетради.
Чтобы сравнивать результаты, выберем правило ошибки: расстояние до тройки возведём в квадрат. В нуле расстояние равно трём, квадрат — девяти. В самой тройке ошибка станет нулевой.
Для начала возьмём небольшой коэффициент шага: 0,1. В этой задаче первое обновление приведёт из нуля в 0,6. До тройки ещё далеко, но мы стали ближе; ошибка уменьшилась с 9 до 5,76. Пока важно увидеть направление и результат: кораблик ещё в пути, зато до флажка теперь меньше расстояние. Затем разберём вычисление.
На шкале видно первое приближение. Коэффициент 0,1 здесь умножает подсказку о направлении, поэтому само изменение получилось равным 0,6.
Уже можно ответить на главный вопрос: коэффициент шага влияет на величину поправки. Это не обещание, что модель закончит обучение за определённое время. Более крупное перемещение ещё нужно оценить по тому, куда оно привело.
Посмотрим, что будет при увеличении
Теперь трижды начнём с одного и того же нуля, меняя только коэффициент. В одном варианте оставим 0,1, в другом поставим 1, в третьем — 2. Исходная подсказка о направлении во всех случаях одинакова.
Каждая строка начинается заново из нуля. Это сравнение трёх вариантов, а не три последовательных шага одного пути.
Вторая строка перескочила через цель и оказалась в шестёрке. Расстояние до тройки опять равно трём: ошибка осталась 9. Третья отправила параметр в 12. Теперь до тройки девять единиц, а квадрат расстояния — 81. По сравнению со стартом стало хуже.
Первый вариант сделал меньшее движение и улучшил результат. Второй прошёл больше и вернулся к прежней величине ошибки с другой стороны. Третий проявил такую решительность, что промах стал крупнее. Если мерить успех пройденными единицами, победит третий. Если расстоянием до цели — первый. Прежде чем радоваться большому шагу, полезно выбрать верную мерку.
Это расчёт на специально выбранном правиле ошибки. Нейросеть мы сейчас не обучаем. У примера есть прозрачное преимущество: каждый результат легко пересчитать и увидеть, как он связан с исходными условиями.
Если хотите проверить числа вручную
Открыть формулу и расчёт следующих шагов
Откуда берётся подсказка о направлении
Запишем выбранную ошибку коротко:
L(w) = (w − 3)²L здесь означает величину ошибки, которую при обучении часто называют loss. Она зависит от текущего значения w. Например, подставьте вместо буквы ноль: получится (0 − 3)² = 9. Если подставить шестёрку, будет (6 − 3)² = 9. Одинаковая ошибка соответствует двум разным точкам по сторонам от цели.
Теперь нужна подсказка, в какую сторону менять параметр. Её даёт производная. В этой функции она равна 2(w − 3). Это локальная чувствительность ошибки: как ошибка начинает изменяться при малом движении параметра вправо. Если производная отрицательна, движение вправо уменьшает ошибку; если положительна, уменьшать её нужно движением влево.
В нуле получаем 2 × (0 − 3) = −6. В одномерном примере эту величину можно называть градиентом: у нас всего одно направление изменения. Она сообщает, куда наклонён график ошибки в текущей точке.
Коэффициент шага обозначим греческой буквой α, читается «альфа». Правило обновления выглядит так:
новое w = прежнее w − α × градиентМы вычитаем градиент, чтобы двигаться в сторону уменьшения ошибки при достаточно малом шаге. Со знаком здесь легко запутаться: если градиент отрицательный, вычитается отрицательное число. Параметр увеличится. В нашем нуле это как раз нужное направление — к тройке справа.
Такая роль коэффициента описана в уроке Google о гиперпараметрах: он масштабирует изменение при градиентном спуске. Лучшее значение зависит от задачи. Наши числа выбраны для этой функции и служат разбору одного понятного механизма.
Сверим первый шаг полностью
Все три варианта используют одну формулу и один исходный градиент −6. Различается только множитель перед ним.
| Коэффициент α | Вычисление нового w | Новое w | Ошибка L(w) |
|---|---|---|---|
| 0,1 | 0 − 0,1 × (−6) | 0,6 | (0,6 − 3)² = 5,76 |
| 1 | 0 − 1 × (−6) | 6 | (6 − 3)² = 9 |
| 2 | 0 − 2 × (−6) | 12 | (12 − 3)² = 81 |
Сначала посмотрите на направление: во всех трёх случаях вправо, потому что вычитается отрицательная величина. Затем на расстояние до цели. Одинаковое направление оказалось совместимо и с улучшением, и с прежней ошибкой, и с ухудшением.
Такое различие полезно запомнить, когда видите график обучения. Параметры могут активно меняться, а ошибка — стоять на месте или расти. Если на нашей карте отметить только два конца пути, получится тот же промах с другой стороны. Поэтому после обновления мы заново считаем ошибку: проверяем результат по тому правилу, которое выбрали в начале.
Если арифметика пока кажется отдельным лесом, начните с первой строки. Возьмите обычный калькулятор и найдите 0,1 × 6. Получится 0,6. Затем найдите расстояние до тройки: 3 − 0,6 = 2,4. Умножьте 2,4 само на себя — получите 5,76. Вся первая строка уже проверена.
Почему следующий шаг может вернуть нас назад
Для коэффициента 1 после первого обновления параметр равен 6. В этой точке градиент уже другой:
2 × (6 − 3) = 6
новое w = 6 − 1 × 6 = 0Получилась последовательность 0 → 6 → 0. Если продолжать с тем же правилом и тем же коэффициентом, будем ходить туда и обратно. Каждый раз пересекаем тройку, но ни разу на ней не остаёмся. У флажка уже можно открыть киоск и продавать экипажу пирожки на каждом пролёте. Маршрут оживлённый, остановки нет. Величина ошибки на концах этого пути равна девяти.
Два обновления при α = 1 на нашей функции. Стрелки возвращают к исходной точке, ошибка не уменьшилась.
Маленький коэффициент 0,1 даст другую вторую строку. Из значения 0,6 градиент равен −4,8. Следующее значение — 1,08, а ошибка — 3,6864. Мы снова приблизились. Коэффициент сохранился прежним, но сама поправка стала меньше: изменился градиент.
А у коэффициента 2 второй шаг уводит из 12 в −24, с ошибкой 729. Бумажной карте уже нужен соседний стол. Для объяснения роста этих двух шагов достаточно: исправлять мы будем размах обновления, а не размеры комнаты.
Попросите ИИ пройти одну строку вместе с вами
В доступном DeepSeek удобно разбирать непонятный знак или вычисление. У помощника будет вся задача, поэтому он сможет проверять конкретный шаг вместо длинной лекции обо всём обучении.
Помоги понять размер шага в таком примере:
L(w) = (w − 3)², градиент = 2(w − 3).
Начальное w = 0, коэффициент α = 0,1.
Правило: новое w = прежнее w − α × градиент.
Покажи только первое обновление.
Объясни отдельно, почему при отрицательном градиенте w увеличится.
Потом задай мне один вопрос для проверки понимания и дождись ответа.
Не запускай обучение и не добавляй другие алгоритмы.
Контрольные значения первого шага: w = 0,6, L = 5,76.Полезный ответ поможет вам самостоятельно получить 0,6, а затем объяснить, почему ошибка стала меньше. Если помощник выдал целый учебник, попросите оставить одну строку и показать, где именно вычитается отрицательное число.
После первой строки предложите ему проверить ваш расчёт для коэффициента 1. Можно написать так: «У меня получилось 6, но ошибка осталась 9. Объясни по расстоянию до тройки». Затем попробуйте сами вычислить второй шаг и сравните с 0. Если получилась другая цифра, покажите помощнику строку целиком: он сможет найти место, где поменялся знак. Один исправленный расчёт сделает понятнее целый график.
Сохраните таблицу рядом с формулой. Она станет маленькой опорой при следующем знакомстве с графиками обучения: вы знаете пример, где уменьшение, колебание и рост можно увидеть своими глазами и проверить руками.
Чем шаг отличается от эпохи и batch
Здесь менялось значение одного параметра. Размер пакета, или batch size, отвечает на другой вопрос: сколько примеров используют перед одним обновлением. Эпоха — проход по всем обучающим примерам. Эти настройки описывают разные стороны процесса.
Число эпох сообщает, сколько раз прошли подборку, но не говорит, какой коэффициент использовали. Размер пакета тоже не заменяет его значения. Фактическая поправка при этом зависит ещё и от градиента: даже с постоянным множителем она может становиться меньше, как в наших шагах из 0 и из 0,6.
Если нужно разобраться именно с проходами и пакетами, переходите к объяснению эпохи, batch и шага обучения. Наш лист бумаги отвечает на более узкий вопрос: насколько изменить параметр после того, как подсказка о направлении уже получена.
В реальном обучении параметров много, а алгоритмы могут менять величину обновлений сложнее. Поэтому график нашей функции полезен как первый образ. Настройку конкретной модели выбирают по её задаче и процедуре обучения; переносить туда число 0,1 только потому, что оно сработало в таблице, оснований нет.
Частые вопросы
Коэффициент и длина перемещения — одно число?
В нашем правиле перемещение получается из произведения коэффициента и градиента. При одном коэффициенте разные градиенты дадут разные поправки. Мы увидели это в двух шагах с α = 0,1: сначала изменение 0,6, затем 0,48.
Самый маленький коэффициент всегда удобнее?
В этом примере маленькие шаги приближают к цели постепенно. Слишком маленькое изменение может потребовать много повторений. Полезно смотреть и на ошибку, и на число обновлений, которое понадобилось для её уменьшения.
Можно выбрать число, чтобы сразу попасть в тройку?
Для нашей заранее известной функции из нуля коэффициент 0,5 даст 0 − 0,5 × (−6) = 3. Мы знаем точную форму задачи и её решение. Это удобная дополнительная проверка формулы; универсальной настройкой нейросетей она не становится.
Этот параметр ускоряет ответы обычного чата?
Он относится к обучению параметров. Разговор с готовым помощником — другая операция. Просьба «обучайся быстрее» в сообщении не означает, что вы изменили коэффициент в его процедуре обучения.
Вернуть кораблик к флажку
Главное открытие этого листа бумаги — можно двигаться больше и приближаться меньше. Теперь learning rate связывается с понятным действием: умножить градиент на коэффициент, обновить параметр и проверить новую ошибку.
В «Первопроходцах» можно продолжать разбираться с ИИ на своих задачах, задавать вопросы и развивать проектные работы с личной проверкой Никиты Малова. Посмотрите условия участия в клубе.
Карту и таблицу стоит сохранить. У флажка теперь можно причалить, а киоск с пирожками закрыть: экипаж наконец получил возможность сойти на берег.