У Гоголя Чичиков сообщает генералу, что сосед пишет историю генералов. Собеседник оживляется: такое дело заслуживает уважения, а сам он готов поделиться материалами. Чичиков же мысленно хватается за голову: «Чтой-то я за вздор такой несу!» Он уже произнёс внушительные слова и теперь сам пытается за ними угнаться. В эпиграфе генерал задаёт спасительный вопрос: о каких именно генералах речь?
С описаниями нейросетей легко попасть в эту сцену. Вчера вы просили помощника сократить письмо, сегодня заглянули, как он устроен. На странице — эксперты, миллиарды, активируемые параметры. Короткое письмо уже скрывается за строем генеральских погон. Но если огромная модель при каждом шаге использует лишь часть своих весов, чем заняты остальные? Ушли обедать целыми полками?
Можно закрыть страницу, сохранив в голове торжественное «очень большая нейросеть». А можно разглядеть небольшой механизм, после которого две разные цифры перестанут спорить друг с другом. Нарисуем выбор ветвей, прочитаем настоящую карточку и проверим своё объяснение с помощником. Для этого хватит листка или заметки в телефоне.
MoE в DeepSeek: два открытых ящика
Устройство MoE в DeepSeek проще рассмотреть у типографского шкафа. В ящиках лежат наборные буквы, и для одной работы открывают только нужные. Для приглашения на чай незачем высыпать на стол весь шрифт, включая запас на печать полного собрания сочинений. MoE расшифровывается как Mixture of Experts, «смесь экспертов»: в вычислениях тоже можно выбирать ветви из большего набора.
Внутри модели эксперт — вычислительный блок со своими обученными весами. Весами называют числа, которые менялись во время обучения. Условный шкаф помогает разделить две вещи: сколько таких чисел хранится во всей модели и сколько участвует в обработке одного токена. Токен — кусочек текста: например, часть слова или знак.
Возьмём шесть экспертов и выберем два. Эти числа нужны нам для рисунка; устройство конкретной DeepSeek-V3 по ним восстанавливать не будем. Нарисуйте шесть прямоугольников, подпишите их буквами А, Б, В, Г, Д, Е. Слева поставьте «маршрутизатор». Это часть модели, которая решает, к каким экспертам направить данные на данном шаге.
Упрощённый фрагмент MoE-слоя: шесть экспертов, два выбраны. Числа относятся только к этой схеме.
Теперь проведите от маршрутизатора две стрелки — к Б и Д. От этих блоков проведите стрелки к общему выходу. Остальные четыре прямоугольника оставьте на месте. Мы показали выбор: часть блоков посчитала свой результат, затем результаты выбранных ветвей соединились для дальнейшей обработки.
Посмотрите на листок: два пути выделены, четыре блока остались бледными. Это цвет текущего выбора. Четыре ящика никто не вынес через чёрный ход; завтра их могут открыть. Сотрите сами блоки — и получится другая система, которая каждый раз располагает лишь двумя оставшимися ветвями.
Кто распределяет работу и что именно он видит
Маршрутизатор работает с числовым представлением токена внутри модели. К этому месту обработки оно уже несёт информацию о контексте. Мы читаем фразу глазами; сеть передаёт между своими частями наборы чисел. Поэтому на схеме можно писать «токен», а представлять себе нужно данные о нём на конкретном слое.
Для выбранных ветвей вычисляются результаты, которые объединяются с учётом весов маршрутизации. При следующем токене или на другом слое набор может измениться. Одна пара экспертов не назначается на весь разговор навечно. Подробное устройство такого выбора показано в разделе о MoE-слоях работы DeepSeekMoE.
Теперь сотрите только стрелки. Проведите новые к А и Е, сохранив все шесть прямоугольников. Запас прежний, маршрут другой. На листке видно, как можно иметь много весов и при этом обходиться частью экспертных вычислений для текущих данных. Этим маленьким изменением мы добрались до самой идеи выборочной работы.
В настоящей сети такие участки встроены в более длинную цепочку вычислений. Наш рисунок приближает один фрагмент: выбор экспертных ветвей внутри слоя. Дальше результат продолжает путь по сети; готовое предложение из правой коробочки ещё не выпадает.
Эксперты без табличек «поэт» и «бухгалтер»
Слово «эксперт» почти само рассаживает людей за длинным столом. Этот знает историю, тот считает, третий составляет поздравления. Стоит спросить про пирог — и где-то внутри поправляет колпак заведующий шарлоткой, за дверью уже ждёт департамент изюма. Весело, но человеческие должности начинают подменять устройство сети.
У вычислительных блоков нет таких человеческих должностей. Их различия складываются при обучении; полезная специализация может быть устроена гораздо тоньше привычного деления на школьные предметы. Название блока сообщает о его роли в вычислениях, а список профессий мы придумываем сами.
В семействе DeepSeekMoE есть и общие эксперты, которые участвуют независимо от выбора маршрутизатора. Авторы отделяют их от выбираемых ветвей, чтобы общая работа не дублировалась в каждой. Поэтому к нашему рисунку можно мысленно добавить общий путь, который действует рядом с выбором Б и Д. Это уточнение описано в разделе Shared Expert Isolation.
Схему полезно держать простой, но её смысл должен выдерживать такое дополнение. «Включается только часть выбираемых экспертов» — верно. «Вся модель состоит из двух проснувшихся сотрудников» — уже слишком тесный костюм для настоящей архитектуры.
Два числа в карточке: все и активные параметры
Теперь откройте карточку deepseek-ai/DeepSeek-V3 и найдите раздел Model Downloads. Это фиксированный пример модели, описанной в техническом отчёте от 27 декабря 2024 года; карточку мы сверили 3 ноября 2026 года. У строки DeepSeek-V3 найдите колонки #Total Params и #Activated Params.
В первой стоит 671B, во второй — 37B. Буква B означает миллиарды. Первая величина относится к общему числу параметров основной модели, вторая — к активируемым на токен. Теперь у этих двух чисел есть разные вопросы: сколько всего хранит модель и какая часть участвует в одном шаге обработки.
Схема чтения карточки DeepSeek-V3. Это число параметров; единицы памяти здесь не указаны.
Запишите под своей схемой: «DeepSeek-V3: всего 671 миллиард параметров; на токен активируется 37 миллиардов». Рядом поставьте ссылку на карточку. Теперь попробуйте поменять подписи местами. Получится другая история: будто малая величина описывает весь запас. Такая простая перестановка показывает, зачем цифрам нужны их названия.
Если смущает другое число в списке файлов, загляните в примечание под таблицей. Там отдельно учтён дополнительный модуль предсказания токенов. Для нашей пары берём именно колонки основной модели. Название DeepSeek на любой другой странице само по себе эти величины не переносит: сравнивать нужно точные версии.
Закрытые ящики продолжают занимать место
Пока открыты два ящика, весь шкаф остаётся в комнате. Вообразите переезд. Вы показываете на него грузчикам и бодро сообщаете: «Брать будем по активным ящикам. У меня обычно два!» Шкаф молча подпирает потолок. Даже огромный генеральский погон с обложки не заставит его стать тумбочкой. Выбор части весов уменьшает вычислительную работу в экспертных ветвях; остальным весам по-прежнему нужны хранение и доступ при запуске.
Поэтому фразу «37B активных — значит, столько-то гигабайт памяти» мы остановим на слове «значит». В карточке посчитаны параметры. Для объёма памяти нужны формат хранения весов и остальные данные работающей системы. Если когда-нибудь решите запускать модель у себя, откройте требования конкретной реализации. Сейчас полезнее сохранить различие: вычислить с частью запаса и разместить весь нужный запас — разные задачи.
У плотной модели, которую в описаниях называют dense, нет такого выбора из нескольких экспертных ветвей в соответствующем блоке: данные проходят через общий блок. У MoE на его месте работают выбранные ветви. В обоих случаях остаются другие части сети. Поэтому отношение всех параметров к активным нельзя объявить готовым ускорением всего ответа.
Хранить весь запас и использовать часть запаса сейчас — разные действия. Закрытые ящики никуда не переехали.
Быстрота конкретного сервиса зависит и от оборудования, и от организации вычислений. Подробности распределения работы разработчики V3 разбирают в техническом отчёте, раздел 2.1.2. Для первого понимания нам важен сам обмен: большой общий запас при выборочном использовании его частей.
Дайте помощнику проверить ваше объяснение
Откройте новый разговор в DeepSeek или в том текстовом чате, которым уже пользуетесь. Вставьте свою заметку и запрос ниже. Мы поручим ИИ понятную работу: найти путаницу в объяснении и задать один вопрос, по которому видно понимание.
Проверь, правильно ли я понял устройство MoE.
Моё объяснение: «В модели есть несколько экспертных блоков.
Для данных одного токена маршрутизатор выбирает часть из них.
Другие блоки остаются в модели и могут понадобиться дальше».
В карточке deepseek-ai/DeepSeek-V3 указано:
#Total Params — 671B; #Activated Params — 37B.
Источник: https://huggingface.co/deepseek-ai/DeepSeek-V3
Объясни связь этих двух чисел с моей схемой простыми словами.
Если сравнение со шкафом где-то мешает, поправь именно это место.
Затем задай один вопрос на понимание и подожди моего ответа.
Не приписывай экспертам человеческие профессии.После отправки вы получите разбор своей формулировки и вопрос на понимание. Читайте его с рисунком перед глазами. Если помощник вдруг назначил одному блоку должность математика, верните разговор к схеме: «У меня есть шесть ветвей с буквами. Объясни выбор по ним». Это уже полезная работа с ИИ: вы задаёте рамку и замечаете, где объяснение перестало ей соответствовать.
Ответьте своими словами: «Выбраны Б и Д. Остальные четыре остаются в общей модели». Если застряли на слове «токен», напишите: «Я теряюсь вот здесь. Покажи, что такое токен, на коротком предложении и остановись». Так помощник получает точное место затруднения и может объяснить его отдельно. После этого возвращайтесь к выбору ветвей. У вас уже есть опора; большой новый бриф тут не нужен.
Затем закройте статью и попробуйте сами разобрать фразу: «В модели много параметров, но на шаге участвует часть; значит, всё остальное можно удалить». На рисунке видно, где рассуждение сломалось: завтра маршрутизатору могут понадобиться другие ветви. Вернитесь к карточке и назовите отдельно общий запас и активируемую часть. Вы получили объяснение, которое выдержало проверку на ошибку.
Шпаргалка для следующей карточки
| Что встретилось | Как прочитать | Что проверить рядом |
|---|---|---|
| MoE | Часть экспертных ветвей выбирается при обработке | Как устроен выбор у этой модели |
| Total Params | Общее число параметров | Какая модель и какие её части учтены |
| Activated Params | Активируемые на токен параметры | Где авторы определили эту величину |
| Требования к памяти | Отдельные условия запуска | Формат весов и нужную реализацию |
Таблица пригодится, когда в следующей новости снова встретятся два внушительных числа. Теперь их можно сначала разнести по смыслу, а уже потом сравнивать модели. Если интересует само обозначение B в названиях, пригодится раздел о параметрах в статье о выборе варианта Qwen. Там та же грамотность помогает читать другое семейство названий.
Частые вопросы
Можно попросить чат включить нужного эксперта?
Попросить «ответь как редактор» можно: так вы обозначите подход к тексту. Внутреннюю ветвь этим мы не выбираем. Маршрутизация относится к устройству модели, а роль в запросе задаёт желаемое поведение ответа. Для хорошего письма полезнее назвать адресата и показать исходные факты.
MoE всегда отвечает лучше плотной модели?
Устройство объясняет, как распределяются вычисления. Качество своего ответа оценивайте на материале, с которым пришли: в сокращённом письме сохранилась просьба, в памятке остались дата и нужное действие. Подпись MoE этого просмотра за вас не сделает. Для первой пробы возьмите короткую памятку из одного сообщения и сравните её с исходником.
Если эксперт не выбран, он ничего не умеет?
Пропуск говорит только о маршруте этих данных на этом шаге. На нашем рисунке эксперт Е остаётся среди шести блоков, хотя стрелка прошла мимо. На другом шаге маршрут может измениться. Обученность и текущая активация отвечают на разные вопросы.
Почему бы не направлять всё к одним любимым экспертам?
Перекос нагрузки мешает использовать остальные ветви и усложняет распределение вычислений. Поэтому при обучении и устройстве маршрутизации заботятся о балансе. У V3 есть собственный способ такого балансирования. Подробные правила нужны разработчикам; нам достаточно видеть, что выбор ветвей — обученный механизм внутри системы.
Вернитесь к рисунку и подпишите под ним: «Активные параметры — часть всех. Они не равны объёму памяти и сами по себе не оценивают ответ». Рядом сохраните свою заметку о V3. Теперь на следующей странице с миллиардами можно обойтись без генеральского кивка: спросить, что посчитано, найти подпись и понять её. Шкаф наконец открывается за ручку.