Mixture-of-Experts (MoE) — архитектура за впечатляющим трюком: модель на триллион параметров работает примерно по цене гораздо меньшей плотной модели. Идея проста на словах и сложна в инженерии: больше ёмкости при сопоставимых вычислениях.
От плотного к разреженному
В обычном трансформере каждый токен проходит через один и тот же блок — работают все параметры. Слой MoE заменяет его множеством экспертов и небольшим маршрутизатором, который для каждого токена активирует лишь top-k экспертов.
В чём сложность
- Балансировка нагрузки. Без штрафа маршрутизатор «залипает» на нескольких экспертах.
- Коммуникация. Эксперты на разных устройствах — трафик all-to-all может доминировать.
- Нестабильность на ранних этапах обучения.
