Малые языковые модели
Материал из MachineLearning.
| Статья написана с использованием LLM Claude Opus 4.8 и проверена участником Vladimir Beliaev 21:24, 13 июля 2026 (MSD) |
|
Малые языковые модели (Шаблон:Lang-en, SLM) — компактные языковые модели, число параметров которых на один-три порядка меньше, чем у флагманских систем: обычно от сотен миллионов до примерно десяти миллиардов параметров. Строгой границы между «малой» и «большой» моделью нет — это скользящее и во многом маркетинговое определение, — но практический смысл ясен: SLM рассчитана на то, чтобы работать быстро, дёшево и по возможности локально, вплоть до запуска на ноутбуке или смартфоне.
Ключевая мысль, которую стоит держать в голове при чтении: малые модели — это не «недоделанные большие». За ними стоит другая оптимизационная задача. Разработчик флагманской модели минимизирует ошибку при фиксированном бюджете обучения; разработчик SLM минимизирует стоимость эксплуатации — вывода (inference), — которая для массового продукта в сумме многократно превышает стоимость обучения. Эта смена цели и объясняет весь остальной сюжет.
Почему малые модели вообще работают
Долгое время в области господствовала логика «больше — значит лучше», подкреплённая ранними законами масштабирования (Каплан и соавторы, 2020): при росте вычислительного бюджета параметры следует наращивать быстрее, чем объём данных. Из этого следовало, что путь к качеству — гигантские модели.
Перелом произошёл в 2022 году с работой о модели Chinchilla (Хоффманн и соавторы, DeepMind)[1]. Обучив свыше 400 моделей разного размера, авторы показали, что прежние флагманы были значительно недообучены: при данном бюджете вычислений размер модели и число обучающих токенов надо наращивать примерно в равной пропорции. Практическое правило, вошедшее в обиход, — около 20 токенов на параметр. Модель Chinchilla на 70 млрд параметров, обученная на 1,4 трлн токенов, обошла вчетверо больший Gopher (280 млрд) при том же бюджете.
Отсюда — прямое следствие для SLM. Если небольшую модель «перекормить» данными сверх compute-оптимума, она проседает в качестве незначительно, зато навсегда остаётся дешёвой в выводе. Для продукта, который обслуживает миллиарды запросов, это выгодная сделка: чуть больше заплатить один раз при обучении, чтобы платить меньше каждый раз при использовании. Именно поэтому современные компактные модели сознательно обучают далеко за пределами «оптимального» соотношения 20:1 — на сотнях и тысячах токенов на параметр.
Как делают малую модель сильной
Просто взять мало параметров и обучить как обычно — значит получить слабую модель. Сильные SLM опираются на несколько приёмов, часто комбинируемых.
- Качество данных вместо количества
- Наиболее влиятельная идея последних лет: на компактном, но тщательно отобранном корпусе модель учится лучше, чем на большом «грязном». Линейку моделей Phi от Microsoft построили именно на этом принципе — на «учебникоподобных» текстах и синтетических данных высокого качества; девиз одной из основополагающих работ так и звучал — «учебники — это всё, что нужно»[1]. Здесь тема напрямую смыкается с генерацией синтетических данных: аккуратно порождённые и отфильтрованные примеры стали ключевым ингредиентом обучения SLM.
- Дистилляция знаний
- Идея, восходящая к работе Хинтона и соавторов (2015): большая модель-«учитель» передаёт компактной модели-«ученику» не только правильные ответы, но и своё распределение вероятностей по всем вариантам — «мягкие метки» (soft labels), несущие больше информации, чем просто верный класс[1]. Ученик перенимает «манеру рассуждать» учителя при доле его размера.
- Квантизация
- Снижение точности представления весов — например, с 16 бит до 4 бит на число. Это в несколько раз уменьшает объём памяти и ускоряет вывод почти без потери качества, что критично для запуска на устройствах с ограниченными ресурсами.
- Прореживание и другие сжатия
- Удаление незначимых весов или целых структурных блоков (pruning), а также разреженные архитектуры вроде смеси экспертов (mixture-of-experts), где на каждый запрос активируется лишь часть параметров.
Зачем они нужны: экономика и приватность
Преимущества SLM — не только в цене вычислений.
- Локальный запуск. Модель, работающая прямо на устройстве, не отправляет данные в облако — это и приватность (медицинские, личные данные не покидают телефон), и работа без сети, и отсутствие задержек на передачу.
- Стоимость и энергия. Массовое обслуживание запросов компактной моделью на порядки дешевле и экологичнее.
- Специализация. Небольшая модель, дообученная на узкой области (юридические тексты, код, медицина одного профиля), нередко превосходит универсального гиганта в своей нише — при несопоставимо меньших затратах.
- Контроль и предсказуемость. Компактную модель проще исследовать, дообучать под себя и держать под контролем — что перекликается с темами интерпретируемости и смещений.
Гибридные схемы: маленькая и большая вместе
Практика всё чаще не выбирает между SLM и большой моделью, а сочетает их. Типовой приём — маршрутизация (routing): дешёвая малая модель обрабатывает поток простых запросов сама и передаёт «наверх», большой модели, лишь те, с которыми не справляется. Так строят каскады, в которых основную нагрузку несёт SLM, а дорогой флагман подключается точечно. Малые модели также работают «черновиками» в ускорении вывода больших (speculative decoding) и как локальные ассистенты, дополняющие облачную модель.
Ограничения
За компактность приходится платить, и честно назвать цену важно.
- Потолок способностей. На широких задачах, требующих обширных знаний и сложного многошагового рассуждения, SLM пока уступают флагманам — законы масштабирования никто не отменял.
- Хрупкость на краях. Вне области специализации качество падает быстрее, чем у крупной модели общего назначения.
- Риск переноса дефектов при дистилляции. Ученик перенимает не только сильные стороны учителя, но и его ошибки и предвзятости.
- Зависимость от качества данных. Весь выигрыш «маленькой, но сильной» модели держится на данных; ошибки и загрязнение обучающего корпуса бьют по ней сильнее, чем по большой модели с её избыточностью.
Заметные семейства
К 2025–2026 годам сложилось несколько активно развиваемых линеек компактных моделей с открытыми весами: Phi (Microsoft, ставка на синтетические данные и рассуждение), Gemma (Google, акцент на многоязычность и свободную лицензию), SmolLM (Hugging Face, самые маленькие практичные модели для устройств), а также компактные версии Llama, Qwen и Mistral. Ветвь развивается быстро, и конкретные лидеры меняются от квартала к кварталу, но общая траектория устойчива: то, что вчера умела только флагманская модель, сегодня всё чаще делает модель на несколько миллиардов параметров.
Открытые проблемы
- Где предел «маленькой, но умной». Насколько далеко можно продвинуть качество за счёт данных и дистилляции, не наращивая размер, — предмет активных исследований.
- Оценка. Стандартные бенчмарки часто попадают в обучающие данные; честно измерять реальные способности SLM трудно.
- Мультимодальность на устройстве. Совмещение компактности с работой сразу с текстом, изображением и звуком (см. Мультимодальное машинное обучение) пока даётся дорого.
- Безопасность локальных моделей. Модель на устройстве проще извлечь, изучить и атаковать; вопросы защиты и злоупотреблений стоят иначе, чем в облаке.
См. также
- Большие языковые модели
- Генерация синтетических данных
- Мультимодальное машинное обучение
- Explainable AI
- Смещение данных: bias in ML
- Agentic AI
Примечания
Ссылки
- Training Compute-Optimal Large Language Models — статья о Chinchilla и законах масштабирования
- Textbooks Are All You Need — работа, задавшая линейку Phi
- SmolLM — открытая линейка компактных моделей Hugging Face
