Эмерджентные способности больших языковых моделей

Материал из MachineLearning.

Текущая версия

Статья написана с использованием LLM GPT-5.4 и проверена участником Aleksandrova Marina 22:44, 30 июня 2026 (MSD)

Эмерджентные способности больших языковых моделей — способности больших языковых моделей (англ. large language models, LLM), которые слабо проявляются или не наблюдаются у меньших моделей, но становятся заметными при увеличении масштаба модели, объёма обучающих данных или вычислительного бюджета. В литературе такие способности часто связывают с переходом от плавного улучшения качества к качественно новому поведению модели на отдельных задачах.^[1]

Понятие стало широко обсуждаться после появления крупных трансформерных языковых моделей, включая GPT-3, PaLM, Gopher и Chinchilla. Эти модели показали, что увеличение масштаба может приводить не только к постепенному снижению ошибки предсказания следующего токена, но и к резкому росту качества на некоторых задачах: арифметике, логическом рассуждении, программировании, переводе, следовании инструкциям и обучении в контексте.

Определение

В работе Джейсона Вэя и соавторов эмерджентная способность определяется как способность, которая отсутствует у меньших моделей, но присутствует у более крупных моделей того же семейства.^[1] Под «масштабом» обычно понимают сочетание нескольких факторов:

• числа параметров модели;
• объёма обучающих данных;
• вычислительного бюджета обучения;
• качества и разнообразия корпуса;
• методов постобучения, включая обучение на инструкциях (англ. instruction tuning) и RLHF.

Важно отличать эмерджентность от обычного плавного роста качества. Если при увеличении модели точность постепенно повышается, это соответствует непрерывному эффекту масштабирования. Если же малые модели показывают почти случайный результат, а затем после некоторого масштаба качество резко возрастает, такой эффект часто называют эмерджентным.

История понятия

Предпосылки к обсуждению эмерджентных способностей возникли в исследованиях законов масштабирования (англ. scaling laws). В работе Kaplan и соавторов было показано, что качество языковых моделей в среднем предсказуемо улучшается при росте числа параметров, данных и вычислений.^[1]

Позднее работа Hoffmann и соавторов о модели Chinchilla уточнила, что для эффективного масштабирования важно не только увеличивать размер модели, но и подбирать достаточный объём обучающих токенов.^[1]

Важным этапом стала публикация GPT-3, где было показано, что крупная языковая модель способна решать широкий круг задач в режимах zero-shot и few-shot без дообучения на конкретной задаче.^[1] После этого исследователи стали систематически изучать, какие способности появляются у моделей при увеличении масштаба.

Связь с масштабированием

Эмерджентные способности обычно рассматриваются в контексте масштабирования моделей. Однако масштаб не является единственным фактором. На результат влияют:

• архитектура модели;
• качество и состав обучающих данных;
• токенизация;
• длительность обучения;
• методы постобучения;
• формат подсказки;
• используемая метрика оценки.

Например, увеличение числа параметров без соответствующего увеличения обучающего корпуса может быть неэффективным. Исследования вычислительно-оптимального обучения показали, что для заданного бюджета вычислений меньшая модель, обученная на большем числе токенов, может превосходить более крупную, но недообученную модель.^[1]

Таким образом, эмерджентность не следует сводить только к числу параметров. Она возникает из взаимодействия масштаба модели, данных, алгоритма обучения и процедуры оценки.

Группы эмерджентных способностей

Обучение в контексте

Обучение в контексте (англ. in-context learning) — способность модели выполнять новую задачу на основе инструкции или нескольких примеров, помещённых непосредственно в запрос, без изменения весов модели. В режиме zero-shot модель получает только описание задачи, а в режиме few-shot — несколько демонстраций входов и правильных ответов.

Эта способность считается возможным проявлением эмерджентности, поскольку у малых моделей она часто выражена слабо, а у крупных моделей может становиться заметным универсальным механизмом адаптации к новой задаче.^[1]

Рассуждение и решение задач

К этой группе относят арифметические задачи, логический вывод, многошаговые вопросы и задачи, требующие промежуточных рассуждений. Одним из известных методов является подсказка с цепочкой рассуждений (англ. chain-of-thought prompting), при которой модель генерирует промежуточные шаги перед финальным ответом.^[1]

Такие способности называют эмерджентными, поскольку эффективность chain-of-thought-подсказок особенно заметна у крупных моделей, тогда как у малых моделей такой формат может не давать существенного улучшения.

Программирование

Большие языковые модели могут генерировать, дополнять и объяснять программный код. Для оценки таких способностей часто используется HumanEval — набор задач для проверки функциональной корректности программ, предложенный в работе о Codex.^[1]

Программирование рассматривается как возможная эмерджентная способность, потому что оно требует сочетания языкового понимания, знания синтаксиса, работы с абстракциями и проверки логической структуры решения. При этом модели могут создавать ошибочный или небезопасный код, поэтому практическое применение требует тестирования и ревью.

Многоязычный перенос

Многоязычный перенос (англ. cross-lingual transfer) означает способность модели использовать знания, полученные на одних языках или доменах, при работе с другими языками или предметными областями. Крупные модели часто демонстрируют улучшение перевода, суммаризации и ответов на вопросы в многоязычной среде.

Эта способность может выглядеть эмерджентной, если качество на некоторых языках или языковых парах резко повышается только у моделей достаточно большого масштаба. Однако её трудно отделить от состава обучающих данных: если язык или задача были широко представлены в корпусе, результат может быть следствием обучения, а не нового обобщения.

Использование инструментов

Современные LLM могут быть встроены в системы, где модель вызывает внешние инструменты: поисковые системы, калькуляторы, интерпретаторы кода, базы данных и API. Такая способность особенно важна для агентных систем, где модель должна планировать действия, выбирать инструмент, интерпретировать результат и продолжать решение задачи.

Использование инструментов не всегда возникает только из предварительного обучения: часто требуется специальная настройка, обучение на инструкциях или проектирование внешней среды. Поэтому его корректнее рассматривать как область, где масштаб модели взаимодействует с инженерными методами построения агентов.

Бенчмарки и оценка

Эмерджентные способности обычно изучаются на бенчмарках, проверяющих широкий набор навыков.

К часто используемым наборам относятся:

• BIG-Bench — большой набор задач для оценки и экстраполяции возможностей языковых моделей;^[1]
• MMLU — тест многозадачного понимания, включающий вопросы из разных областей знания;^[1]
• GSM8K — набор школьных математических задач, используемый для оценки многошагового рассуждения;^[1]
• HumanEval — набор задач для оценки генерации программного кода.^[1]

Методологические трудности оценки включают:

• загрязнение тестов (англ. benchmark contamination), когда тестовые примеры или их аналоги могли попасть в обучающие данные;
• чувствительность к формулировке подсказки;
• зависимость результата от формата ответа;
• различия между одношаговой и многошаговой оценкой;
• слабую воспроизводимость при закрытых моделях и неполной информации о данных обучения;
• сложность сравнения моделей, обученных с разными методами постобучения.

Поэтому результат на бенчмарке нельзя автоматически считать доказательством истинной эмерджентности. Он показывает поведение модели в конкретной процедуре оценки.

Критика понятия эмерджентности

Понятие эмерджентных способностей остаётся дискуссионным. Одна позиция состоит в том, что крупные модели действительно приобретают качественно новые возможности, которые трудно предсказать по поведению малых моделей.^[1]

Альтернативная позиция утверждает, что некоторые «скачки» могут быть следствием выбора метрик и порогов оценки. В работе Schaeffer, Miranda и Koyejo показано, что при использовании дискретных или нелинейных метрик постепенное улучшение модели может выглядеть как резкий переход. Авторы называют такие эффекты возможным «миражом» эмерджентности.^[1]

Например, если задача оценивается как полностью правильная или неправильная, небольшое улучшение вероятности правильного решения может долго не отражаться в итоговой метрике, а затем проявиться как резкий скачок. Поэтому для анализа эмерджентности важно рассматривать не только итоговую точность, но и более гладкие метрики: вероятность правильного ответа, частичные баллы, калибровку и устойчивость к переформулировкам.

Ограничения и открытые вопросы

Обобщение и запоминание

Остаётся открытым вопрос, в какой степени наблюдаемые способности являются результатом обобщения, а в какой — следствием запоминания похожих примеров из обучающих данных. Эта проблема особенно существенна для популярных бенчмарков, которые могли быть доступны в интернете до обучения модели.

Влияние подсказок

Результаты LLM сильно зависят от подсказки. Изменение порядка примеров, формата ответа или стиля инструкции может заметно повлиять на качество. Это осложняет сравнение моделей и делает оценку эмерджентных способностей менее устойчивой.

Роль постобучения

Многие современные модели проходят instruction tuning, RLHF, фильтрацию данных и дополнительные этапы настройки. Поэтому трудно отделить способности, возникшие за счёт масштаба предварительного обучения, от способностей, появившихся в результате постобучения.

Интерпретируемость

Внутренние механизмы LLM остаются слабо интерпретируемыми. Даже если модель успешно решает задачу, часто неизвестно, использует ли она устойчивый алгоритм, статистическую эвристику или воспроизводит похожий шаблон из данных. Это делает эмерджентные способности важной темой для интерпретируемости и анализа внутренних представлений.

Значение для безопасности ИИ

Эмерджентные способности имеют важное значение для безопасности ИИ. Если новые возможности появляются неожиданно, разработчикам сложнее заранее оценить риски, связанные с автономностью, убеждением, программированием, поиском уязвимостей или использованием инструментов.

Для выравнивания ИИ эта тема важна потому, что поведение модели может изменяться качественно при переходе к большему масштабу. Модель, безопасная в малом варианте, не обязательно сохранит те же свойства после масштабирования. Поэтому необходимы систематические оценки, red teaming, тесты на надёжность и анализ поведения до развёртывания.

В разработке агентов эмерджентные способности также важны: агентные системы объединяют языковую модель с памятью, планированием, внешними инструментами и средой исполнения. Даже если отдельная модель ограничена, её включение в контур действий может усилить практические возможности и риски системы.

Практическое значение

Изучение эмерджентных способностей помогает:

• прогнозировать возможности будущих моделей;
• строить более надёжные бенчмарки;
• оценивать риски масштабирования;
• разрабатывать методы контроля и выравнивания;
• понимать ограничения LLM в программировании, науке, образовании и промышленности;
• отличать реальные улучшения от артефактов оценки.

При этом эмерджентность не следует понимать как магическое или полностью необъяснимое явление. В большинстве случаев речь идёт о сложном взаимодействии масштаба, данных, архитектуры, обучения и метрики.

См. также

• Большая языковая модель
• Трансформер
• Законы масштабирования
• Обучение в контексте
• Few-shot learning
• Zero-shot learning
• Chain-of-thought prompting
• Бенчмарк
• Выравнивание ИИ
• Безопасность искусственного интеллекта
• Интерпретируемость моделей

Примечания

Литература

• Brown T. B., Mann B., Ryder N. et al. Language Models are Few-Shot Learners. Advances in Neural Information Processing Systems, 2020.
• Kaplan J., McCandlish S., Henighan T. et al. Scaling Laws for Neural Language Models. arXiv:2001.08361, 2020.
• Hoffmann J., Borgeaud S., Mensch A. et al. Training Compute-Optimal Large Language Models. Advances in Neural Information Processing Systems, 2022.
• Wei J., Tay Y., Bommasani R. et al. Emergent Abilities of Large Language Models. Transactions on Machine Learning Research, 2022.
• Wei J., Wang X., Schuurmans D. et al. Chain-of-Thought Prompting Elicits Reasoning in Large Language Models. Advances in Neural Information Processing Systems, 2022.
• Srivastava A. et al. Beyond the Imitation Game: Quantifying and Extrapolating the Capabilities of Language Models. Transactions on Machine Learning Research, 2023.
• Hendrycks D., Burns C., Basart S. et al. Measuring Massive Multitask Language Understanding. ICLR, 2021.
• Cobbe K., Kosaraju V., Bavarian M. et al. Training Verifiers to Solve Math Word Problems. arXiv:2110.14168, 2021.
• Chen M., Tworek J., Jun H. et al. Evaluating Large Language Models Trained on Code. arXiv:2107.03374, 2021.
• Schaeffer R., Miranda B., Koyejo S. Are Emergent Abilities of Large Language Models a Mirage? arXiv:2304.15004, 2023.

Ссылки

• Emergent Abilities of Large Language Models
• Are Emergent Abilities of Large Language Models a Mirage?
• Scaling Laws for Neural Language Models
• Training Compute-Optimal Large Language Models
• Chain-of-Thought Prompting Elicits Reasoning in Large Language Models
• BIG-Bench: Beyond the Imitation Game
• Measuring Massive Multitask Language Understanding
• GSM8K: Training Verifiers to Solve Math Word Problems
• HumanEval / Evaluating Large Language Models Trained on Code