Просмотр

Материал из MachineLearning.

У вас нет прав на выполнение этой операции по следующим причинам:

• Запрошенное действие могут выполнять только участники из групп emailconfirmed, Администраторы.
• Вы должны подтвердить ваш адрес электронной почты перед правкой страниц. Пожалуйста, введите и подтвердите ваш адрес эл. почты на странице настроек.

Вы можете просмотреть и скопировать исходный текст этой страницы:

{{well|Статья написана с использованием LLM '''DeepSeek-V3''' и проверена участником [[Участник:Mihail Mishin|М. Мишин]] 17:37, 18 июня 2026 (MSD) Промпт приводится полностью в [[Обсуждение:Дистилляция моделей]] }} {{TOCright}} == Определение и основная идея == '''Low‑Rank Adaptation''' ('''LoRA''') — метод эффективного по числу обучаемых параметров (parameter‑efficient fine‑tuning, PEFT) [[Тонкая настройка|тонкой настройки]] предобученных [[Нейронная сеть|нейронных сетей]].<ref name="hu2021">{{статья |автор=Hu E. J., Shen Y., Wallis P., Allen-Zhu Z., Li Y., Wang S., Wang L., Chen W. |заглавие=LoRA: Low-Rank Adaptation of Large Language Models |издание=arXiv:2106.09685 [cs.CL] |год=2021 |ссылка=https://arxiv.org/abs/2106.09685 |ref=hu2021}}</ref> В основе метода лежит гипотеза о том, что изменения весовых матриц при адаптации большой модели к конкретной задаче обладают низким [[Ранг матрицы|рангом]]. Вместо прямого обновления полной матрицы весов <tex>W \in \mathbb{R}^{d \times k}</tex> в LoRA обучается её аддитивная низкоранговая добавка <tex>\Delta W = BA</tex>, где <tex>B \in \mathbb{R}^{d \times r}</tex>, <tex>A \in \mathbb{R}^{r \times k}</tex>, а ранг <tex>r \ll \min(d,k)</tex>. Исходные веса <tex>W</tex> при этом «замораживаются». Такой подход позволяет сократить количество обучаемых параметров в сотни и тысячи раз, сохраняя или почти не ухудшая качество по сравнению с полной тонкой настройкой. Метод первоначально предложен для [[Трансформер (архитектура)|трансформерных]] [[Большая языковая модель|больших языковых моделей]], однако в дальнейшем был обобщён на широкий круг архитектур, включая [[Свёрточная нейронная сеть|свёрточные нейронные сети]], [[Диффузионные модели|диффузионные модели]], [[Графовая нейронная сеть|графовые нейронные сети]], и стал важным инструментом [[Федеративное обучение|федеративного обучения]]. == Мотивация == Современные предобученные модели, особенно в области [[Обработка естественного языка|обработки естественного языка]] и [[Компьютерное зрение|компьютерного зрения]], содержат от сотен миллионов до триллионов параметров. Полная тонкая настройка (full fine‑tuning) требует хранения и обновления всех параметров для каждой конкретной задачи, что ведёт к колоссальным затратам памяти, вычислительных ресурсов и дисковой ёмкости при развёртывании множества специализированных версий модели. Parameter‑efficient fine‑tuning (PEFT) решает эту проблему, модифицируя лишь малую долю параметров, тогда как основная масса весов остаётся неизменной и разделяется между задачами. == Историческая справка == Теоретическим фундаментом LoRA послужило исследование Армена Агаджаняна и соавторов<ref name="aghajanyan2020">{{статья |автор=Aghajanyan A., Gupta S., Zettlemoyer L. |заглавие=Intrinsic Dimensionality Explains the Effectiveness of Language Model Fine-Tuning |издание=arXiv:2012.13255 [cs.CL] |год=2020 |ссылка=https://arxiv.org/abs/2012.13255 |ref=aghajanyan2020}}</ref>, показавшее, что тонкая настройка языковых моделей может быть выполнена в подпространстве малой размерности («внутренняя размерность» задачи). Параллельно развивались практические методы PEFT: вставка компактных адаптерных модулей<ref>{{статья |автор=Houlsby N., Giurgiu A., Jastrzebski S., Morrone B., de Laroussilhe Q., Gesmundo A., Attariyan M., Gelly S. |заглавие=Parameter-Efficient Transfer Learning for NLP |издание=Proceedings of the 36th International Conference on Machine Learning (ICML) |год=2019 |ссылка=https://proceedings.mlr.press/v97/houlsby19a.html}}</ref>, префиксная настройка<ref>{{статья |автор=Li X. L., Liang P. |заглавие=Prefix-Tuning: Optimizing Continuous Prompts for Generation |издание=Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics (ACL) |год=2021 |ссылка=https://aclanthology.org/2021.acl-long.353/}}</ref> и промпт-настройка<ref>{{статья |автор=Lester B., Al-Rfou R., Constant N. |заглавие=The Power of Scale for Parameter-Efficient Prompt Tuning |издание=Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing (EMNLP) |год=2021 |ссылка=https://aclanthology.org/2021.emnlp-main.243/}}</ref>. Метод LoRA был предложен в 2021 году Эдвардом Ху и его коллегами из Microsoft<ref name="hu2021" /> и сразу привлёк внимание сообщества благодаря элегантности математической формулировки, отсутствию дополнительных задержек на этапе вывода и совместимости с другими PEFT‑методами. == Описание метода == === Математическая формулировка === Рассмотрим полносвязный слой с матрицей весов <tex>W \in \mathbb{R}^{d \times k}</tex>. Выход слоя на входном векторе <tex>x</tex> в процессе тонкой настройки вычисляется как <tex>h = Wx + \Delta W x = Wx + BAx,</tex> где <tex>W</tex> заморожена, а матрицы <tex>B \in \mathbb{R}^{d \times r}</tex> и <tex>A \in \mathbb{R}^{r \times k}</tex> содержат обучаемые параметры. Ранг <tex>r</tex> выбирается значительно меньшим, чем размеры исходной матрицы. После завершения обучения явное произведение <tex>BA</tex> можно прибавить к <tex>W</tex>, получив <tex>W' = W + BA</tex>; таким образом, на этапе вывода не возникает дополнительных вычислительных затрат по сравнению с исходной моделью. Гипотеза низкого ранга обновлений подтверждается эмпирически: анализ [[Сингулярное разложение|сингулярных чисел]] матрицы <tex>\Delta W</tex> в ряде задач демонстрирует быстрое убывание спектра, причём основная информация концентрируется в нескольких ведущих компонентах<ref name="hu2021" />. === Применение к механизму внимания === В архитектуре трансформера<ref>{{статья |автор=Vaswani A., Shazeer N., Parmar N., Uszkoreit J., Jones L., Gomez A. N., Kaiser Ł., Polosukhin I. |заглавие=Attention Is All You Need |издание=Advances in Neural Information Processing Systems 30 (NeurIPS) |год=2017 |ссылка=https://papers.nips.cc/paper_files/paper/2017/hash/3f5ee243547dee91fbd053c1c4a845aa-Abstract.html}}</ref> наибольший объём параметров приходится на матрицы запросов, ключей, значений и выходную матрицу многоголового внимания (<tex>W_q, W_k, W_v, W_o</tex>). Оригинальная работа<ref name="hu2021" /> фокусируется на адаптации <tex>W_q</tex> и <tex>W_v</tex>; последующие исследования распространили LoRA на все четыре матрицы или только на <tex>W_q</tex> и <tex>W_o</tex>, в зависимости от баланса между качеством и числом параметров. == Выбор ранга и инициализация == === Инициализация матриц === Ключевое требование к инициализации — чтобы в начале обучения <tex>\Delta W = 0</tex>, и модель вела себя в точности как предобученная. Для этого матрица <tex>A</tex> инициализируется случайным образом (например, из нормального распределения с малой дисперсией), а матрица <tex>B</tex> — нулями. Благодаря этому градиенты на старте затрагивают только <tex>A</tex>, а обновление весов начинается плавно. Развитием этого подхода стала инициализация на основе [[Сингулярное разложение|сингулярного разложения]] исходной матрицы <tex>W</tex> (метод PiSSA<ref>{{статья |автор=Meng F., Wang Z., Zhang M. |заглавие=PiSSA: Principal Singular values and Singular vectors Adaptation |издание=arXiv:2404.02948 [cs.LG] |год=2024 |ссылка=https://arxiv.org/abs/2404.02948}}</ref>), где <tex>A</tex> и <tex>B</tex> инициализируются главными сингулярными векторами и значениями <tex>W</tex>, а остаток от разложения замораживается. Это позволяет ускорить сходимость в задачах, где желательно не «портить» сильно предобученное представление. === Влияние ранга === Эксперименты Ху и соавторов<ref name="hu2021" /> на моделях GPT‑2 и GPT‑3 показали, что даже экстремально низкие ранги (<tex>r = 1, 2, 4</tex>) зачастую обеспечивают качество, сравнимое с полной тонкой настройкой, при этом прирост при дальнейшем увеличении <tex>r</tex> быстро насыщается. На практике для языковых задач популярны значения <tex>r \in \{8, 16, 32\}</tex>. Выбор конкретного ранга диктуется компромиссом между допустимым числом обучаемых параметров и требуемой точностью адаптации. Систематические исследования показывают, что эффективность низкого ранга коррелирует с «внутренней размерностью» задачи<ref name="aghajanyan2020" />. === Динамический и адаптивный ранг === Недостаток фиксированного ранга состоит в том, что разумное значение <tex>r</tex> приходится подбирать перебором. Для решения этой проблемы были предложены методы: * '''DyLoRA'''<ref>{{статья |автор=Valipour M., Rezagholizadeh M., Kobyzev I., Ghassemi A. |заглавие=DyLoRA: Parameter Efficient Tuning of Pre-trained Models using Dynamic Search-Free Low Rank Adaptation |издание=arXiv:2210.07558 [cs.CL] |год=2022 |ссылка=https://arxiv.org/abs/2210.07558}}</ref> — обучает матрицы <tex>A</tex> и <tex>B</tex> сразу для нескольких рангов, случайным образом выбирая эффективный ранг на каждом шаге оптимизации. Это позволяет после обучения гибко усекать ранг без потери точности. * '''AdaLoRA''' (Zhang et al., ICLR 2023) — формулирует задачу как оптимизацию с бюджетом параметров и использует важность сингулярных значений для автоматического назначения неравномерных рангов разным весовым матрицам в ходе обучения. == Применения за пределами трансформерных архитектур == Хотя LoRA родилась в контексте языковых трансформеров, её базовая идея не зависит от конкретной архитектуры. Общий принцип — факторизация обновления весового тензора в виде низкорангового произведения — легко переносится на другие слои и модальности. Так, LoRA успешно адаптирована для: * '''[[Компьютерное зрение]]''': [[Vision Transformer]] (ViT), свёрточные нейронные сети (CNN). В CNN весовой тензор ядра размером <tex>k \times k \times C_{in} \times C_{out}</tex> преобразуется в двумерную матрицу и раскладывается на произведение двух низкоранговых матриц, что открывает возможность эффективной настройки популярных «зрительных» энкодеров (ResNet, ConvNeXt) с числом обучаемых параметров, составляющим менее 1 % исходных. * '''[[Диффузионные модели]]''': генеративные модели, такие как Stable Diffusion, тонко настраиваются с помощью LoRA для переноса стиля или запоминания конкретных объектов (DreamBooth<ref>{{статья |автор=Ruiz N., Li Y., Jampani V., Pritch Y., Rubinstein M., Aberman K. |заглавие=DreamBooth: Fine Tuning Text-to-Image Diffusion Models for Subject-Driven Generation |издание=Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) |год=2023 |ссылка=https://openaccess.thecvf.com/content/CVPR2023/html/Ruiz_DreamBooth_Fine_Tuning_Text-to-Image_Diffusion_Models_for_Subject-Driven_Generation_CVPR_2023_paper.html}}</ref>). Здесь LoRA накладывается преимущественно на слои кросс‑внимания, что доказало свою эффективность и породило обширную экосистему облегчённых адаптеров. * '''[[Графовая нейронная сеть|Графовые нейронные сети]] (GNN)''': применение LoRA к слоям графовых трансформеров и классических GNN позволяет адаптировать крупные модели к новым типам графов с минимальной дополнительной памятью. * '''[[Федеративное обучение]]''': метод FedLoRA использует низкоранговые адаптеры для персонализации глобальной модели под локальные данные клиентов, обеспечивая коммуникационную эффективность и совместимость моделей разной архитектуры. * '''Обработка аудио и речи''': LoRA применяется для быстрой адаптации больших моделей автоматического распознавания речи (Whisper, Wav2Vec 2.0) и синтеза речи, особенно в условиях ограниченного объёма целевых данных. == Преимущества и ограничения == '''Преимущества:''' * Резкое сокращение числа обучаемых параметров (часто в 100–1000 раз) и, как следствие, требований к памяти и дисковой ёмкости. * Отсутствие задержек на инференсе благодаря возможности слияния обученных матриц с исходными весами. * Простота реализации и совместимость с другими PEFT‑методами (например, с префиксной настройкой или квантизацией, как в QLoRA<ref>{{статья |автор=Dettmers T., Pagnoni A., Holtzman A., Zettlemoyer L. |заглавие=QLoRA: Efficient Finetuning of Quantized Language Models |издание=Advances in Neural Information Processing Systems (NeurIPS) |год=2023 |ссылка=https://proceedings.neurips.cc/paper_files/paper/2023/hash/1feb87871436031bdc0f2beaa62a049b-Abstract-Conference.html}}</ref>). * Допускает независимое обучение и композицию нескольких адаптеров для разных задач. '''Ограничения:''' * Качество может уступать полной тонкой настройке в задачах, требующих значительного изменения распределения признаков (при очень большом доменном сдвиге). * Оптимальный ранг и выбор матриц, к которым применяется LoRA, до сих пор определяются эмпирически или с помощью эвристик, хотя и автоматизируются современными расширениями. * Применение к операциям, отличным от линейных (например, нормализациям или функциям активации), напрямую невозможно; для них приходится использовать иные методы вставки адаптеров. == См. также == * [[Parameter-Efficient Fine-Tuning]] * [[Тонкая настройка (машинное обучение)]] * [[Трансформер (архитектура)]] * [[Большая языковая модель]] * [[Федеративное обучение]] == Примечания == {{примечания}} == Литература == * {{статья |автор=Hu E. J., Shen Y., Wallis P., Allen-Zhu Z., Li Y., Wang S., Wang L., Chen W. |заглавие=LoRA: Low-Rank Adaptation of Large Language Models |издание=arXiv:2106.09685 [cs.CL] |год=2021 |ссылка=https://arxiv.org/abs/2106.09685 |ref=hu2021}} * {{статья |автор=Aghajanyan A., Gupta S., Zettlemoyer L. |заглавие=Intrinsic Dimensionality Explains the Effectiveness of Language Model Fine-Tuning |издание=arXiv:2012.13255 [cs.CL] |год=2020 |ссылка=https://arxiv.org/abs/2012.13255}} * {{статья |автор=Dettmers T., Pagnoni A., Holtzman A., Zettlemoyer L. |заглавие=QLoRA: Efficient Finetuning of Quantized Language Models |издание=Advances in Neural Information Processing Systems (NeurIPS) |год=2023 |ссылка=https://proceedings.neurips.cc/paper_files/paper/2023/hash/1feb87871436031bdc0f2beaa62a049b-Abstract-Conference.html}} [[Категория:Машинное обучение]] [[Категория:Глубокое обучение]] [[Категория:Обработка естественного языка]]

• Шаблон:Mbox
• Шаблон:TOCright
• Шаблон:Well
• Шаблон:Примечания
• Шаблон:Статья

Возврат к странице Адаптация низкого ранга.