Ограниченная рациональность
Материал из MachineLearning.
| Статья написана с использованием LLM GPT-5.5 и проверена участником Arsenii Kolesnikov 12:13, 16 июля 2026 (MSD) |
Ограниченная рациональность — концепция теории принятия решений, согласно которой реальные агенты принимают решения при ограничениях информации, времени, вычислительных ресурсов и когнитивных возможностей. Термин связан с работами Герберта Саймона, который противопоставил реалистическое поведение людей и организаций модели идеально рационального максимизатора[1].
В искусственном интеллекте ограниченная рациональность важна потому, что любой агент действует не в абстрактном пространстве всех возможных вычислений, а на конкретном оборудовании, с неполной моделью среды и конечным временем реакции. Поэтому практически полезная рациональность почти всегда является ресурсно-ограниченной.
Содержание |
Определение
Классическая модель рационального выбора предполагает, что агент знает множество альтернатив, вероятности исходов и функцию полезности, после чего выбирает альтернативу с максимальной ожидаемой полезностью. Ограниченно рациональный агент не обладает всеми этими возможностями. Он может:
- не знать всех альтернатив;
- ошибаться в оценке вероятностей;
- использовать приближённую модель последствий;
- прекращать поиск после нахождения достаточно хорошего варианта;
- учитывать стоимость вычислений.
Если стоимость вычисления обозначить как , а ожидаемую полезность политики как
, ресурсно-рациональный выбор можно записать как
где задаёт цену вычислительных ресурсов.
Satisficing
Саймон предложил термин satisficing для поведения, при котором агент ищет не оптимальный, а достаточно хороший вариант. Пусть — порог приемлемости. Тогда агент может остановить поиск при первом действии
, для которого
Такое правило может быть рациональным, если дальнейший поиск дорог, среда меняется быстро или точная оценка альтернатив невозможна.
Источники ограничений
Информационные ограничения
Агент редко знает полное состояние мира. Наблюдения могут быть шумными, задержанными или частичными. В таких условиях решения принимаются по убеждениям, выборкам данных или приближённым признакам.
Вычислительные ограничения
Даже при полной информации оптимальное решение может быть вычислительно недостижимым. Многие задачи планирования, вывода и оптимизации имеют экспоненциальную сложность. Поэтому применяются эвристики, жадные алгоритмы, локальный поиск и аппроксимации.
Ограничения модели цели
Функция полезности может быть неполной или внутренне противоречивой. В прикладном ИИ это проявляется как несовпадение измеримой метрики и реальной цели пользователя.
Эвристики и смещения
Эвристики — простые правила, уменьшающие стоимость решения. Они могут быть эффективными в типичных условиях, но порождать систематические ошибки при изменении среды. В когнитивной психологии это связано с исследованиями эвристик и когнитивных искажений[1].
В ИИ эвристика не обязательно является дефектом. В эвристическом поиске она формально ускоряет решение задачи. Важно различать эвристику как контролируемое приближение и эвристику как источник неконтролируемого смещения.
Ограниченная оптимальность
Ограниченная оптимальность переносит критерий качества с отдельного действия на всю программу агента. Агент считается хорошим, если его архитектура даёт наилучшее достижимое поведение при заданных ресурсах и классе сред. Такой подход ближе к инженерной практике, чем идеальная максимизация.
В обучении с подкреплением ограниченная рациональность проявляется в выборе горизонта планирования, размере модели, стратегии исследования, количестве взаимодействий со средой и вычислительном бюджете на обновление политики.
Связь с рациональными агентами
Рациональный агент в учебной модели выбирает оптимальное действие относительно меры успеха и знаний о среде. Ограниченная рациональность уточняет эту схему: знания неполны, вычисления дороги, а сама мера успеха может быть задана приближённо. Поэтому поведение агента оценивается относительно доступных ресурсов, а не относительно недостижимого идеала.
Значение для безопасности ИИ
Ограниченная рациональность важна для безопасности ИИ по нескольким причинам:
- агент может эксплуатировать неточность заданной цели;
- ограниченный поиск может не обнаруживать опасные последствия действий;
- человек-оператор также ограниченно рационален и может неверно интерпретировать рекомендации системы;
- чрезмерно сильная оптимизация формальной метрики может нарушать неформальные ограничения.
Следовательно, безопасная система должна учитывать не только оптимизацию целевой функции, но и неопределённость, проверяемость, ограничения вычислений и возможность корректировки целей.
Критика
Концепция ограниченной рациональности широка и допускает разные формализации. В экономике она иногда используется как описание отклонений от рационального выбора, в ИИ — как инженерный принцип проектирования агента. Поэтому при использовании термина необходимо уточнять, идёт ли речь о психологической модели человека, нормативной теории принятия решений или вычислительной модели агента.
