Рациональный агент

Материал из MachineLearning.

(Различия между версиями)

Текущая версия

Статья написана с использованием LLM GPT-5.5 и проверена участником Arsenii Kolesnikov 10:53, 16 июля 2026 (MSD)

Рациональный агент — модель искусственного интеллекта, в которой система выбирает действия на основании доступных наблюдений, целей и критерия качества поведения. В классической формулировке агент называется рациональным, если для каждой истории восприятия он выбирает действие, максимизирующее ожидаемую меру успеха при заданных знаниях о среде^[1].

Понятие рационального агента служит общим языком для описания экспертных систем, планирующих систем, обучения с подкреплением, автономных роботов и современных LLM-агентов. В отличие от бытового смысла слова «рациональность», в ИИ это не свойство сознания и не этическая характеристика, а формальное отношение между целями, информацией, вычислительными ограничениями и выбранным действием.

Формальная модель

Агент взаимодействует со средой дискретными шагами времени. На шаге $t$ он получает наблюдение $o_t$ , выбирает действие $a_t$ , после чего среда изменяет состояние и выдаёт новое наблюдение. История восприятия и действий может быть записана как

$h_t = (o_1,a_1,o_2,a_2,\ldots,o_t).$

Политика агента задаёт правило выбора действий:

$\pi(a \mid h_t) = \operatorname{P}(a_t=a \mid h_t).$

Если среда полностью наблюдаема, состояние $s_t$ известно агенту, и политика может зависеть только от состояния: $\pi(a \mid s_t)$ . Если среда частично наблюдаема, агент должен учитывать историю наблюдений или строить внутреннее состояние, например распределение убеждений $b_t(s)=\operatorname{P}(s_t=s\mid h_t)$ .

Критерий качества обычно задаётся функцией полезности или функцией награды. Рациональное действие при известной вероятностной модели среды выбирается по правилу максимизации ожидаемой полезности:

$a^*(h_t)=\arg\max_{a\in A}\operatorname{E}\left[U \mid h_t,a\right].$

Здесь $A$ — множество допустимых действий, $U$ — полезность будущей траектории, математическое ожидание берётся по неопределённым состояниям среды, результатам действий и будущим наблюдениям.

Виды рациональности

Идеальная рациональность

Идеально рациональный агент всегда выбирает оптимальное действие относительно заданной модели мира и критерия качества. Эта модель полезна как нормативный ориентир, но редко реализуема: реальные задачи имеют неполную информацию, шумные наблюдения, огромные пространства состояний и ограниченное время вычислений.

Вычислительная рациональность

Вычислительная рациональность учитывает стоимость вывода. Агент должен не только знать, какое действие оптимально, но и уметь найти его за доступное время. В задачах планирования и поиска это приводит к использованию эвристического поиска, аппроксимаций, усечённых горизонтов и жадных стратегий.

Ограниченная рациональность

Ограниченная рациональность описывает агента, который действует достаточно хорошо при ограничениях памяти, времени, данных и когнитивной модели среды^[1]. Вместо точной максимизации он может использовать satisficing: выбирать первое действие, удовлетворяющее заданному порогу качества.

Связь с MDP и POMDP

В марковском процессе принятия решений задача агента задаётся множеством состояний $S$ , действий $A$ , вероятностями переходов $P(s' \mid s,a)$ , функцией награды $R(s,a)$ и коэффициентом дисконтирования $\gamma$ . Цель состоит в нахождении политики, максимизирующей ожидаемую дисконтированную сумму наград:

$J(\pi)=\operatorname{E}_{\pi}\left[\sum_{t=0}^{\infty}\gamma^t R(s_t,a_t)\right].$

Если состояние наблюдается не полностью, используется частично наблюдаемый MDP. В этом случае агент действует не по истинному состоянию, а по распределению убеждений. Такие модели естественно описывают диагностику, диалоговые системы, автономную навигацию и задачи, где сенсоры дают неполную информацию.

Связь с обучением с подкреплением

В обучении с подкреплением модель переходов и наград часто неизвестна. Агент должен одновременно исследовать среду и улучшать политику. Поэтому рациональность здесь включает компромисс exploration-exploitation: иногда рационально выбрать действие с меньшей текущей ожидаемой наградой, если оно даёт информацию, повышающую будущую полезность.

В методах Q-обучения агент оценивает функцию действия:

$Q^{\pi}(s,a)=\operatorname{E}_{\pi}\left[\sum_{k=0}^{\infty}\gamma^k R(s_{t+k},a_{t+k})\mid s_t=s,a_t=a\right].$

Оптимальная политика выбирает действия с максимальным значением $Q^*(s,a)$ , однако в практических задачах значения аппроксимируются, а оптимальность заменяется эмпирической эффективностью.

Ограничения модели

Задание функции полезности может быть труднее, чем обучение политики. Неполная спецификация цели приводит к нежелательному поведению.
Максимизация ожидаемой полезности не описывает все формы человеческого рассуждения: люди используют эвристики, социальные нормы и контекстные ограничения.
В многоагентных средах рациональность одного агента зависит от ожиданий относительно других агентов и может требовать аппарата теории игр.
Рациональность относительно формальной цели не гарантирует безопасности, этичности или интерпретируемости поведения.

См. также

Литература

Источник — «http://machinelearning.ru/wiki/index.php?title=%D0%A0%D0%B0%D1%86%D0%B8%D0%BE%D0%BD%D0%B0%D0%BB%D1%8C%D0%BD%D1%8B%D0%B9_%D0%B0%D0%B3%D0%B5%D0%BD%D1%82»

Категория: Энциклопедия анализа данных

@@ Строка 1: / Строка 1: @@
-{{well|Статья написана с использованием LLM '''GPT-5.5''' и проверена участником [[Участник:Arsenii Kolesnikov|Arsenii Kolesnikov]] 10:53, 16 июля 2026 (MSD)}}}
+{{well|Статья написана с использованием LLM '''GPT-5.5''' и проверена участником [[Участник:Arsenii Kolesnikov|Arsenii Kolesnikov]] 10:53, 16 июля 2026 (MSD)}}
 '''Рациональный агент''' — модель [[Искусственный интеллект|искусственного интеллекта]], в которой система выбирает действия на основании доступных наблюдений, целей и критерия качества поведения. В классической формулировке агент называется рациональным, если для каждой истории восприятия он выбирает действие, максимизирующее ожидаемую меру успеха при заданных знаниях о среде<ref>Russell S., Norvig P. Artificial Intelligence: A Modern Approach. 4th ed. Pearson, 2021.</ref>.
-Понятие рационального агента служит общим языком для описания [[Экспертная система|экспертных систем]], [[Планирование в искусственном интеллекте|планирующих систем]], [[Обучение с подкреплением|обучения с подкреплением]], автономных роботов и современных LLM-агентов. В отличие от бытового смысла слова «рациональность», в ИИ это не свойство сознания и не этическая характеристика, а формальное отношение между целями, информацией, вычислительными ограничениями и выбранным действием.
+Понятие рационального агента служит общим языком для описания [[Экспертная система|экспертных систем]], планирующих систем, [[Обучение с подкреплением|обучения с подкреплением]], автономных роботов и современных LLM-агентов. В отличие от бытового смысла слова «рациональность», в ИИ это не свойство сознания и не этическая характеристика, а формальное отношение между целями, информацией, вычислительными ограничениями и выбранным действием.
 == Формальная модель ==
@@ Строка 17: / Строка 17: @@
 Если среда полностью наблюдаема, состояние <tex>s_t</tex> известно агенту, и политика может зависеть только от состояния: <tex>\pi(a \mid s_t)</tex>. Если среда частично наблюдаема, агент должен учитывать историю наблюдений или строить внутреннее состояние, например распределение убеждений <tex>b_t(s)=\operatorname{P}(s_t=s\mid h_t)</tex>.
-Критерий качества обычно задаётся [[Функция полезности|функцией полезности]] или функцией награды. Рациональное действие при известной вероятностной модели среды выбирается по правилу максимизации ожидаемой полезности:
+Критерий качества обычно задаётся функцией полезности или функцией награды. Рациональное действие при известной вероятностной модели среды выбирается по правилу максимизации ожидаемой полезности:
 :: <tex>a^*(h_t)=\arg\max_{a\in A}\operatorname{E}\left[U \mid h_t,a\right].</tex>
@@ Строка 31: / Строка 31: @@
 === Вычислительная рациональность ===
-Вычислительная рациональность учитывает стоимость вывода. Агент должен не только знать, какое действие оптимально, но и уметь найти его за доступное время. В задачах планирования и поиска это приводит к использованию [[Эвристический поиск|эвристического поиска]], аппроксимаций, усечённых горизонтов и жадных стратегий.
+Вычислительная рациональность учитывает стоимость вывода. Агент должен не только знать, какое действие оптимально, но и уметь найти его за доступное время. В задачах планирования и поиска это приводит к использованию эвристического поиска, аппроксимаций, усечённых горизонтов и жадных стратегий.
 === Ограниченная рациональность ===
-[[Ограниченная рациональность]] описывает агента, который действует достаточно хорошо при ограничениях памяти, времени, данных и когнитивной модели среды<ref>Simon H. A. Models of Man: Social and Rational. Wiley, 1957.</ref>. Вместо точной максимизации он может использовать satisficing: выбирать первое действие, удовлетворяющее заданному порогу качества.
+Ограниченная рациональность описывает агента, который действует достаточно хорошо при ограничениях памяти, времени, данных и когнитивной модели среды<ref>Simon H. A. Models of Man: Social and Rational. Wiley, 1957.</ref>. Вместо точной максимизации он может использовать satisficing: выбирать первое действие, удовлетворяющее заданному порогу качества.
 == Связь с MDP и POMDP ==
-В [[Марковский процесс принятия решений|марковском процессе принятия решений]] задача агента задаётся множеством состояний <tex>S</tex>, действий <tex>A</tex>, вероятностями переходов <tex>P(s' \mid s,a)</tex>, функцией награды <tex>R(s,a)</tex> и коэффициентом дисконтирования <tex>\gamma</tex>. Цель состоит в нахождении политики, максимизирующей ожидаемую дисконтированную сумму наград:
+В марковском процессе принятия решений задача агента задаётся множеством состояний <tex>S</tex>, действий <tex>A</tex>, вероятностями переходов <tex>P(s' \mid s,a)</tex>, функцией награды <tex>R(s,a)</tex> и коэффициентом дисконтирования <tex>\gamma</tex>. Цель состоит в нахождении политики, максимизирующей ожидаемую дисконтированную сумму наград:
 :: <tex>J(\pi)=\operatorname{E}_{\pi}\left[\sum_{t=0}^{\infty}\gamma^t R(s_t,a_t)\right].</tex>
@@ Строка 66: / Строка 66: @@
 * [[Искусственный интеллект]]
 * [[Обучение с подкреплением]]
-* [[Ограниченная рациональность]]
-* [[Планирование в искусственном интеллекте]]
-* [[Марковский процесс принятия решений]]
 == Литература ==
@@ Строка 74: / Строка 71: @@
 <references/>
-[[Категория:Искусственный интеллект]]
-[[Категория:Теория принятия решений]]
 [[Категория:Энциклопедия анализа данных]]