Цивилизационная идеология как основа целеполагания в развитии ИИ.

Материал из MachineLearning.

Цивилизационная идеология как основа целеполагания в развитии ИИ

Цивилизационная идеология — в авторской концепции К. В. Воронцова система исходных представлений о целях человеческой цивилизации, иерархии защищаемых ценностей и критериях оценки направлений технологического развития. В применении к искусственному интеллекту она отвечает прежде всего не на вопрос «как построить более мощную модель», а на вопрос «для каких целей следует создавать и применять ИИ и какие ограничения при этом недопустимо нарушать».

Концепция была представлена Воронцовым, в частности, в лекции «Цивилизационная идеология: мысли о будущем искусственного интеллекта и о будущем вообще» в МГУ в 2023 году. В официальной аннотации лекции цивилизационная идеология характеризуется как попытка обсуждать цели и угрозы технологического развития с опорой на аксиоматический подход, естественные и социогуманитарные науки^[1]. Эта концепция не является общепринятой теорией машинного обучения или завершённой формальной этической системой. Её значение состоит в постановке проблемы целеполагания: вычислительная эффективность, масштаб модели и качество на тестовых наборах сами по себе не определяют общественную ценность технологии.

Содержание 1 Статус и назначение концепции 2 Иерархия цивилизационных ценностей 3 Цель цивилизации и определение добра и зла 4 Человек как субъект ответственности 5 Критика AGI как «северной звезды» 6 Социотехнические имажинарии 7 От data-driven к целеориентированной разработке ИИ 8 Методологизация и оценка проектов 9 Ограничения и открытые проблемы 10 Практические выводы для специалистов по машинному обучению 11 Заключение 12 См. также 13 Примечания 14 Литература

Статус и назначение концепции

Большинство методов машинного обучения решают задачу, цель которой уже задана разработчиком: минимизируют функцию потерь, максимизируют ожидаемое вознаграждение или подбирают действие в соответствии с установленным критерием. Однако выбор самой задачи, данных, метрик и допустимых областей применения не выводится автоматически из алгоритма. Он зависит от человеческих решений и от представлений о том, какие результаты считаются желательными.

Поэтому в контексте ИИ цивилизационная идеология рассматривается не как ещё один алгоритм обучения, а как нормативная рамка более высокого уровня. Она должна предшествовать технической постановке задачи и использоваться при выборе исследовательских направлений, распределении ресурсов, оценке рисков и определении границ применения систем ИИ.

Такой подход согласуется с критикой представления о машинном обучении как о полностью ценностно-нейтральной деятельности. Анализ ста наиболее цитируемых работ ICML и NeurIPS, выполненный А. Бирхане и соавторами, показал, что в исследовательских статьях чаще всего подчёркиваются производительность, обобщающая способность, эффективность и новизна, тогда как связь проекта с общественной потребностью и возможные отрицательные последствия обсуждаются значительно реже^[1]. Этот результат не означает, что перечисленные технические ценности ошибочны, но показывает необходимость явного обсуждения целей, которым они подчинены.

Иерархия цивилизационных ценностей

В публичных материалах Воронцова предлагается следующая иерархия цивилизационных ценностей^[1]:

1. Биосфера Земли. Биосфера понимается как необходимое условие существования человеческого вида и всех созданных им форм культуры и технологии.
2. Человеческий вид. Homo sapiens рассматривается как результат длительной биологической эволюции и носитель способности к созданию культуры и коллективного знания.
3. Коллективный разум. К этому уровню относятся образование, наука, культура, язык, социальные институты и механизмы передачи знаний между поколениями.
4. Индивидуальный разум и жизнь человека. Ценностью обладают жизнь, достоинство, свобода, способность к мышлению, творчеству и самостоятельному принятию решений каждого человека.
5. Результаты человеческого труда. Материальные объекты, инфраструктура, капитал, данные, программные системы и другие артефакты имеют инструментальную ценность, поскольку служат сохранению и развитию вышестоящих уровней.

Иерархия выражает принцип подчинения средств целям: результаты труда и технологии не должны рассматриваться как самостоятельная высшая ценность. Например, увеличение производительности или прибыли не является достаточным оправданием проекта, если его ожидаемые последствия создают неприемлемый ущерб для людей, культуры или биосферы.

В материалах Воронцова эта иерархия дана как система приоритетов, но не как готовый математический порядок. Из неё нельзя без дополнительных правил автоматически вывести решение любой моральной дилеммы. Для практического применения необходимо определить измеримые показатели, допустимые уровни риска, процедуры разрешения конфликтов ценностей и ответственных лиц.

Цель цивилизации и определение добра и зла

Воронцов формулирует цель человеческой цивилизации как неограниченно долгое сохранение биосферы Земли и её защиту от катаклизмов ради выживания вида Homo sapiens в условиях, достаточно комфортных для всех людей. В рамках этой формулировки добром называется всё, что способствует достижению данной цели, а злом — всё, что ей препятствует. В качестве положительных ориентиров называются любовь, познание и созидание; в качестве отрицательных — ненависть, невежество и деградация^[1].

Это определение является нормативным и телеологическим: действие оценивается через его вклад в долгосрочное сохранение и развитие цивилизации. Оно не представляет собой готовую функцию вознаграждения для обучения с подкреплением. Такие понятия, как сохранение биосферы, достоинство личности или развитие коллективного разума, многомерны, зависят от контекста и не сводятся без потерь к одному числу.

Поэтому непосредственная замена моральной оценки единственным скалярным показателем создаёт риск ошибочной спецификации цели. В исследованиях безопасности ИИ подобные проблемы рассматриваются как отрицательные побочные эффекты, эксплуатация ошибок функции вознаграждения, недостаточность надзора, небезопасное исследование среды и неустойчивость при изменении распределения данных^[1].

Человек как субъект ответственности

Предлагаемая иерархия не является антропоцентричной в простом смысле, поскольку биосфера поставлена выше интересов отдельного человека и даже человеческого вида. Однако она остаётся человеко-центричной в вопросе ответственности: именно люди и созданные ими организации формулируют цели, разрабатывают системы, принимают решения о внедрении и несут ответственность за последствия.

Следует различать два значения слова «агент». В техническом смысле интеллектуальный агент может самостоятельно выбирать действия в среде. В моральном и правовом смысле субъект ответственности должен быть способен понимать нормативные требования, отвечать за свои решения и участвовать в социальных процедурах оправдания, контроля и санкций. Современные системы ИИ не обладают признанным статусом самостоятельного морального или юридического субъекта.

Рекомендация UNESCO по этике искусственного интеллекта прямо указывает, что система ИИ не может заменять окончательную человеческую ответственность и подотчётность; решения, связанные с жизнью и смертью, не должны полностью передаваться ИИ^[1]. Это не означает, что ответственность всегда лежит на одном операторе. Она должна распределяться между разработчиками, поставщиками, владельцами данных, организациями, внедряющими систему, и лицами, принимающими окончательное решение, в соответствии с их полномочиями и фактическим контролем.

Из этого следует важное ограничение: ИИ может поддерживать человеческое целеполагание, оценивать варианты и предупреждать о рисках, но не должен использоваться как основание для снятия ответственности с людей. Формула «так решила модель» не является достаточным оправданием общественно значимого решения.

Критика AGI как «северной звезды»

Термин AGI используется для обозначения предполагаемой системы с широкими, переносимыми между областями интеллектуальными способностями. Единого общепринятого определения AGI не существует: разные авторы связывают его с человеческим уровнем выполнения задач, универсальностью, автономностью, экономической заменимостью труда или способностью к обучению в новых средах.

В позиционной статье Blili-Hamelin и соавторов, опубликованной на ICML 2025, предлагается отказаться от AGI как от единой «северной звезды» исследований ИИ^[1]. Авторы выделяют шесть ловушек, усиливаемых AGI-дискурсом:

1. Иллюзия консенсуса — употребление одного термина скрывает существенные различия между определениями и целями.
2. Усиление слабой науки — расплывчатая цель затрудняет проверяемую постановку гипотез и сравнение результатов.
3. Предположение о ценностной нейтральности — технический язык может скрывать нормативные решения о том, какие способности и формы интеллекта считаются желательными.
4. Лотерея целей — движение к неопределённой дальней цели может подменять обоснованный выбор конкретных общественных и инженерных задач.
5. Долг универсальности — требование общей применимости способно отвлекать ресурсы от специализированных систем, которые лучше решают значимые задачи.
6. Нормализация исключения — узкий круг дисциплин, организаций и социальных групп получает непропорциональное влияние на определение будущего ИИ.

Авторы не доказывают невозможность создания более универсальных систем и не утверждают, что исследования общих способностей лишены смысла. Их тезис состоит в другом: AGI не следует использовать как безусловную конечную цель всей области. Вместо этого предлагаются конкретность научных и общественных целей, множественность исследовательских направлений и более широкое участие различных дисциплин и сообществ.

Этот вывод близок принципу Воронцова «идти от целей и задач к технологиям, а не наоборот»^[1]. Вопрос о необходимости AGI должен ставиться после определения цивилизационной задачи: какие проблемы требуют решения, какие технологии являются необходимыми и достаточными и оправдывают ли ожидаемые результаты затраты и риски. AGI в таком подходе является возможным средством или исследовательской гипотезой, но не самостоятельной высшей целью.

Социотехнические имажинарии

Понятие социотехнического имажинария было разработано Шейлой Джазанофф и Сан-Хён Ким. Оно обозначает коллективно поддерживаемые, институционально закреплённые и публично воспроизводимые представления о желательном будущем, основанные на понимании того, какие формы общественной жизни могут быть достигнуты с помощью науки и технологий^[1][1].

Социотехнический имажинарий не равен прогнозу. Он включает нормативное представление о том, каким должно быть общество, какие технологии считаются необходимыми и кто получает полномочия определять направление развития. Имажинарии могут формироваться государствами, корпорациями, профессиональными сообществами и общественными движениями. В одном обществе могут одновременно существовать несколько конкурирующих образов будущего.

Применительно к AGI Эмилио Баркетт в препринте 2026 года анализирует публичные эссе руководителей OpenAI и Anthropic как примеры корпоративного социотехнического имажинария^[1]. Автор выделяет общие риторические приёмы: отказ от роли пророка при фактическом формировании образа будущего; представление прихода AGI как исторически естественного процесса; включение оговорок о рисках в преимущественно оптимистический сценарий; а также неявное представление компании-разработчика как необходимого участника будущего. Поскольку работа опубликована как препринт, её выводы следует рассматривать как аргумент критического анализа дискурса, а не как окончательно установленный результат.

Концепция имажинариев дополняет цивилизационную идеологию важным предостережением: представления о будущем ИИ не только описывают возможные технологии, но и распределяют власть, ресурсы и право говорить от имени общества. Поэтому нельзя автоматически считать единственный государственный или корпоративный сценарий выражением ценностей всей цивилизации.

От data-driven к целеориентированной разработке ИИ

Противопоставление data-driven и goal-driven AI следует понимать как различие в порядке постановки задачи, а не как отказ от данных. Любая современная система машинного обучения использует данные, модель и критерий оптимизации. Одновременно любая обучаемая система уже содержит некоторую цель: например, снижение ошибки классификации, предсказание следующего токена или максимизацию вознаграждения.

Проблема возникает тогда, когда доступность данных, рост метрики или возможность масштабирования фактически заменяют обоснование общественной цели. Целеориентированная разработка предлагает противоположный порядок:

1. определить общественно значимую цель и затрагиваемые ценности;
2. установить недопустимые последствия и пределы риска;
3. определить, нужен ли для задачи ИИ и какая степень автоматизации оправданна;
4. выбрать данные, модель и метрики, соответствующие цели;
5. проверить систему в реальном контексте применения;
6. сохранить человеческий контроль, возможность пересмотра и распределённую ответственность.

Технические методы могут помогать уточнять человеческие цели. В обратном обучении с подкреплением цель выводится из наблюдаемого поведения человека. В cooperative inverse reinforcement learning человек и система моделируются как участники совместной задачи, причём система не знает истинную функцию вознаграждения и должна уточнять её во взаимодействии^[1]. Обучение по человеческим предпочтениям позволяет строить модель вознаграждения на основе сравнений вариантов поведения^[1].

Однако эти методы не решают нормативную проблему полностью. Они требуют ответа на вопросы: чьи предпочтения собираются, как учитываются ошибки и неравенство влияния, как согласуются конфликтующие интересы, какие права нельзя отменить большинством и кто отвечает за итоговую систему. Данные о человеческом поведении показывают, как люди действовали или что они предпочли в конкретной ситуации, но не являются автоматическим доказательством того, как следует поступать.

Поэтому цивилизационную идеологию нельзя просто «встроить в функцию потерь». Практическая реализация ценностей требует сочетания нескольких уровней:

• запретов и жёстких ограничений для недопустимых действий;
• многокритериальной оценки пользы и вреда;
• тестирования надёжности, безопасности, справедливости и устойчивости;
• человеческого надзора и возможности остановки или отмены решения;
• документирования данных, целей, ограничений и известных рисков;
• независимого аудита и мониторинга после внедрения;
• организационной и правовой ответственности.

Методологизация и оценка проектов

В качестве рабочей методологии цивилизационная идеология может использоваться не для автоматической выдачи морально «правильного» решения, а для структурированного анализа проектов. Такая интерпретация совместима с подходом NIST AI Risk Management Framework, который предлагает управлять рисками ИИ через четыре взаимосвязанные функции: управление, картирование контекста, измерение и обработку рисков^[1].

Для каждого проекта целесообразно последовательно рассматривать следующие вопросы.

1. Цель. Какую конкретную проблему решает система и почему эта проблема общественно значима?
2. Необходимость. Требуется ли для решения именно ИИ или достаточно более простой, проверяемой и дешёвой технологии?
3. Воздействие на иерархию ценностей. Каковы ожидаемые положительные и отрицательные последствия для биосферы, человеческой безопасности, коллективного знания, личности и результатов труда?
4. Доказательства. Какими данными подтверждаются ожидаемая польза, безопасность и превосходство над альтернативами?
5. Распределение последствий. Кто получает выгоды, кто несёт риски и не перекладываются ли издержки на группы с меньшей возможностью влиять на решение?
6. Обратимость. Можно ли остановить систему, исправить ошибку, восстановить данные и компенсировать причинённый ущерб?
7. Ответственность. Какие люди и организации уполномочены принимать решения и отвечать за проект на каждом этапе жизненного цикла?
8. Контроль. Какие метрики, независимые проверки и процедуры мониторинга будут действовать после внедрения?

Стратегически значимым можно считать проект, который решает обоснованную проблему верхних уровней иерархии, имеет проверяемую пользу, контролируемые риски и ясную структуру ответственности. Проект, ориентированный только на улучшение локальной метрики, демонстрацию новой возможности или краткосрочную экономию, не становится стратегически значимым автоматически. При этом сама иерархия не заменяет эмпирическую оценку: утверждение о пользе для биосферы, образования или культуры должно подтверждаться измерениями и проверяться в конкретном контексте.

Ограничения и открытые проблемы

Цивилизационная идеология как основа целеполагания сталкивается с рядом нерешённых вопросов.

Плюрализм ценностей. Внутри любого общества существуют различные представления о справедливости, свободе, благополучии и допустимом риске. Нельзя без доказательств считать одну формулировку выражением позиции всех людей.

Конфликты уровней. Сохранение биосферы, безопасность вида, развитие знания и права личности могут вступать в конфликт. Общая иерархия не определяет автоматически допустимую жертву, временной горизонт и способ сравнения последствий.

Проблема измерения. Такие ценности, как достоинство, культурное разнообразие или качество коллективного разума, нельзя полностью представить одной метрикой. Любой показатель является приближением и может стать объектом оптимизации в ущерб исходной цели.

Концентрация полномочий. Орган, объявляющий себя носителем «цивилизационных ценностей», может использовать эту роль для исключения альтернативных позиций. Поэтому нормативные критерии должны формироваться прозрачным образом, допускать общественное обсуждение и независимое оспаривание.

Неопределённость долгосрочных последствий. Чем дальше временной горизонт, тем менее надёжны прогнозы. Требуются сценарный анализ, принцип предосторожности, периодический пересмотр решений и предпочтение обратимых вмешательств при высокой неопределённости.

Отсутствие готовой технической реализации. Концепция Воронцова задаёт направление рассуждения, но не предоставляет проверенного алгоритма согласования ценностей, функции потерь или универсального протокола управления ИИ. Попытки представить её как уже решённую инженерную задачу были бы некорректны.

Практические выводы для специалистов по машинному обучению

Для исследователей и инженеров из данной концепции следуют несколько практических положений.

Во-первых, техническая возможность не является достаточным основанием для разработки и внедрения системы. До начала проекта необходимо определить цель, заинтересованные стороны, ожидаемую пользу и недопустимые последствия.

Во-вторых, данные и метрики не являются ценностно нейтральными. Выбор обучающей выборки, целевой переменной, функции потерь и тестового набора закрепляет определённое понимание качества и допустимой ошибки.

В-третьих, повышение средней точности не гарантирует общественной пользы. Необходимо отдельно оценивать безопасность, устойчивость, распределение ошибок, воздействие на автономию человека, окружающую среду и институты коллективного знания.

В-четвёртых, обучение по человеческой обратной связи не устраняет проблему ценностей, а переносит её в выбор участников, формулировку инструкций, агрегацию оценок и устройство контроля.

В-пятых, окончательная ответственность не должна передаваться модели. Для каждого значимого решения должны быть определены человек или организация, способные объяснить выбор, пересмотреть его и устранить последствия ошибки.

Наконец, AGI, масштаб модели и универсальность не должны использоваться как самостоятельные показатели прогресса. Оценка развития ИИ должна начинаться с конкретных научных, общественных и цивилизационных задач.

Заключение

Цивилизационная идеология в трактовке К. В. Воронцова представляет собой попытку поставить целеполагание выше технологической гонки и связать развитие ИИ с долгосрочным сохранением биосферы, человеческого вида, культуры и личности. Её основным вкладом является не готовая математическая формула, а требование явно отвечать на вопрос, ради чего создаётся технология и каким ценностям она должна быть подчинена.

Связь этой концепции с современными исследованиями ИИ проявляется в критике неопределённой цели AGI, в анализе ценностей, встроенных в исследовательские практики, в изучении социотехнических имажинариев и в разработке методов ответственного управления рисками. Вместе с тем цивилизационная идеология остаётся нормативным предложением, которое требует дальнейшей философской разработки, общественного обсуждения и эмпирической операционализации.

Её продуктивное применение возможно только при сохранении ценностного плюрализма, прозрачности, проверяемости и человеческой ответственности. В таком виде она может служить методологическим инструментом выбора задач и оценки проектов, но не заменой научного анализа, прав человека, демократических процедур и технических методов обеспечения безопасности.

См. также

• AI Alignment
• Искусственный общий интеллект
• Обучение с подкреплением
• Обратное обучение с подкреплением
• Многокритериальная оптимизация
• Этика искусственного интеллекта
• Социотехническая система
• Управление рисками

Примечания

Литература

• Воронцов К. В. Цивилизационная идеология: мысли о будущем искусственного интеллекта и о будущем вообще. Лекция в лектории «Кругозор», ВМК МГУ, 23 ноября 2023.
• Воронцов К. В. Футурология искусственного интеллекта: от персонального помощника к цифровому послесмертию. Презентация на Data Fusion, 2025.
• Blili-Hamelin B., Graziul C., Hancox-Li L. et al. Position: Stop Treating ‘AGI’ as the North-Star Goal of AI Research // Proceedings of the 42nd International Conference on Machine Learning. PMLR 267. 2025. P. 81090–81117.
• Jasanoff S., Kim S.-H. Containing the Atom: Sociotechnical Imaginaries and Nuclear Power in the United States and South Korea // Minerva. 2009. Vol. 47. P. 119–146.
• Jasanoff S., Kim S.-H., eds. Dreamscapes of Modernity: Sociotechnical Imaginaries and the Fabrication of Power. Chicago: University of Chicago Press, 2015.
• Barkett E. The Compulsory Imaginary: AGI and Corporate Authority. arXiv preprint, 2026.
• Birhane A., Kalluri P., Card D. et al. The Values Encoded in Machine Learning Research // Proceedings of the 2022 ACM Conference on Fairness, Accountability, and Transparency. 2022.
• Amodei D., Olah C., Steinhardt J. et al. Concrete Problems in AI Safety. 2016.
• Hadfield-Menell D., Dragan A., Abbeel P., Russell S. Cooperative Inverse Reinforcement Learning // Advances in Neural Information Processing Systems. 2016.
• Christiano P. F., Leike J., Brown T. et al. Deep Reinforcement Learning from Human Preferences // Advances in Neural Information Processing Systems. 2017.
• UNESCO. Recommendation on the Ethics of Artificial Intelligence. Paris: UNESCO, 2021.
• National Institute of Standards and Technology. Artificial Intelligence Risk Management Framework (AI RMF 1.0). Gaithersburg: NIST, 2023.