Краудсорсинг

Материал из MachineLearning.

Статья написана с использованием LLM Gemini 1.5 Pro и проверена участником Said Mavletov 19:22, 12 июля 2026 (MSD)

Краудсорсинг (от англ. crowd — «толпа» и sourcing — «использование ресурсов») — это метод делегирования задач, традиционно выполняемых сотрудниками или подрядчиками, неопределенной, как правило, большой группе людей (крауду) в форме открытого призыва.

В широком смысле краудсорсинг применяется в самых разных областях: от наполнения свободных энциклопедий (Википедия) и проектов совместного картографирования (OpenStreetMap) до решения сложных задач гражданской науки (например, фолдинг белка в проекте Foldit) и проведения соревнований по анализу данных (Kaggle).

В контексте машинного обучения краудсорсинг стал фундаментальным инструментом для массовой разметки данных, необходимых для алгоритмов обучения с учителем (Supervised Learning) и систем обучения с подкреплением на основе отзывов людей (RLHF).

Основные принципы

Для обучения моделей с учителем необходимы большие объемы размеченных данных. Чтобы алгоритм научился отличать кошек от собак на фотографиях, ему нужно показать тысячи изображений, где уже указано правильное значение целевой переменной. Когда объем данных исчисляется миллионами примеров, разметка силами штатных экспертов становится слишком долгой и дорогой.

Здесь на помощь приходит краудсорсинг. Сложная задача (например, разметка датасета из 100 000 фотографий) разбивается на множество микрозадач (microtasks). Эти задачи выкладываются на специальную платформу, где тысячи независимых исполнителей — асессоров — со всего мира выполняют их за небольшое вознаграждение.

Типичные задачи краудсорсинга в ML

• Классификация изображений и модерация контента (например, поиск запрещенных материалов).
• Разметка текста: выделение именованных сущностей (NER), определение тональности (Sentiment Analysis).
• Оценка релевантности поисковой выдачи.
• Аудио-транскрибация (распознавание речи для обучения голосовых помощников).
• Оценка ответов генеративных моделей (выбор лучшего из двух вариантов ответа чат-бота для последующего RLHF).

Контроль качества и агрегация

Главная проблема краудсорсинга — наличие шума в данных. Исполнители могут ошибаться, уставать или намеренно кликать случайные варианты ради быстрого заработка (спамеры). Поэтому наивный подход (одно задание — один исполнитель) редко применяется при создании крупных промышленных датасетов.

Для получения высококачественной разметки используется перекрытие (overlap) — одно и то же задание дается нескольким независимым асессорам. Возникает математическая задача агрегации ответов.

Методы агрегации разметок

1. Голосование большинством (Majority Vote, MV). Самый простой эвристический подход. Итоговой меткой считается та, которую выбрало большинство исполнителей. Метод хорошо работает при высоком среднем качестве крауда, но уязвим к скоординированному спаму и игнорирует тот факт, что квалификация у асессоров разная.
2. Модель Дэвида-Скина (Dawid-Skene). Классический байесовский подход, предложенный еще в 1979 году для медицинских консилиумов, но ставший одним из наиболее распространённых методов в краудсорсинге. Модель одновременно оценивает скрытую истинную метку (latent truth) объекта и матрицу ошибок (confusion matrix) каждого исполнителя. Оптимизация параметров происходит с помощью EM-алгоритма (Expectation-Maximization).
3. Модель GLAD (Generative model of Labels, Abilities, and Difficulties). Развитие идей Dawid-Skene. Помимо компетентности самого исполнителя, алгоритм учитывает внутреннюю сложность конкретного задания.

Архитектура качества пайплайнов

Современные платформы разметки (такие как Яндекс.Толока, Amazon Mechanical Turk, Scale AI) предлагают встроенные механизмы повышения качества еще до этапа агрегации:

• Обучающие пулы и экзамены: исполнитель допускается к боевой задаче только после успешного прохождения теста.
• Ханипоты (Honeypots / Контрольные задания): в общий пул задач незаметно подмешиваются задания с заранее известным правильным ответом. Если исполнитель часто ошибается на ханипотах, его блокируют, а его разметку аннулируют.
• Динамическое ценообразование: вознаграждение растет вместе с показателем надежности (trust score) асессора.

Синергия с активным обучением

В современных пайплайнах краудсорсинг часто объединяют с активным обучением (Active Learning). Вместо того чтобы размечать весь огромный массив сырых данных, ML-модель сама выбирает те объекты, в которых она «не уверена» (например, где распределение вероятностей классов близко к равномерному), и отправляет в краудсорсинг только их. Это позволяет сократить бюджет на разметку в десятки раз без потери качества итоговой модели.

Литература

• Dawid A. P., Skene A. M. Maximum Likelihood Estimation of Observer Error-Rates Using the EM Algorithm. — 1979. — Т. 28. — № 1. — С. 20-28.
• Raykar V. C. [и др.] Learning from Crowds. — 2010. — Т. 11. — С. 1297-1322.
• Zheng Y. [и др.] Truth Inference in Crowdsourcing: Is the Problem Solved?. — 2017. — Т. 10. — № 5. — С. 541-552.
• Ouyang L. [и др.] Training language models to follow instructions with human feedback (RLHF). — 2022. — Т. 35. — С. 27730-27744.