Псевдоразметка данных
Материал из MachineLearning.
Содержание |
Псевдоразметка данных
Представим, что для обучения модели есть 500 фотографий, которые человек уже подписал как «кошка» или «собака», и ещё несколько тысяч изображений без подписей. Сначала модель можно обучить только на размеченной части. Затем она сама обработает остальные фотографии и предположит, какой класс соответствует каждому изображению. Такие автоматически полученные ответы называются псевдометками.
Псевдоразметка данных, или псевдомаркировка, — это способ использовать неразмеченные данные вместе с небольшой обучающей выборкой. Метод особенно полезен, когда собрать данные легко, а их ручная разметка требует много времени, денег или участия специалистов.
Основная идея
Псевдометка — это не подтверждённый человеком правильный ответ, а предсказание уже обученной модели. Например, модель может определить, что на фотографии с высокой уверенностью изображена кошка. В этом случае метка «кошка» временно используется так, будто её поставил человек.
После добавления таких объектов обучающая выборка становится больше. Модель получает больше примеров и иногда лучше распознаёт общие закономерности. Однако псевдометки могут быть ошибочными, поэтому их нельзя считать полной заменой ручной разметки.
Как работает псевдоразметка
Основная схема метода выглядит следующим образом:
- Модель обучается на небольшой размеченной выборке.
- Обученная модель делает предсказания для неразмеченных объектов.
- Из этих предсказаний выбираются наиболее уверенные.
- Выбранным объектам назначаются псевдометки.
- Размеченные и псевдоразмеченные данные объединяются.
- Модель повторно обучается на расширенной выборке.
Этот процесс можно выполнить один раз или повторить несколько раз. При повторении модель после нового обучения снова размечает оставшиеся объекты. На каждой следующей итерации в выборку могут добавляться новые примеры.
Пример применения
Рассмотрим задачу определения темы коротких сообщений. Есть тысяча текстов, вручную отнесённых к категориям «спорт», «технологии» и «культура», а также много текстов без меток.
Сначала классификатор обучается на размеченных сообщениях. Затем он обрабатывает остальные тексты. Если модель очень уверенно относит сообщение к теме «спорт», этот ответ сохраняется как псевдометка. Сообщения с неуверенными оценками пока не используются.
После отбора наиболее надёжные псевдоразмеченные тексты добавляются к исходной выборке. Модель обучается заново и получает больше примеров употребления слов и выражений. При удачном отборе это может повысить качество классификации.
Выбор псевдометок
Главная проблема метода состоит в том, что модель может ошибаться. Если ошибочное предсказание добавить в обучающую выборку, при следующем обучении модель начнёт воспринимать его как правильный ответ.
Чтобы уменьшить риск, обычно задают порог уверенности. Псевдометка принимается только тогда, когда модель заметно увереннее в одном классе, чем в остальных. Точный порог зависит от задачи и качества модели.
Если порог слишком низкий, в выборку попадёт много неправильных меток. Ошибки могут накапливаться: модель обучается на собственных неверных ответах, а затем становится ещё увереннее в них. Это явление называют ошибкой подтверждения, или confirmation bias.
Если порог слишком высокий, будет выбрано мало объектов, и польза от неразмеченных данных окажется небольшой. Поэтому качество метода проверяют на отдельной проверочной выборке.
Преимущества и ограничения
Преимущества псевдоразметки:
- позволяет использовать большие объёмы неразмеченных данных;
- уменьшает потребность в ручной разметке;
- имеет простую и понятную схему;
- может улучшить модель при небольшом числе размеченных примеров.
Ограничения метода:
- псевдометки могут содержать ошибки;
- слабая начальная модель создаёт некачественную разметку;
- ошибки способны усиливаться при повторном обучении;
- уверенность модели не всегда означает правильность ответа;
- результат зависит от порога уверенности и состава данных.
Применение
Псевдоразметка используется в компьютерном зрении для классификации изображений, в обработке естественного языка для определения тем и категорий текстов, а также в распознавании речи.
В медицинских задачах псевдометки могут применяться к изображениям или записям, которые ещё не проверены специалистом. Однако в таких областях автоматические метки необходимо использовать особенно осторожно из-за высокой цены ошибки.
Связь с другими методами
Псевдоразметка является одним из подходов обучения с частичным привлечением учителя, где одновременно используются размеченные и неразмеченные данные.
Она также тесно связана с самообучением, или self-training. При самообучении модель создаёт метки для неразмеченных объектов и затем обучается на собственных предсказаниях. Псевдоразметку можно рассматривать как конкретный способ организации такого процесса.
От ручной разметки метод отличается тем, что ответы назначает модель, а не человек. Псевдоразметка также не создаёт новые объекты: она добавляет предполагаемые метки к уже существующим данным. Поэтому её не следует смешивать с автоматической генерацией изображений, текстов или других синтетических данных.
См. также
- Разметка данных
- Обучающая выборка
- Классификация
- Неразмеченные данные
- Обучение с частичным привлечением учителя
- Самостоятельное обучение
- Компьютерное зрение
- Обработка естественного языка
Литература
- Chapelle O., Schölkopf B., Zien A., eds. Semi-Supervised Learning. — Cambridge, Massachusetts: MIT Press, 2006.
- Lee D.-H. Pseudo-Label: The Simple and Efficient Semi-Supervised Learning Method for Deep Neural Networks // ICML Workshop on Challenges in Representation Learning. — 2013.
- Arazo E., Ortego D., Albert P., O'Connor N. E., McGuinness K. Pseudo-Labeling and Confirmation Bias in Deep Semi-Supervised Learning // International Joint Conference on Neural Networks. — 2020. — P. 1–8.
- Sohn K. et al. FixMatch: Simplifying Semi-Supervised Learning with Consistency and Confidence // Advances in Neural Information Processing Systems. — 2020. — Vol. 33. — P. 596–608.
