Просмотр

Материал из MachineLearning.

У вас нет прав на выполнение этой операции по следующим причинам:

• Запрошенное действие могут выполнять только участники из групп emailconfirmed, Администраторы.
• Вы должны подтвердить ваш адрес электронной почты перед правкой страниц. Пожалуйста, введите и подтвердите ваш адрес эл. почты на странице настроек.

Вы можете просмотреть и скопировать исходный текст этой страницы:

{{TOCright}} {{well|Статья написана с использованием LLM Gemini PRO 2026 и DeepSeek DeepSeek-V4-Flash и доработана участником [[Участник:Dmitrii Vishovan|Dmitrii Vishovan]] 23:14, 13 июля 2026 (MSD)}} {{main|Байесовский классификатор}} '''Наивный байесовский классификатор''' ({{lang-en|naïve Bayes classifier}}) — это [[вероятностный классификатор]], основанный на применении [[теорема Байеса|теоремы Байеса]] со строгим («наивным») предположением о статистической независимости признаков. В отличие от общего байесовского классификатора, который требует оценки совместной [[плотность распределения вероятностей|плотности распределения]] всех признаков для каждого класса, наивный байесовский классификатор предполагает, что при заданном значении класса каждый признак статистически независим от любого другого признака. == Историческая справка == Наивный байесовский классификатор имеет долгую историю, уходящую корнями в 1950-е годы. Ранние работы по байесовским методам классификации появились в контексте распознавания образов и медицинской диагностики. Однако широкую известность метод приобрёл в 1960-е годы, когда он был предложен как простой и эффективный подход для классификации текстов. Термин «наивный» (naïve) закрепился за ним именно из-за кажущейся нереалистичности предположения о независимости признаков, которое, тем не менее, не мешало методу показывать отличные результаты на практике. == Математическая постановка == Пусть объект <tex>x \in X</tex> описывается вектором из <tex>n</tex> признаков: ::<tex>x = (\xi_1, \dots, \xi_n) = (f_1(x), \dots, f_n(x))</tex>. Предположение о независимости означает, что многомерные функции правдоподобия классов представимы в виде произведения одномерных плотностей: ::<tex>p_y(x) = p_{y1}(\xi_1) \cdot \ldots \cdot p_{yn}(\xi_n)</tex>, где <tex>p_{yj}(\xi_j)</tex> — плотность распределения значений <tex>j</tex>-го признака для класса <tex>y</tex>. Итоговый алгоритм классификации (правило максимальной апостериорной вероятности) принимает вид: ::<tex>a(x) = \arg\max_{y \in Y} \left( P(y) \prod_{j=1}^n p_{yj}(\xi_j) \right),</tex> где <tex>P(y)</tex> — [[априорная вероятность]] класса <tex>y</tex>. Это предположение существенно упрощает задачу, так как оценить <tex>n</tex> одномерных плотностей по выборке гораздо легче, чем одну полновесную <tex>n</tex>-мерную плотность. == Интуиция и обоснование == Несмотря на кажущуюся наивность предположения, классификатор часто показывает удивительно высокую эффективность в реальных задачах. Это явление получило строгое теоретическое обоснование в работе ''"The Optimality of Naive Bayes"'' (Zhang H., 2004). Авторы показали, что зависимости между признаками могут взаимно компенсировать друг друга, и предложили достаточное условие оптимальности наивного байесовского классификатора. В этой работе предлагается не просто констатировать факт компенсации, но и вводится понятие '''распределения зависимостей''' (''dependence distribution''). Показано, что решающую роль играет то, как локальные зависимости каждого признака распределены внутри классов (равномерно или неравномерно) и как они взаимодействуют между собой — согласованно (усиливая друг друга для определённого класса) или несогласованно (взаимно нейтрализуясь). Автор доказывает, что даже при наличии сильных корреляций между признаками наивный байесовский классификатор остаётся оптимальным, если зависимости распределены в классах равномерно или если они компенсируют друг друга. Более того, приводится достаточное условие оптимальности, при котором зависимости между признаками существуют, но не влияют на качество классификации, так как оценки [[апостериорная вероятность|апостериорных вероятностей]] классов остаются верно ранжированными. == Варианты оценки плотности == === Параметрический наивный байесовский классификатор === В параметрическом варианте одномерные плотности <tex>p_{yj}(\xi_j)</tex> принадлежат известному параметрическому семейству. Параметры распределения оцениваются по обучающей выборке [[метод максимального правдоподобия|методом максимального правдоподобия]]. * '''Гауссовский наивный Байес''' (Gaussian Naive Bayes): Применяется для непрерывных признаков. Предполагается, что значения признака внутри каждого класса подчиняются [[нормальное распределение|нормальному закону]]. * '''Мультиномиальный наивный Байес''': Учитывает частоту появления признаков, классически применяется для дискретных данных (например, счетчики слов). * '''Бернуллиевский наивный Байес''' (Bernoulli Naive Bayes): Применяется для бинарных признаков (наличие/отсутствие слова в документе). В отличие от мультиномиальной модели, бернуллиевская учитывает исключительно сам факт появления признака, что часто даёт лучшие результаты для коротких текстов. === Непараметрический наивный байесовский классификатор === В непараметрическом варианте плотности восстанавливаются с помощью методов, таких как гистограммное оценивание или [[ядерная оценка плотности|ядерное сглаживание]]. Это позволяет избежать жестких предположений о форме распределений, но требует большего объема данных. == Специфические проблемы и их решения == === Проблема нулевых частот и сглаживание Лапласа === Формально проблема возникает, когда для некоторого класса <tex>y</tex> и признака <tex>j</tex> точечная оценка вероятности <tex>p_{yj}(\xi_j) = 0</tex> (значение не встречалось в обучении). В этом случае, согласно формуле <tex>P(y|x) \propto P(y) \prod_{j=1}^n p_{yj}(\xi_j)</tex>, вся апостериорная вероятность класса <tex>P(y|x)</tex> мгновенно обращается в ноль, что делает классификацию по данному классу невозможной независимо от значений остальных (даже очень информативных) признаков. Для решения этой проблемы применяется '''[[сглаживание Лапласа]]''' (аддитивное сглаживание). В дискретном случае оценка максимального правдоподобия модифицируется добавлением псевдо-частоты: ::<tex>\hat{p}_{yj}(\xi_j) = \frac{N_{yj}(\xi_j) + \alpha}{N_y + \alpha d_j},</tex> где <tex>N_{yj}(\xi_j)</tex> — число объектов класса <tex>y</tex> со значением признака <tex>\xi_j</tex>, <tex>N_y</tex> — общее число объектов класса <tex>y</tex>, <tex>d_j</tex> — количество всех возможных уникальных значений <tex>j</tex>-го признака, а <tex>\alpha > 0</tex> — параметр сглаживания (при <tex>\alpha=1</tex> получаем классическое сглаживание Лапласа, при <tex>\alpha < 1</tex> — сглаживание Лидстоуна). === Обработка пропущенных значений === Благодаря своей структуре, основанной на произведении независимых одномерных распределений, наивный байесовский классификатор естественным образом [[устойчивость (статистика)|устойчив к пропущенным значениям]]. С математической точки зрения это эквивалентно процедуре маргинализации (интегрированию) совместного распределения по неизвестной переменной. В силу условной независимости интеграл от плотности по всему пространству значений пропущенного признака равен 1. На практике это означает, что при предсказании для объекта с пропуском соответствующий множитель просто опускается, и решение принимается на основе доступных признаков без необходимости их предварительной импутации (заполнения). === Проблема дисбаланса классов === Стандартный наивный Байес крайне чувствителен к несбалансированным данным (class imbalance). Чтобы понять причину, рассмотрим логарифм решающего правила: ::<tex>\arg\max_{y \in Y} \left( \log P(y) + \sum_{j=1}^n \log p_{yj}(\xi_j) \right).</tex> Здесь логарифм априорной вероятности <tex>\log P(y)</tex> выступает в роли константного сдвига (bias). Если один класс доминирует, его логарифмический сдвиг становится настолько большим, что может подавить сумму признаковых лог-правдоподобий, заставляя модель всегда предсказывать мажорный класс. Решением служит применение техник оверсемплинга (например, SMOTE), либо ручная калибровка (искусственное выравнивание) априорных вероятностей классов <tex>P(y)</tex> на этапе тестирования. === Калибровка вероятностей === Наивный байесовский классификатор выдаёт плохо откалиброванные вероятности. Из-за многократного перемножения вероятностей алгоритм склонен к излишней уверенности: вероятностные оценки экстремально смещаются к 0 и 1 и не отражают истинную долю правильных ответов. Для получения корректных вероятностей применяются методы постобработки: * '''Сигмоидная калибровка (Platt scaling):''' Обучает [[логистическая регрессия|логистическую регрессию]] поверх логитов наивного Байеса. Выход калибруется по формуле <tex>P_{calibrated} = \frac{1}{1 + \exp(A \cdot f(x) + B)}</tex>, где <tex>f(x)</tex> — сырой выход наивного Байеса, а параметры <tex>A</tex> и <tex>B</tex> настраиваются на отложенной выборке. * '''Изотоническая калибровка (Isotonic regression):''' Непараметрический метод, подгоняющий монотонно неубывающую кусочно-постоянную функцию. Эмпирические исследования показывают, что изотоническая калибровка чаще даёт лучшие результаты для наивного Байеса, так как распределение его оценок редко имеет строгую сигмоидальную форму. == Связь с другими вероятностными моделями == Наивный байесовский классификатор является частным случаем более общего класса '''[[байесовская сеть|байесовских сетей]]''' (Bayesian networks), в которых структура зависимостей между признаками задаётся ациклическим ориентированным графом. В наивном Байесе этот граф имеет простейшую форму: все признаки являются непосредственными потомками одной корневой вершины (переменной класса) и не имеют рёбер между собой. Кроме того, существует глубокая математическая связь между наивным байесовским классификатором и '''[[логистическая регрессия|логистической регрессией]]'''. В случае бинарной классификации логарифм отношения шансов (log-odds) для наивного Байеса равен: ::<tex>\log \frac{P(y=1|x)}{P(y=0|x)} = \log \frac{P(y=1)}{P(y=0)} + \sum_{j=1}^n \log \frac{p_{1j}(\xi_j)}{p_{0j}(\xi_j)}.</tex> Если распределения признаков <tex>p_{yj}</tex> относятся к экспоненциальному семейству (например, гауссовские распределения с равными дисперсиями или бернуллиевские), каждое слагаемое в сумме становится линейной функцией от <tex>\xi_j</tex>. Это строго доказывает, что наивный Байес строит линейную разделяющую гиперплоскость и относится к классу линейных классификаторов, точно так же как и логистическая регрессия. Разница лишь в способе обучения: наивный Байес оптимизирует совместное правдоподобие (генеративная модель), а логистическая регрессия — условное (дискриминативная модель). == Модификации и улучшения == Существует множество модификаций, направленных на смягчение предположения о независимости: * '''Взвешивание признаков (Attribute Weighting):''' Модифицирует решающее правило, возводя плотность в степень веса признака <tex>w_j</tex>: <tex>a(x) = \arg\max_{y} \left( P(y) \prod_{j=1}^n p_{yj}(\xi_j)^{w_j} \right)</tex>. ** '''WANBIA''' (Weighting Attribute Naive Bayes). Важно подчеркнуть, что в отличие от других алгоритмов, где веса выделяют наиболее информативные признаки, в WANBIA веса служат для математического ''смягчения'' предположения о независимости (сильно коррелирующим признакам задаются меньшие веса, чтобы они не доминировали в произведении). Оптимизация вектора весов позволяет алгоритму успешно конкурировать со случайным лесом. ** '''FNB''' (Fractional Naive Bayes) — метод, в котором веса оцениваются напрямую через разреженную регуляризацию логарифма правдоподобия, что даёт экономные (парсимониальные) модели. ** '''MS-WNBC''' (Multi-Source Weighted Naive Bayes Classifier) — вычисляет веса на основе сразу трёх источников: корреляции признаков, распределения вероятностей и структурных характеристик. * '''Селективный наивный байесовский классификатор:''' Осуществляет жёсткий отбор признаков, удаляя те, которые грубо нарушают допущение о независимости. * '''Гибридные подходы (IWAODE):''' Метод ''Instance Weighted Averaged One-Dependence Estimators'' комбинирует расширение графической структуры графа зависимостей со взвешиванием объектов обучающей выборки. * '''[[Объяснимый искусственный интеллект]] (XAI):''' Алгоритмы для вычисления точных PI-объяснений (минимальных подмножеств пар «признак-значение») за полиномиальное время (Narodytska et al., NeurIPS 2020), делающие классификатор полностью прозрачным. == Сравнение с другими классификаторами == Наивный байесовский классификатор часто уступает в предельной асимптотической точности более сложным моделям, таким как [[метод опорных векторов]] (SVM) или [[случайный лес]]. Однако его главные козыри — выдающаяся алгоритмическая простота (обучение за один проход по данным) и низкие требования к памяти. В задачах, где критично время обучения (системы потокового анализа в реальном времени) или объём обучающей выборки сильно ограничен, он остаётся сильным конкурентом. Из-за высокого смещения (bias) и низкой дисперсии (variance) он не подвержен переобучению и эмпирически может превосходить SVM на сверхмалых выборках, но предсказуемо уступает ему при росте объема данных. == Теоретический анализ == Теоретические свойства наивного байесовского классификатора активно изучаются. '''Асимптотическая состоятельность:''' Доказано, что наивный байесовский классификатор сходится к своей (пусть и смещённой) асимптотической ошибке со скоростью <tex>O(\log n)</tex>, что на порядки быстрее, чем сходимость дискриминативных моделей, требующая <tex>O(n)</tex> примеров. Это теоретически объясняет его высочайшую эффективность на малых выборках. Работа Беренда и Конторовича (Berend & Kontorovich, 2015) рассматривает наивный байесовский классификатор с позиций теории статистического обучения, переформулируя задачу как классическую проблему взвешенного голосования независимых экспертов. Авторы исследуют состоятельность оптимального взвешенного правила большинства и предоставляют строгие математические оценки ошибок как в частотном, так и в байесовском анализе. == Применения == Наивный байесовский классификатор исторически является одним из базовых стандартов индустрии в различных областях: * '''[[Анализ текстов|Текстовая аналитика]]:''' Классификация документов, [[фильтрация спама]], [[анализ тональности текста|анализ тональности]]. * '''Финансовый сектор:''' Обнаружение мошеннических транзакций (Fraud detection) и кредитный скоринг благодаря непревзойденной скорости работы алгоритма. * '''[[Кибербезопасность]]:''' Наивный байесовский классификатор служит базовым строительным блоком для эффективного обнаружения вторжений (IDS). Он надёжно работает при выявлении мошеннических транзакций даже на сильно несбалансированных наборах данных. * '''Прогнозирование дефектов программного обеспечения:''' Масштабные мета-анализы показывают, что не существует статистически значимых различий в качестве работы между наивным байесовским классификатором и ресурсоемким случайным лесом по метрикам полноты (Recall) и F-меры при прогнозировании багов в коде. * '''Медицинская диагностика:''' Классификация пациентов по набору разрозненных симптомов и результатов анализов. == Литература == '''Классические учебники и монографии:''' * {{Книга | автор = Айвазян С. А., Бухштабер В. М., Енюков И. С., Мешалкин Л. Д. | заглавие = Прикладная статистика: классификация и снижение размерности | место = М. | издательство = Финансы и статистика | год = 1989 }} * {{Книга | автор = Вапник В. Н., Червоненкис А. Я. | заглавие = Теория распознавания образов | место = М. | издательство = Наука | год = 1974 }} * {{Книга | автор = Вапник В. Н. | заглавие = Восстановление зависимостей по эмпирическим данным | место = М. | издательство = Наука | год = 1979 }} * {{Книга | автор = Дуда Р., Харт П. | заглавие = Распознавание образов и анализ сцен | место = М. | издательство = Мир | год = 1976 }} * {{Книга | автор = Hastie T., Tibshirani R., Friedman J. | заглавие = The Elements of Statistical Learning | издательство = Springer | год = 2001 | isbn = 0-387-95284-5 }} '''Ключевые научные статьи:''' * {{Статья | автор = Zhang H. | заглавие = The Optimality of Naive Bayes | издание = Proceedings of the AAAI Conference on Artificial Intelligence | год = 2004 }} * {{Статья | автор = Ng A. Y., Jordan M. I. | заглавие = On Discriminative vs. Generative Classifiers: A comparison of logistic regression and naive Bayes | издание = Advances in Neural Information Processing Systems (NeurIPS) | год = 2002 }} * {{Статья | автор = Zaidi N. A., Cerquides J., Carman M. J., Webb G. I. | заглавие = Alleviating Naive Bayes Attribute Independence Assumption by Attribute Weighting | издание = Journal of Machine Learning Research (JMLR) | год = 2013 }} * {{Статья | автор = Lowd D., Domingos P. | заглавие = Naive Bayes models for probability estimation | издание = Proceedings of the 22nd International Conference on Machine Learning (ICML) | год = 2005 }} * {{Статья | автор = Denis F., Magnan C., Ralaivola L. | заглавие = Efficient learning of Naive Bayes classifiers under class-conditional classification noise | издание = Proceedings of the 23rd International Conference on Machine Learning (ICML) | год = 2006 }} * {{Статья | автор = Kolcz A. | заглавие = Local sparsity control for naive Bayes with extreme misclassification costs | издание = Proceedings of the 11th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining (KDD) | год = 2005 }} * {{Статья | автор = Boullé M. | заглавие = Compression-Based Averaging of Selective Naive Bayes Classifiers | издание = Journal of Machine Learning Research (JMLR) | том = 8 | страницы = 1659-1685 | год = 2007 }} * {{Статья | автор = Berend D., Kontorovich A. | заглавие = A Finite Sample Analysis of the Naive Bayes Classifier | издание = Journal of Machine Learning Research (JMLR) | том = 16 | страницы = 1519-1545 | год = 2015 }} * {{Статья | автор = Verachtert A., Blockeel H., Davis J. | заглавие = Dynamic Early Stopping for Naive Bayes | издание = Proceedings of the 25th International Joint Conference on Artificial Intelligence (IJCAI) | год = 2016 }} * {{Статья | автор = Narodytska N., et al. | заглавие = Explaining Naive Bayes and Other Linear Classifiers with Polynomial Time and Delay | издание = Advances in Neural Information Processing Systems (NeurIPS) | год = 2020 }} * {{Статья | автор = Зайцев, Иванов (соавторы) | заглавие = Learning Fair Naive Bayes Classifiers by Discovering and Eliminating Discrimination Patterns | издание = Proceedings of the AAAI Conference on Artificial Intelligence | год = 2020 }} == См. также == * [[Байесовский классификатор]] * [[Байесовская сеть]] * [[Метод максимального правдоподобия]] * [[Логистическая регрессия]] * [[Теорема Байеса]] * [[Сглаживание Лапласа]] == Ссылки == * [http://www.machinelearning.ru/wiki/index.php?title=%D0%9C%D0%B0%D1%88%D0%B8%D0%BD%D0%BD%D0%BE%D0%B5_%D0%BE%D0%B1%D1%83%D1%87%D0%B5%D0%BD%D0%B8%D0%B5_%28%D0%BA%D1%83%D1%80%D1%81_%D0%BB%D0%B5%D0%BA%D1%86%D0%B8%D0%B9%2C_%D0%9A.%D0%92.%D0%92%D0%BE%D1%80%D0%BE%D0%BD%D1%86%D0%BE%D0%B2%29 Машинное обучение (курс лекций, К.В.Воронцов)] [[Категория:Байесовская теория классификации]] [[Категория:Энциклопедия анализа данных]]

• Шаблон:Lang-en
• Шаблон:Main
• Шаблон:Mbox
• Шаблон:TOCright
• Шаблон:Well
• Шаблон:Книга
• Шаблон:Переводы
• Шаблон:Статья

Возврат к странице Наивный байесовский классификатор.