Обнаружение спама

Материал из MachineLearning.

(Различия между версиями)

Текущая версия

Статья написана с использованием LLM Qwen3.7 и проверена участником Камиль Багдалов

Обнаружение спама (англ. spam detection, spam filtering) — задача машинного обучения, заключающаяся в автоматической классификации входящих сообщений (электронных писем, SMS, сообщений в социальных сетях, комментариев) на спам и легитимные сообщения (ham). Является одной из первых и наиболее успешных областей применения методов машинного обучения в повседневной жизни, а также классическим примером состязательного машинного обучения (adversarial machine learning) — постоянного противостояния разработчиков фильтров и спамеров.

Содержание

1 Постановка задачи
2 Историческая справка
3 Наивный байесовский подход
4 Проблема состязательности (adversarial аспект)
5 Практические соображения
6 См. также
7 Источники

Постановка задачи

С точки зрения машинного обучения, обнаружение спама формулируется как задача бинарной классификации текстовых документов. Каждое сообщение представляется в виде вектора признаков $\mathbf{x} = (x_1, x_2, \dots, x_n)$ , и задача состоит в построении классификатора $f: \mathbf{x} \to \{0, 1\}$ , где $0$ — легитимное сообщение (ham), $1$ — спам.

Особенности задачи:

Высокая размерность признакового пространства. Текстовые сообщения могут содержать тысячи уникальных слов.
Динамичность распределения данных (concept drift). Спамеры постоянно меняют тактики, поэтому модель, обученная на данных месячной давности, может резко потерять качество.
Асимметрия ошибок. Ложноположительная ошибка (легитимное письмо помечено как спам) обычно воспринимается пользователем гораздо хуже, чем ложноотрицательная (спам прошёл во входящие). Это требует асимметричной функции потерь или различных порогов классификации.

Историческая справка

Ранние подходы (1990-е годы)

Первые системы фильтрации спама были правиловыми (rule-based) — они использовали набор эвристик, составленных вручную:

наличие определённых ключевых слов ("viagra", "casino", "million dollars"),
избыток заглавных букв или восклицательных знаков,
подозрительные домены в ссылках,
отсутствие адреса отправителя в списке контактов.

Эти подходы быстро устаревали, так как спамеры легко адаптировались, используя синонимы, искажение слов ("v1agra", "c-a-s-i-n-o") и изображения вместо текста.

Байесовская революция (2002-2005)

Поворотным моментом стало эссе Пола Грэма "A Plan for Spam" (2002), в котором он предложил использовать наивный байесовский классификатор для фильтрации спама. Эта идея была не нова в академической среде (байесовские методы применялись к категоризации документов с начала 1990-х), но именно Грэм популяризировал её среди разработчиков и показал высокую практическую эффективность.

Преимущества байесовского подхода:

Адаптивность. Модель обучается на примерах спама и легитимных писем конкретного пользователя, адаптируясь к его персональным предпочтениям.
Устойчивость к обфускации. Даже если спамеры искажают отдельные слова, общая статистика частот слов остаётся характерной.
Интерпретируемость. Пользователь может понять, какие слова "проголосовали" за решение классификатора.

Эволюция признаков (2005-2015)

По мере роста сложности спама стало ясно, что одних только словесных признаков недостаточно. В фильтрах начали использоваться:

Анализ заголовков письма. Проверка SPF, DKIM, DMARC, корректности маршрута письма.
IP-репутация. Чёрные списки IP-адресов, с которых рассылается спам (DNSBL — DNS Blackhole Lists).
Поведенческие сигналы. Скорость отправки писем, массовость рассылки, паттерны взаимодействий.
Графовые признаки. Анализ социальных графов отправителей и получателей.

Современные подходы (2015 — настоящее время)

С развитием глубокого обучения в спам-фильтрации начали применяться:

Сверточные и рекуррентные нейронные сети для анализа текста с учётом контекста.
Трансформеры и большие языковые модели для семантического анализа сообщений.
Графовые нейронные сети для анализа связей между отправителями.
Ансамбли моделей, сочетающие признаки разных уровней (текстовые, заголовочные, репутационные).

Наивный байесовский подход

Наивный байесовский классификатор остаётся классическим и поучительным примером для задачи обнаружения спама. Принцип основан на теореме Байеса. Обозначим через $S$ класс "спам", через $H$ — класс "ham" (легитимное сообщение), через $\mathbf{x}$ — вектор признаков письма. Тогда апостериорная вероятность того, что письмо является спамом, вычисляется по формуле:

$P(S \mid \mathbf{x}) = \frac{P(\mathbf{x} \mid S) \cdot P(S)}{P(\mathbf{x})}$

где $P(S)$ — априорная вероятность того, что произвольное письмо является спамом (оценивается по доле спама в обучающей выборке), $P(\mathbf{x} \mid S)$ — правдоподобие наблюдения признаков $\mathbf{x}$ при условии, что письмо — спам, $P(\mathbf{x})$ — полная вероятность наблюдения признаков (нормировочная константа).

"Наивное" предположение состоит в условной независимости признаков при фиксированном классе. Для текстовых данных это означает, что каждое слово в письме независимо от других при условии класса "спам" или "ham". Это допущение явно нереалистично (слова в тексте связаны синтаксически и семантически), но на практике работает удивительно хорошо.

При мультиномиальной модели (Multinomial Naive Bayes) правдоподобие вычисляется как произведение вероятностей каждого слова в степени его частоты:

$P(\mathbf{x} \mid S) = \prod_{i=1}^{n} P(w_i \mid S)^{c_i}$

где $w_i$ — слово из словаря, $c_i$ — количество вхождений слова $w_i$ в сообщение, а произведение берётся по всем уникальным словам словаря.

На практике для избежания числовой неустойчивости (произведение малых вероятностей стремится к нулю, что приводит к underflow) используется логарифмическая форма:

$\ln P(S \mid \mathbf{x}) = \ln P(S) + \sum_{i=1}^{n} c_i \ln P(w_i \mid S) - \ln P(\mathbf{x})$

Классификатор относит письмо к спаму, если $P(S \mid \mathbf{x}) > P(H \mid \mathbf{x})$ , или, что эквивалентно в логарифмической форме, если:

$\ln P(S) + \sum_{i=1}^{n} c_i \ln P(w_i \mid S) > \ln P(H) + \sum_{i=1}^{n} c_i \ln P(w_i \mid H)$

Порог классификации может быть сдвинут в соответствии с соотношением цен ошибок: если ложноположительная ошибка (пропуск легитимного письма в спам) значительно дороже ложноотрицательной, порог повышается в пользу класса ham.

Проблема состязательности (adversarial аспект)

Одна из наиболее интересных и сложных сторон обнаружения спама — это постоянная гонка вооружений (arms race) между разработчиками фильтров и спамерами. Это классический пример состязательного машинного обучения (adversarial machine learning).

Тактики спамеров

Обфускация текста. Искажение ключевых слов: "v1agra", "c.a.s.i.n.o", использование Unicode-символов, похожих на латинские буквы (кириллическая "а" вместо латинской "a").
Изображения вместо текста. Спам в виде картинок, нечитаемых для текстовых фильтров (требует применения OCR).
Паразитирование на легитимных сервисах. Рассылка спама через скомпрометированные аккаунты популярных почтовых сервисов.
Генеративные модели. Современные спамеры используют большие языковые модели для генерации уникальных текстов, которые проходят текстовые фильтры.

Контрмеры фильтров

Обновление моделей. Периодическое переобучение на новых данных для отслеживания concept drift.
Ансамбли разнородных признаков. Комбинация текстовых, поведенческих и репутационных признаков повышает устойчивость.
Active learning. Модель запрашивает ручную разметку наиболее информативных и неопределённых примеров.
Adversarial training. Обучение модели на специально сгенерированных "вражеских" примерах, имитирующих обфускацию.

Философский аспект

Эта гонка иллюстрирует фундаментальный принцип: любая статистическая модель уязвима, если противник знает о её существовании и имеет доступ к обратной связи (например, видит, попало ли его письмо во входящие или в спам). Это порождает парадокс: чем точнее модель, тем больше стимул у противника её атаковать.

Современная парадигма adversarial machine learning рассматривает эту проблему как игру двух игроков (minimax game), где фильтр минимизирует ошибки, а спамер максимизирует свои шансы пройти фильтр. Равновесие в этой игре постоянно смещается, и ни одна сторона не может добиться окончательной победы.

Практические соображения

Персонализация. Лучшие результаты дают модели, адаптирующиеся к конкретному пользователю (user-specific filtering).
Federated learning. Обучение моделей на устройствах пользователей без передачи их личных данных на центральный сервер — актуальное направление для сохранения приватности.
Интерпретируемость. Пользователь должен понимать, почему письмо попало в спам, чтобы иметь возможность корректировать модель (обучение с учителем через обратную связь).

См. также

Источники

Graham P. A Plan for Spam. 2002. http://www.paulgraham.com/spam.html
Sahami M., Dumais S., Heckerman D., Horvitz E. A Bayesian Approach to Filtering Junk E-mail // AAAI-98 Workshop on Learning for Text Categorization. 1998.
Androutsopoulos I., Paliouras G., Karkaletsis V., Sakkis G., Spyropoulos C., Stamatopoulos G. Machine Learning Approaches to Spam Filtering // Proc. of NLP-KE'2000.

Источник — «http://machinelearning.ru/wiki/index.php?title=%D0%9E%D0%B1%D0%BD%D0%B0%D1%80%D1%83%D0%B6%D0%B5%D0%BD%D0%B8%D0%B5_%D1%81%D0%BF%D0%B0%D0%BC%D0%B0»

@@ Строка 1: / Строка 1: @@
 {{well|Статья написана с использованием LLM '''Qwen3.7''' и проверена участником Камиль Багдалов}}
-'''Обнаружение спама''' (англ. spam detection, spam filtering) — задача [[Машинное обучение|машинного обучения]], заключающаяся в автоматической классификации входящих сообщений (электронных писем, SMS, сообщений в социальных сетях, комментариев) на спам и легитимные сообщения (ham). Является одной из первых и наиболее успешных областей применения методов [[Машинное обучение|машинного обучения]] и [[Искусственный интеллект|искусственного интеллекта]] в повседневной жизни, а также классическим примером '''состязательного обучения''' (adversarial machine learning) — постоянного противостояния разработчиков фильтров и спамеров.
+'''Обнаружение спама''' (англ. spam detection, spam filtering) — задача [[Машинное обучение|машинного обучения]], заключающаяся в автоматической классификации входящих сообщений (электронных писем, SMS, сообщений в социальных сетях, комментариев) на спам и легитимные сообщения (ham). Является одной из первых и наиболее успешных областей применения методов машинного обучения в повседневной жизни, а также классическим примером '''состязательного машинного обучения''' (adversarial machine learning) — постоянного противостояния разработчиков фильтров и спамеров.
 == Постановка задачи ==
@@ Строка 9: / Строка 9: @@
 * '''Высокая размерность признакового пространства.''' Текстовые сообщения могут содержать тысячи уникальных слов.
 * '''Динамичность распределения данных (concept drift).''' Спамеры постоянно меняют тактики, поэтому модель, обученная на данных месячной давности, может резко потерять качество.
-* '''Асимметрия ошибок.''' Ложноположительная ошибка (legitimate письмо помечено как спам) обычно воспринимается пользователем гораздо хуже, чем ложноотрицательная (спам прошёл во входящие). Это требует асимметричной функции потерь или различных порогов классификации.
+* '''Асимметрия ошибок.''' Ложноположительная ошибка (легитимное письмо помечено как спам) обычно воспринимается пользователем гораздо хуже, чем ложноотрицательная (спам прошёл во входящие). Это требует асимметричной функции потерь или различных порогов классификации.
 == Историческая справка ==
@@ Строка 39: / Строка 39: @@
 С развитием глубокого обучения в спам-фильтрации начали применяться:
 * '''Сверточные и рекуррентные нейронные сети''' для анализа текста с учётом контекста.
-* '''Трансформеры и большие языковые модели''' (BERT, GPT и аналоги) для семантического анализа сообщений.
+* '''Трансформеры и большие языковые модели''' для семантического анализа сообщений.
 * '''Графовые нейронные сети''' для анализа связей между отправителями.
 * '''Ансамбли моделей''', сочетающие признаки разных уровней (текстовые, заголовочные, репутационные).
 == Наивный байесовский подход ==
-[[Наивный байесовский классификатор|Наивный байесовский классификатор]] остаётся классическим и поучительным примером для задачи обнаружения спама. Принцип основан на теореме Байеса:
+[[Наивный байесовский классификатор|Наивный байесовский классификатор]] остаётся классическим и поучительным примером для задачи обнаружения спама. Принцип основан на теореме Байеса. Обозначим через <tex>S</tex> класс "спам", через <tex>H</tex> — класс "ham" (легитимное сообщение), через <tex>\mathbf{x}</tex> — вектор признаков письма. Тогда апостериорная вероятность того, что письмо является спамом, вычисляется по формуле:
-<tex>P(\text{спам} \mid \mathbf{x}) = \frac{P(\mathbf{x} \mid \text{спам}) P(\text{спам})}{P(\mathbf{x})}</tex>
+<tex>P(S \mid \mathbf{x}) = \frac{P(\mathbf{x} \mid S) \cdot P(S)}{P(\mathbf{x})}</tex>
-где <tex>P(\text{спам})</tex> — априорная вероятность того, что произвольное письмо является спамом, <tex>P(\mathbf{x} \mid \text{спам})</tex> — правдоподобие наблюдения признаков <tex>\mathbf{x}</tex> при условии, что письмо — спам.
+где <tex>P(S)</tex> — априорная вероятность того, что произвольное письмо является спамом (оценивается по доле спама в обучающей выборке), <tex>P(\mathbf{x} \mid S)</tex> — правдоподобие наблюдения признаков <tex>\mathbf{x}</tex> при условии, что письмо — спам, <tex>P(\mathbf{x})</tex> — полная вероятность наблюдения признаков (нормировочная константа).
 "Наивное" предположение состоит в '''условной независимости признаков''' при фиксированном классе. Для текстовых данных это означает, что каждое слово в письме независимо от других при условии класса "спам" или "ham". Это допущение явно нереалистично (слова в тексте связаны синтаксически и семантически), но на практике работает удивительно хорошо.
-При мультиномиальной модели (Multinomial Naive Bayes) правдоподобие вычисляется как произведение вероятностей каждого слова:
+При мультиномиальной модели (Multinomial Naive Bayes) правдоподобие вычисляется как произведение вероятностей каждого слова в степени его частоты:
-<tex>P(\mathbf{x} \mid \text{спам}) = \prod_{i=1}^{n} P(x_i \mid \text{спам})^{x_i}</tex>
+<tex>P(\mathbf{x} \mid S) = \prod_{i=1}^{n} P(w_i \mid S)^{c_i}</tex>
-где <tex>x_i</tex> — количество вхождений слова <tex>i</tex> в сообщение.
+где <tex>w_i</tex> — слово из словаря, <tex>c_i</tex> — количество вхождений слова <tex>w_i</tex> в сообщение, а произведение берётся по всем уникальным словам словаря.
-На практике для избежания числовой неустойчивости (произведение малых вероятностей стремится к нулю) используется логарифмическая форма:
+На практике для избежания числовой неустойчивости (произведение малых вероятностей стремится к нулю, что приводит к underflow) используется логарифмическая форма:
-<tex>\log P(\text{спам} \mid \mathbf{x}) \propto \log P(\text{спам}) + \sum_{i=1}^{n} x_i \log P(x_i \mid \text{спам})</tex>
+<tex>\ln P(S \mid \mathbf{x}) = \ln P(S) + \sum_{i=1}^{n} c_i \ln P(w_i \mid S) - \ln P(\mathbf{x})</tex>
-Классификатор относит письмо к спаму, если <tex>P(\text{спам} \mid \mathbf{x}) > P(\text{ham} \mid \mathbf{x})</tex>, или, что эквивалентно, если логарифм отношения правдоподобий превышает порог, определяемый соотношением цен ошибок.
+Классификатор относит письмо к спаму, если <tex>P(S \mid \mathbf{x}) > P(H \mid \mathbf{x})</tex>, или, что эквивалентно в логарифмической форме, если:
+<tex>\ln P(S) + \sum_{i=1}^{n} c_i \ln P(w_i \mid S) > \ln P(H) + \sum_{i=1}^{n} c_i \ln P(w_i \mid H)</tex>
+Порог классификации может быть сдвинут в соответствии с соотношением цен ошибок: если ложноположительная ошибка (пропуск легитимного письма в спам) значительно дороже ложноотрицательной, порог повышается в пользу класса ham.
 == Проблема состязательности (adversarial аспект) ==
@@ Строка 68: / Строка 72: @@
 === Тактики спамеров ===
-* '''Обфускация текста.''' Искажение ключевых слов: "v1agra", "c.a.s.i.n.o", использование Unicode-символов, похожих на латинские буквы.
+* '''Обфускация текста.''' Искажение ключевых слов: "v1agra", "c.a.s.i.n.o", использование Unicode-символов, похожих на латинские буквы (кириллическая "а" вместо латинской "a").
-* '''Изображения вместо текста.''' Спам в виде картинок, нечитаемых для текстовых фильтров (требует OCR).
+* '''Изображения вместо текста.''' Спам в виде картинок, нечитаемых для текстовых фильтров (требует применения OCR).
-* '''Паразитирование на легитимных сервисах.''' Рассылка спама через скомпрометированные аккаунты Gmail, рассылки из легитимных почтовых сервисов.
+* '''Паразитирование на легитимных сервисах.''' Рассылка спама через скомпрометированные аккаунты популярных почтовых сервисов.
 * '''Генеративные модели.''' Современные спамеры используют большие языковые модели для генерации уникальных текстов, которые проходят текстовые фильтры.
 === Контрмеры фильтров ===
-* '''Обновление моделей.''' Периодическое переобучение на новых данных.
+* '''Обновление моделей.''' Периодическое переобучение на новых данных для отслеживания concept drift.
 * '''Ансамбли разнородных признаков.''' Комбинация текстовых, поведенческих и репутационных признаков повышает устойчивость.
 * '''Active learning.''' Модель запрашивает ручную разметку наиболее информативных и неопределённых примеров.
@@ Строка 100: / Строка 104: @@
 * Graham P. A Plan for Spam. 2002. http://www.paulgraham.com/spam.html
 * Sahami M., Dumais S., Heckerman D., Horvitz E. A Bayesian Approach to Filtering Junk E-mail // AAAI-98 Workshop on Learning for Text Categorization. 1998.
-* Kolcz A., Alspector J., Augusteijn M.F., Carlson R. A line-oriented approach to classifying potentially spam messages // Proc. of the 4th International Conference on Intelligent Data Analysis. 2000.
+* Androutsopoulos I., Paliouras G., Karkaletsis V., Sakkis G., Spyropoulos C., Stamatopoulos G. Machine Learning Approaches to Spam Filtering // Proc. of NLP-KE'2000.
-* Dalvi N., Domingos P., Mausam, Sanghai S., Verma D. Adversarial classification // Proc. of the 10th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. 2004. Pp. 99–108.
-* Lowd D., Meek C. Adversarial learning // Proc. of the 11th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. 2005. Pp. 641–647.
-[[Категория:Машинное обучение]]
-[[Категория:Обработка естественного языка]]
-[[Категория:Применение машинного обучения]]