Дифференциальная приватность

Материал из MachineLearning.

Версия от 15:56, 18 июля 2026; Zarina Sibgatullina (Обсуждение | вклад)
(разн.) ← Предыдущая | Текущая версия (разн.) | Следующая → (разн.)
Перейти к: навигация, поиск
Статья написана с использованием LLM Claude Opus 4.8 и проверена участником Zarina Sibgatullina 19:56, 18 июля 2026 (MSD)


Дифференциальная приватность (differential privacy) — математическое определение приватности, дающее формальную гарантию того, что результат обработки данных почти не зависит от присутствия или отсутствия в наборе любой отдельной записи. Механизм, удовлетворяющий этому определению, позволяет публиковать статистику или обучать модели так, что по результату нельзя надёжно установить, участвовали ли данные конкретного человека в вычислении. Концепция предложена Синтией Дворк и соавторами в 2006 году и стала стандартом формальной защиты приватности (см. также безопасность машинного обучения).

В основе лежит идея добавления случайного шума: результат намеренно рандомизируется ровно настолько, чтобы скрыть вклад отдельной записи, но сохранить полезность агрегированной статистики. Приватность здесь — не свойство данных, а свойство алгоритма их обработки.

Содержание

Определение

Два набора данных называют соседними (neighboring), если они отличаются ровно одной записью. Рандомизированный алгоритм \mathcal{M} удовлетворяет \varepsilon-дифференциальной приватности, если для любых соседних наборов D и D' и любого подмножества исходов S выполнено:

(1)
\Pr[\mathcal{M}(D) \in S] \le e^{\varepsilon} \cdot \Pr[\mathcal{M}(D') \in S].

Параметр \varepsilon > 0 называют бюджетом приватности (privacy budget): чем он меньше, тем сильнее гарантия и тем ближе распределения исходов на соседних наборах. При \varepsilon \to 0 результат перестаёт зависеть от отдельной записи (но и полезность падает); большие \varepsilon дают слабую гарантию.

Более мягкий вариант — (\varepsilon, \delta)-дифференциальная приватность — допускает малую вероятность \delta нарушения границы:

(2)
\Pr[\mathcal{M}(D) \in S] \le e^{\varepsilon}\cdot\Pr[\mathcal{M}(D') \in S] + \delta.

Чувствительность и механизмы

Величина требуемого шума определяется чувствительностью функции — тем, насколько сильно её значение может измениться при замене одной записи. Для функции f чувствительность в норме \ell_1 равна

\Delta f = \max_{D, D'} \|f(D) - f(D')\|_1,

где максимум берётся по всем соседним наборам.

Базовые механизмы, обеспечивающие дифференциальную приватность:

  • механизм Лапласа — к значению f(D) добавляется шум из распределения Лапласа

с масштабом \Delta f / \varepsilon; обеспечивает \varepsilon-приватность;

  • механизм Гаусса — добавление нормального шума; даёт (\varepsilon,\delta)-приватность

и удобно сочетается с итеративными вычислениями;

  • экспоненциальный механизм — для задач с невещественным выходом, где ответ выбирается

случайно с вероятностью, растущей по функции полезности.

Свойства

Дифференциальная приватность обладает свойствами, делающими её пригодной для сложных систем:

  • устойчивость к постобработке — никакая обработка результата \mathcal{M}(D)

без доступа к исходным данным не может ослабить гарантию приватности;

  • композиция — при последовательном применении механизмов бюджеты приватности

складываются; это позволяет отслеживать суммарный расход \varepsilon в ходе многих запросов;

  • групповая приватность — гарантия распространяется и на группы записей, ослабевая

пропорционально размеру группы.

Свойство композиции особенно важно: оно превращает приватность в расходуемый ресурс — каждый запрос к данным тратит часть бюджета, и после его исчерпания дальнейшие запросы нарушили бы гарантию.

Применение в машинном обучении

Обучение моделей на приватных данных реализуют алгоритмом DP-SGD (дифференциально приватный стохастический градиентный спуск): на каждом шаге градиенты по отдельным объектам обрезают по норме (ограничивая чувствительность), после чего к их сумме добавляют гауссовский шум. Это ограничивает влияние любого одного обучающего объекта на итоговую модель.

Тем самым дифференциальная приватность служит защитой от атак на конфиденциальность обучающих данных — прежде всего от определения принадлежности и инверсии модели, — а также косвенно ослабляет отравление данных, поскольку ограничивает вклад отдельного объекта. Плата за это — снижение точности модели: сильные гарантии приватности (малые \varepsilon) заметно ухудшают качество, что порождает компромисс приватность–полезность.

Применение на практике

Дифференциальная приватность используется при публикации официальной статистики (в частности, применялась Бюро переписи населения США), в сборе телеметрии производителями программного и аппаратного обеспечения (через локальную модель, где шум добавляется на стороне пользователя до отправки данных), а также в библиотеках приватного машинного обучения.

Различают централизованную модель (доверенный агрегатор видит сырые данные и добавляет шум к результату) и локальную модель (пользователь зашумляет свои данные сам, не доверяя агрегатору); локальная модель даёт более сильную гарантию доверия ценой большего шума.

См. также

Литература

  • Dwork C., McSherry F., Nissim K., Smith A. Calibrating Noise to Sensitivity in Private Data Analysis // TCC. — 2006.
  • Dwork C., Roth A. The Algorithmic Foundations of Differential Privacy // Foundations and Trends in Theoretical Computer Science. — 2014.
  • Abadi M. et al. Deep Learning with Differential Privacy // ACM CCS. — 2016. — arXiv:1607.00133.
Источник — «http://machinelearning.ru/wiki/index.php?title=%D0%94%D0%B8%D1%84%D1%84%D0%B5%D1%80%D0%B5%D0%BD%D1%86%D0%B8%D0%B0%D0%BB%D1%8C%D0%BD%D0%B0%D1%8F_%D0%BF%D1%80%D0%B8%D0%B2%D0%B0%D1%82%D0%BD%D0%BE%D1%81%D1%82%D1%8C»
Личные инструменты