Материал из MachineLearning.

Евгений Бурнаев

к.ф.-м.н., доцент, зав. сектором Интеллектуального Анализа Данных и Моделирования, Институт проблем передачи информации РАН

Лекционный курс. Осень 2015

Современная непараметрическая байесовская статистика

5 курс, программа "Математические методы оптимизации и стохастики"

Время проведения: суббота, с 15.20 до 18.10

Место проведения: ИППИ РАН, 615 аудитория

Аннотация

В последние годы байесовские методы широко применяются в статистическом оценивании наряду с методами, основанными на чисто вероятностном подходе. Байесовские методы обладают рядом привлекательных свойств с точки зрения приложений: они позволяют учесть априорные знания о задаче, получить более устойчивое решение, смоделировать сложное взаимодействие между компонентами задачи. Существующие курсы излагают большое количество таких методов, однако не дают фундаментального представления о байесовской статистике в целом и границах ее применимости — таким образом, не позволяя студенту в полной мере использовать байесовский подход в случае решения нестандартной статистической задачи.

В данном курсе излагается задача теоретического обоснования непараметрической байесовской статистики, решенная на достаточном уровне математической строгости относительно недавно. Изложение практических приложений байесовской статистики в курсе ведется с позиций и практического, и теоретического исследователя: с одной стороны показано как предложенные методы работают на реальных задачах, с другой стороны дается обоснование того, почему такие методы будут работать, какие у них теоретические ограничения и как наиболее успешно можно их применять.

Курс разбит на три смысловые части: во введении даются теоретические результаты для параметрической байесовской статистики, далее излагается теория непараметрической байесовской статистики , в заключительной части на примере регрессии гауссовских процессов показано как для сложных непараметрических байесовских моделей могут быть получены оценки риска, и как с помощью такого подхода могут решаться различные прикладные задачи математической статистики.

В результате освоения программы курс студент:

• сможет оценивать теоретическую привлекательность использования байесовского подхода в конкретной прикладной задаче;
• освоит аппарат параметрической и непараметрической байесовской статистики;
• получит в распоряжение инструменты для работы с непараметрическими байесовскими методами.

Организация занятий Курс состоит из сдвоенных пар, состоящих из одной лекции и одного семинара каждая. Студентам в течении курса выдается 2–3 задания (решение задач, статистическое моделирование) для домашней работы. Также в течении семестра предполагается проведение 2-х самостоятельных работ.

Домашние задания

• Задание 1. Задание необходимо прислать до 5 ноября включительно
• Задание 2. Задание необходимо прислать до 22 ноября включительно
• Задание 3. Задание необходимо прислать до 6 декабря включительно

Программа курса

1. Введение в байесовскую статистику

• Пространство априорных распределений. Виды априорных распределений: информативное, неинформативное, сопряженное, Джефри. Априорное распределение с геометрической точки зрения.
• Состоятельность и устойчивость априорного распределения. Теорема Дуба и условия Вальда.
• Асимптотическая нормальность апостериорного распределения и теорема Бернштейна-фон Мизеса.
• Перестановочность и теорема де Финетти.

2. Непараметрическая байесовская статистика

• Пространство M вероятностных распределений на конечном множестве и на R. Расстояния между распределениями.
• Пространство априорных распределений для вероятностных распределений из M.
• Распределение Дирихле. Свойства распределение Дирихле.
• Случайный процесс Дирихле. Свойства случайного процесса Дирихле. Использование случайного процесса Дирихле как априорного распределения.
• Теоремы о состоятельности непараметрической байесовской статистики.

3. Приложения непараметрической байесовской статистики

• Байесовская непараметрическая оценка плотности.
• Гауссовские случайные процессы. Регрессия на основе Гауссовских процессов.
• Адаптивное планирование эксперимента и суррогатная оптимизация на основе Гауссовских процессов.
• Теореме Бернштейна-фон-Мизеса для регрессии на основе Гауссовских процессов.
• Оценки риска для регрессии на основе гауссовских процессов с использованием аппарата непараметрической байесовской статистики.

Прошедшие занятия

Занятие 1 (5 сентября)

1. организационные вопросы
2. обзор параметрической байесовской статистики [3], [11], [13], [14]

• классификация, регрессия, кластеризация
• байесовское моделирование
• предпосылки байесовского моделирования
• байесовский выбор модели
• классы априорных распределений

Занятие 2 (12 сентября)

1. обзор параметрической байесовской статистики [3], [11], [13], [14]

• байесовский выбор модели
• приближенные методы для оценки апостериорного распределения: Laplace Approximation, BIC criterion, Variational lower bound, Variational Bayesian EM algorithm, Expectation propagation
• обзор методов Монте-Карло: rejection sampling, importance sampling, MCMC

Занятие 3 (19 сентября) [14]

• байесовская линейная регрессия

Занятие 4 (26 сентября) [15]

• Теорема де-Финетти
• Байесовская теория принятия решений, связь между аспотериорным, байесовским и минимаксным решающими правилами
• различные подходы к выборку априорного распределения
• априорное распределение на основе распределения Дирихле
• сопряженные априорные распределения
• апостериорное распределение для гауссовской модели и соответствующего сопряженного распределения параметров
• априорное распределение Jeffrey
• reference prior distribution

Занятие (3 октября)

• занятия не было

Занятие 5 (10 октября) [4]

• состоятельность и робастность апостериорного распределения
• асимптотическая нормальность оценки максимума правдоподобия и теорема Бернштейна-фон Мизеса
• теорема Колмогорова о продолжении вероятностной меры

Занятие 6 (17 октября) [4], [16]

• контрольная работа 1
• априорное распределение на пространстве вероятностных мер
• дискретные вероятностные меры
• распределение Дирихле и его свойства
• определение процесса Дирихле

Занятие 7 (24 октября) [4], [16]

• процесс Дирихле и его свойства
• апостериорное распределение в случае процессов Дирихле
• генерация реализации процесса Дирихле
• связь процессов Дирихле и кластеризации
• урновая схема Пойа
• chinese restaurant process

Занятие (31 октября)

• занятия не было

Занятие 8 (7 ноября) [6]

• Использование гауссовских случайных полей в качестве априорных распределений на пространстве функций
• Регрессия на основе гауссовских процессов
• Разбор домашнего задания

Занятие 9 (14 ноября) [6]

• связь между RKHS, Kernel Ridge Regression и Gaussian Process Regression
• Bayesian Optimization на основе Gaussian Process Regression

Занятие 10 (21 ноября)

• занятия не было

Занятие 11 (28 ноября)

• разбор домашнего задания
• проведение второй части контрольной работы по курсу
• моделирование кластеризации с помощью процессов Дирихле и применение методов Монте-Карло для оценки параметров кластеров и их количества

Занятие 12 (5 декабря)

• Разбор решения второй части контрольной работы по курсу
• Байесовская кластеризация (от классических методов до байесовской линейной логистической регрессии, логистической регрессии на основе гауссовских процессов)

Занятие 13 (12 декабря)

• Регрессия на основе гауссовских процессов для выборок, имеющих факторный план эксперимента
• Байесовская кластеризация - продолжение

Литература

1. I. Castillo, R. Nickl, et al. Nonparametric bernstein–von mises theorems in gaussian white noise. The Annals of Statistics, 41(4):1999–2028, 2013.
2. S. Ghosal et al. Asymptotic normality of posterior distributions in high-dimensional linear models. Bernoulli, 5(2):315–331, 1999.
3. J.K. Ghosh, D. Mohan, and S. Tapas. An introduction to Bayesian analysis. Springer New York, 2006.
4. J.K. Ghosh and R.V. Ramamoorthi. Bayesian nonparametrics. Springer, 2003.
5. B. Kleijn, A.W. van der Vaart, and H. van Zanten. Lectures on Nonparametric Bayesian Statistics. Springer, 2013.
6. C.E. Rasmussen and C.K.I. Williams. Gaussian processes for machine learning, volume 1. MIT press Cambridge, MA, 2006.
7. H. Snoussi and A. Mohammad-Djafari. Information geometry and prior selection. In AIP Conference Proceedings, volume 659, page 307, 2003.
8. V. Spokoiny. Basics of Modern Parametric Statistics. Springer, 2013.
9. T. Suzuki. Pac-bayesian bound for gaussian process regression and multiple kernel additive model. In JMLR Workshop and Conference Proceedings, volume 23, pages 8–1, 2012.
10. A.W. van der Vaart and J.H. Van Zanten. Rates of contraction of posterior distributions based on gaussian process priors. The Annals of Statistics, 1(1):1435–1463, 2008.
11. L. Wasserman. All of statistics: a concise course in statistical inference. Springer, 2003.
12. И.А. Ибрагимов and Р.З. Хасьминский. Асимптотическая теория оценивания. Наука, 1979.
13. Д.П. Ветров. Байесовские методы машинного обучения. Курс лекций. [1]
14. Bishop C.M. Pattern Recognition and Machine Learning. Springer, 2006.
15. Robert, C., The Bayesian Choice (2nd Edition), Springer, 2001.
16. Van der Vaart. Lecture notes on nonparametric Bayesian statistics, 2012. [2]