Материал из MachineLearning.

Евгений Бурнаев

к.ф.-м.н., доцент, зав. сектором Интеллектуального Анализа Данных и Моделирования, Институт проблем передачи информации РАН

Лекционный курс. Осень 2015

Современная непараметрическая байесовская статистика

5 курс, программа "Математические методы оптимизации и стохастики"

Аннотация

В последние годы байесовские методы широко применяются в статистическом оценивании наряду с методами, основанными на чисто вероятностном подходе. Байесовские методы обладают рядом привлекательных свойств с точки зрения приложений: они позволяют учесть априорные знания о задаче, получить более устойчивое решение, смоделировать сложное взаимодействие между компонентами задачи. Существующие курсы излагают большое количество таких методов, однако не дают фундаментального представления о байесовской статистике в целом и границах ее применимости — таким образом, не позволяя студенту в полной мере использовать байесовский подход в случае решения нестандартной статистической задачи.

В данном курсе излагается задача теоретического обоснования непараметрической байесовской статистики, решенная на достаточном уровне математической строгости относительно недавно. Изложение практических приложений байесовской статистики в курсе ведется с позиций и практического, и теоретического исследователя: с одной стороны показано как предложенные методы работают на реальных задачах, с другой стороны дается обоснование того, почему такие методы будут работать, какие у них теоретические ограничения и как наиболее успешно можно их применять.

Курс разбит на три смысловые части: во введении даются теоретические результаты для параметрической байесовской статистики, далее излагается теория непараметрической байесовской статистики , в заключительной части на примере регрессии гауссовских процессов показано как для сложных непараметрических байесовских моделей могут быть получены оценки риска, и как с помощью такого подхода могут решаться различные прикладные задачи математической статистики.

В результате освоения программы курс студент: - сможет оценивать теоретическую привлекательность использования байесовского подхода в конкретной прикладной задаче; - освоит аппарат параметрической и непараметрической байесовской статистики; - получит в распоряжение инструменты для работы с непараметрическими байесовскими методами.

Организация занятий Курс состоит из сдвоенных пар, состоящих из одной лекции и одного семинара каждая. Студентам в течении курса выдается 2–3 задания (решение задач, статистическое моделирование) для домашней работы. Также в течении семестра предполагается проведение 2-х самостоятельных работ.

Домашние задания Задание 1. Задание необходимо прислать до 5 ноября включительно Задание 2. Задание необходимо прислать до 22 ноября включительно Задание 3. Задание необходимо прислать до 6 декабря включительно

Программа курса 1. Введение в байесовскую статистику - Пространство априорных распределений. Виды априорных распределений: информативное, неинформативное, сопряженное, Джефри. Априорное распределение с геометрической точки зрения. - Состоятельность и устойчивость априорного распределения. Теорема Дуба и условия Вальда. - Асимптотическая нормальность апостериорного распределения и теорема Бернштейна-фон Мизеса. - Перестановочность и теорема де Финетти. 2. Непараметрическая байесовская статистика - Пространство M вероятностных распределений на конечном множестве и на R. Расстояния между распределениями. - Пространство априорных распределений для вероятностных распределений из M. - Распределение Дирихле. Свойства распределение Дирихле. - Случайный процесс Дирихле. Свойства случайного процесса Дирихле. Использование случайного процесса Дирихле как априорного распределения. - Теоремы о состоятельности непараметрической байесовской статистики. 3. Приложения непараметрической байесовской статистики - Байесовская непараметрическая оценка плотности. - Гауссовские случайные процессы. Регрессия на основе Гауссовских процессов. - Адаптивное планирование эксперимента и суррогатная оптимизация на основе Гауссовских процессов. - Теореме Бернштейна-фон-Мизеса для регрессии на основе Гауссовских процессов. - Оценки риска для регрессии на основе гауссовских процессов с использованием аппарата непараметрической байесовской статистики.

Прошедшие занятия Занятие 1 (5 сентября) 1) организационные вопросы 2) обзор параметрической байесовской статистики [3], [11], [13], [14] - классификация, регрессия, кластеризация - байесовское моделирование - предпосылки байесовского моделирования - байесовский выбор модели - классы априорных распределений

Занятие 2 (12 сентября) 1) обзор параметрической байесовской статистики [3], [11], [13], [14] - байесовский выбор модели - приближенные методы для оценки апостериорного распределения: Laplace Approximation, BIC criterion, Variational lower bound, Variational Bayesian EM algorithm, Expectation propagation - обзор методов Монте-Карло: rejection sampling, importance sampling, MCMC

Занятие 3 (19 сентября) [14] - байесовская линейная регрессия

Занятие 4 (26 сентября) [15] - Теорема де-Финетти - Байесовская теория принятия решений, связь между аспотериорным, байесовским и минимаксным решающими правилами - различные подходы к выборку априорного распределения - априорное распределение на основе распределения Дирихле - сопряженные априорные распределения - апостериорное распределение для гауссовской модели и соответствующего сопряженного распределения параметров - априорное распределение Jeffrey - reference prior distribution

Занятие 5 (3 октября) - занятия не было

Занятие 6 (10 октября) [4] - состоятельность и робастность апостериорного распределения - асимптотическая нормальность оценки максимума правдоподобия и теорема Бернштейна-фон Мизеса - теорема Колмогорова о продолжении вероятностной меры

Занятие 7 (17 октября) [4], [16] - контрольная работа 1 - априорное распределение на пространстве вероятностных мер - дискретные вероятностные меры - распределение Дирихле и его свойства - определение процесса Дирихле

Занятие 8 (24 октября) [4], [16] - процесс Дирихле и его свойства - представление Sethuraman для процесса Дирихле - Tail-free процессы - апостериорное распределение в случае процессов Дирихле - смеси процессов Дирихле

Занятие 9 (31 октября) [4], [16] - применение процессов Дирихле для непараметрической байесовской оценки плотности - состоятельность непараметрических байесовских выводов

Литература [1] I. Castillo, R. Nickl, et al. Nonparametric bernstein–von mises theorems in gaussian white noise. The Annals of Statistics, 41(4):1999–2028, 2013. [2] S. Ghosal et al. Asymptotic normality of posterior distributions in high-dimensional linear models. Bernoulli, 5(2):315–331, 1999. [3] J.K. Ghosh, D. Mohan, and S. Tapas. An introduction to Bayesian analysis. Springer New York, 2006. [4] J.K. Ghosh and R.V. Ramamoorthi. Bayesian nonparametrics. Springer, 2003. [5] B. Kleijn, A.W. van der Vaart, and H. van Zanten. Lectures on Nonparametric Bayesian Statistics. Springer, 2013. [6] C.E. Rasmussen and C.K.I. Williams. Gaussian processes for machine learning, volume 1. MIT press Cambridge, MA, 2006. [7] H. Snoussi and A. Mohammad-Djafari. Information geometry and prior selection. In AIP Conference Proceedings, volume 659, page 307, 2003. [8] V. Spokoiny. Basics of Modern Parametric Statistics. Springer, 2013. [9] T. Suzuki. Pac-bayesian bound for gaussian process regression and multiple kernel additive model. In JMLR Workshop and Conference Proceedings, volume 23, pages 8–1, 2012. [10] A.W. van der Vaart and J.H. Van Zanten. Rates of contraction of posterior distributions based on gaussian process priors. The Annals of Statistics, 1(1):1435–1463, 2008. [11] L. Wasserman. All of statistics: a concise course in statistical inference. Springer, 2003. [12] И.А. Ибрагимов and Р.З. Хасьминский. Асимптотическая теория оценивания. Наука, 1979. [13] Д.П. Ветров. Байесовские методы машинного обучения. Курс лекций. [1] [14] Bishop C.M. Pattern Recognition and Machine Learning. Springer, 2006. [15] Robert, C., The Bayesian Choice (2nd Edition), Springer, 2001. [16] Van der Vaart. Lecture notes on nonparametric Bayesian statistics, 2012. [2]