Спецсеминар "Байесовские методы машинного обучения"/осень 2011

Материал из MachineLearning.

(Различия между версиями)
Перейти к: навигация, поиск
(+ несколько вопросов к зачету)
Текущая версия (16:13, 28 декабря 2011) (править) (отменить)
м (оформление)
 
(21 промежуточная версия не показана)
Строка 1: Строка 1:
{{Main|Спецсеминар "Байесовские методы машинного обучения"}}
{{Main|Спецсеминар "Байесовские методы машинного обучения"}}
-
 
-
В осеннем семестре 2011/2012 учебного года спецсеминар проходит на ВМиК МГУ по средам в ауд. 510, начало в 18-30.
 
== Расписание семинаров ==
== Расписание семинаров ==
Строка 25: Строка 23:
| 5 октября 2011
| 5 октября 2011
| [[Участник:Kropotov|''Кропотов Дмитрий Александрович'']], м.н.с. ВЦ РАН.<br>'''Boltzmann Machines: математические модели, алгоритмы обучения, примеры применения.'''.
| [[Участник:Kropotov|''Кропотов Дмитрий Александрович'']], м.н.с. ВЦ РАН.<br>'''Boltzmann Machines: математические модели, алгоритмы обучения, примеры применения.'''.
 +
| [[Media:BMMO11_SS_BMs.pdf|Текст (PDF, 535Кб)]]
 +
|-
 +
| 12&nbsp;октября&nbsp;2011
 +
| ''Шальнов Евгений'', студент 4-го курса ВМК.<br>'''Обобщение алгоритмов <tex>\alpha</tex>-расширения и <tex>\alpha-\beta</tex> замены.'''
 +
| [[Media:BMMO_SS11_Shalnov.pdf|Презентация (PDF, 260Кб)]]<br>[http://arxiv.org/pdf/1108.5710v1 Статья]
 +
|-
 +
| 19&nbsp;октября&nbsp;2011
 +
| [[Участник:Dmitry Vetrov|''Ветров Дмитрий Петрович'']], н.с. ВМК МГУ.<br>'''История Древнего Рима.'''
 +
| Ненаучный семинар<br>[[Участник:Dmitry Vetrov#Популярные лекции на отвлеченные темы|Видеозапись лекции]]
 +
|-
 +
| 26&nbsp;октября&nbsp;2011
 +
| ''Новиков Павел'', студент 4-го курса ВМК.<br>'''Поиск дескрипторов, инвариантных к нелинейным деформациям и изменению освещенности'''
 +
| [[Media:Presentation4k.pdf|Презентация (PDF, 2.3 Mб)]]
 +
|-
 +
| 2&nbsp;ноября&nbsp;2011
 +
| ''Голдберг Андрей'', сотрудник Microsoft Research, Silicon Valley.<br>'''Быстрые алгоритмы поиска максимального потока в графе'''
 +
| [http://research.microsoft.com/en-us/people/goldberg/ibfs.pdf Презентация]<br>
 +
[http://research.microsoft.com/pubs/150437/ibfs-proc.pdf Статья]
 +
|-
 +
| 9&nbsp;ноября&nbsp;2011
 +
| ''Елшин Денис'', студент 4-го курса ВМК.<br>'''Различные способы введения текстурного потенциала для сегментации изображений: эпитомы и textonboost'''
 +
| [[Media:BMMO_SS11_Elshin.pdf|Презентация (PDF, 2.91Мб)]]<br>
 +
[[Media:Neuroinfo12.pdf|Статья для конференции Нейроинформатика-2012]]<br>
 +
[http://jamie.shotton.org/work/publications/ijcv07a.pdf Статья по Textonboost]<br>
 +
[[Media:semantic_texton_forests.pdf|Статья по Semantic Texton Forest]]
 +
|-
 +
| 16&nbsp;ноября&nbsp;2011
 +
| ''[[Участник:Riabenko|Рябенко Евгений]]'', аспирант ВМК.<br>'''Иерархическая процедура множественной проверки гипотез'''
 +
| [[Media:Riabenko161111.pdf‎|Презентация (PDF, 1.9 МБ)]]
 +
|-
 +
| 23&nbsp;ноября&nbsp;2011
 +
| ''[[Участник:Касперский Иван|Касперский Иван]]'', студент 5-го курса ВМК.<br>'''Калибровка показаний тактильного механорецептора с помощью регрессии наименьших модулей'''
 +
| [[Media:BMMO11_SS_Kaspersky.pdf|Презентация (PDF, 1.91 Мб)]]<br>[http://sites.stat.psu.edu/~dhunter/papers/qr.pdf Статья по ММ-алгоритму]
 +
|-
 +
| 30&nbsp;ноября&nbsp;2011
 +
| ''Гавриков Михаил'', студент 3-го курса ВМК.<br>'''Геометрия в пространстве древовидных форм'''
 +
| [http://image.diku.dk/aasa/accv2010cameraready.pdf Статья]
 +
|-
 +
| 7&nbsp;декабря&nbsp;2011
 +
| ''[[Участник:Tikhonov Andrey|Тихонов Андрей]]'', студент 4-го курса ВМК.<br>
 +
'''Методы деконволюции трехмерных изображений'''
|
|
 +
|-
 +
| 14&nbsp;декабря&nbsp;2011
 +
| ''Головин Антон'', студент 5-го курса ВМК.<br>'''Алгоритм решения задачи многоклассовой классификации с генерацией суперпозиций признаков'''
 +
''[[Участник:Peter Romov|Ромов Петр]]'', студент 3-го курса ВМК.<br>
 +
'''Структурный метод опорных векторов'''
 +
| [[Media:BMMO11_SS_Golovin.pdf|Презентация Головина (PDF, 432 Кб)]]<br>[[Media:BMMO11_SS_Romov.pdf|Презентация Ромова (PDF, 2.08 Мб)]]
|-
|-
|}
|}
== Зачет по спецсеминару ==
== Зачет по спецсеминару ==
-
Зачет состоится в конце декабря.
 
Список вопросов к зачету:
Список вопросов к зачету:
-
* Минимизация парно-сепарабельной энергии с помощью алгоритма поиска максимального потока в графе. Применение этой техники для построения метрического классификатора Ю. Визильтера.
+
# Минимизация парно-сепарабельной энергии с бинарными переменными при помощи алгоритма поиска максимального потока в графе. Триангуляция Делоне и диаграмма Вороного. Применение этих техник для построения метрического классификатора Ю. Визильтера.
-
* Схема Гиббса для генерации выборки из распределения. Примеры применения. Вывод формул для схемы Гиббса в моделях BM и RBM.
+
# Схема Гиббса для генерации выборки из распределения. Примеры применения. Вывод формул для схемы Гиббса в моделях BM и RBM.
-
* Вариационный подход. Примеры применения. Вывод формул для вариационного подхода в модели DBM.
+
# Вариационный подход. Примеры применения. Вывод формул для вариационного подхода в модели DBM.
-
* Модель DBM. Алгоритм обучения. Примеры применения.
+
# Модель DBM. Алгоритм обучения. Примеры применения.
 +
# Алгоритмы <tex>\alpha</tex>-расширения и <tex>\alpha-\beta</tex> замены для минимизации парно-сепарабельной энергии с K-значными переменными. Алгоритм <tex>\alpha</tex>-расширения <tex>\beta</tex>-сдвига.
 +
# Алгоритм поиска максимального потока в графе с помощью дополняющих путей.
 +
# Алгоритм Бойкова-Колмогорова для поиска максимального потока.
 +
# Вероятностная модель эпитомов для сегментации изображений, ее обучение с помощью ЕМ-алгоритма. Алгоритм минимизации энергии марковского поля с глобальным эпитомным потенциалом.
 +
# Метод Textonboost для сегментации изображений: понятие текстона, алгоритм бустинга для текстонов.
 +
# Множественная проверка гипотез. Контроль над FWER и FDR. Методы Бонферрони, Холма, Бенджамини-Хохберга, Бенджамини-Йекутиели. Примеры применения.
 +
# Восстановление регрессии наименьших модулей с помощью ММ-алгоритма.
 +
# Случайные леса, методы оценки значимости признаков в них. Мультиномиальная регрессия с регуляризатором «эластическая сеть». Способ оценки важности признаков в ней.
 +
# Структурный метод опорных векторов, обучение с помощью подхода отсекающих плоскостей. Примеры применения.

Текущая версия

Основная статья: Спецсеминар "Байесовские методы машинного обучения"

Расписание семинаров

Дата Название семинара Комментарии
7 сентября 2011 Елшин Денис, студент 4 курса ВМК МГУ.
Рассказ о летней школе Microsoft по компьютерному зрению. 		Сайт летней школы.
21 сентября 2011 Ушмаев Олег, в.н.с. ИПИ РАН.
Подход к измерению активности выброса радиоактивных веществ по данным мониторинга радиационной обстановки. 		Презентация (PDF, 3.13Мб)
28 сентября 2011 Визильтер Юрий Валентинович, рук. лаборатории компьютерного машинного зрения ФГУП ГосНИИАС.
Морфологический подход к синтезу метрических классификаторов и его реализация методом отыскания минимального разреза графа соседства для обучающей выборки. 		Презентация (PDF, 744Кб)
Программа (RAR, 1.62Мб)
Статья на ММРО (PDF, 375Кб)
5 октября 2011 Кропотов Дмитрий Александрович, м.н.с. ВЦ РАН.
Boltzmann Machines: математические модели, алгоритмы обучения, примеры применения.. 		Текст (PDF, 535Кб)
12 октября 2011 Шальнов Евгений, студент 4-го курса ВМК.
Обобщение алгоритмов \alpha-расширения и \alpha-\beta замены. 		Презентация (PDF, 260Кб)
Статья
19 октября 2011 Ветров Дмитрий Петрович, н.с. ВМК МГУ.
История Древнего Рима. 		Ненаучный семинар
Видеозапись лекции
26 октября 2011 Новиков Павел, студент 4-го курса ВМК.
Поиск дескрипторов, инвариантных к нелинейным деформациям и изменению освещенности 		Презентация (PDF, 2.3 Mб)
2 ноября 2011 Голдберг Андрей, сотрудник Microsoft Research, Silicon Valley.
Быстрые алгоритмы поиска максимального потока в графе 		Презентация

Статья

9 ноября 2011 Елшин Денис, студент 4-го курса ВМК.
Различные способы введения текстурного потенциала для сегментации изображений: эпитомы и textonboost 		Презентация (PDF, 2.91Мб)

Статья для конференции Нейроинформатика-2012
Статья по Textonboost
Статья по Semantic Texton Forest

16 ноября 2011 Рябенко Евгений, аспирант ВМК.
Иерархическая процедура множественной проверки гипотез 		Презентация (PDF, 1.9 МБ)
23 ноября 2011 Касперский Иван, студент 5-го курса ВМК.
Калибровка показаний тактильного механорецептора с помощью регрессии наименьших модулей 		Презентация (PDF, 1.91 Мб)
Статья по ММ-алгоритму
30 ноября 2011 Гавриков Михаил, студент 3-го курса ВМК.
Геометрия в пространстве древовидных форм 		Статья
7 декабря 2011 Тихонов Андрей, студент 4-го курса ВМК.

Методы деконволюции трехмерных изображений

14 декабря 2011 Головин Антон, студент 5-го курса ВМК.
Алгоритм решения задачи многоклассовой классификации с генерацией суперпозиций признаков

Ромов Петр, студент 3-го курса ВМК.
Структурный метод опорных векторов

Презентация Головина (PDF, 432 Кб)
Презентация Ромова (PDF, 2.08 Мб)

Зачет по спецсеминару

Список вопросов к зачету:

  1. Минимизация парно-сепарабельной энергии с бинарными переменными при помощи алгоритма поиска максимального потока в графе. Триангуляция Делоне и диаграмма Вороного. Применение этих техник для построения метрического классификатора Ю. Визильтера.
  2. Схема Гиббса для генерации выборки из распределения. Примеры применения. Вывод формул для схемы Гиббса в моделях BM и RBM.
  3. Вариационный подход. Примеры применения. Вывод формул для вариационного подхода в модели DBM.
  4. Модель DBM. Алгоритм обучения. Примеры применения.
  5. Алгоритмы \alpha-расширения и \alpha-\beta замены для минимизации парно-сепарабельной энергии с K-значными переменными. Алгоритм \alpha-расширения \beta-сдвига.
  6. Алгоритм поиска максимального потока в графе с помощью дополняющих путей.
  7. Алгоритм Бойкова-Колмогорова для поиска максимального потока.
  8. Вероятностная модель эпитомов для сегментации изображений, ее обучение с помощью ЕМ-алгоритма. Алгоритм минимизации энергии марковского поля с глобальным эпитомным потенциалом.
  9. Метод Textonboost для сегментации изображений: понятие текстона, алгоритм бустинга для текстонов.
  10. Множественная проверка гипотез. Контроль над FWER и FDR. Методы Бонферрони, Холма, Бенджамини-Хохберга, Бенджамини-Йекутиели. Примеры применения.
  11. Восстановление регрессии наименьших модулей с помощью ММ-алгоритма.
  12. Случайные леса, методы оценки значимости признаков в них. Мультиномиальная регрессия с регуляризатором «эластическая сеть». Способ оценки важности признаков в ней.
  13. Структурный метод опорных векторов, обучение с помощью подхода отсекающих плоскостей. Примеры применения.
Источник — «http://machinelearning.ru/wiki/index.php?title=%D0%A1%D0%BF%D0%B5%D1%86%D1%81%D0%B5%D0%BC%D0%B8%D0%BD%D0%B0%D1%80_%22%D0%91%D0%B0%D0%B9%D0%B5%D1%81%D0%BE%D0%B2%D1%81%D0%BA%D0%B8%D0%B5_%D0%BC%D0%B5%D1%82%D0%BE%D0%B4%D1%8B_%D0%BC%D0%B0%D1%88%D0%B8%D0%BD%D0%BD%D0%BE%D0%B3%D0%BE_%D0%BE%D0%B1%D1%83%D1%87%D0%B5%D0%BD%D0%B8%D1%8F%22/%D0%BE%D1%81%D0%B5%D0%BD%D1%8C_2011»
Личные инструменты