Численные методы обучения по прецедентам (практика, В.В. Стрижов)/Группа 474, весна 2018
Материал из MachineLearning.
(→Тема 2) |
(→Результаты) |
||
(109 промежуточных версий не показаны.) | |||
Строка 1: | Строка 1: | ||
{{Main|Численные методы обучения по прецедентам (практика, В.В. Стрижов)}} | {{Main|Численные методы обучения по прецедентам (практика, В.В. Стрижов)}} | ||
__NOTOC__ | __NOTOC__ | ||
+ | |||
+ | Короткая ссылка [http://bit.ly/2JkLqlo bit.ly/2JkLqlo] | ||
+ | |||
+ | '''Два курса весеннего семестра''' | ||
+ | * Выбор моделей в задачах регрессии и классификации, лекции по теории машинного обучения | ||
+ | * Постановка задач в машинном обучении, практические занятия | ||
+ | |||
+ | |||
+ | ==Выбор моделей в задачах регрессии и классификации, лекции== | ||
+ | Перед лекциями слушателям предлагается, по желанию, ответить на пять вопросов. Экзамен в конце семестра содержит 50 вопросов, длительность экзамена 1 час. Проверка - собеседование по записанным ответам. | ||
+ | |||
+ | === Тема 1=== | ||
+ | Выбор вероятностных моделей | ||
+ | * [http://svn.code.sf.net/p/mvr/code/lectures/Part1`DataGeneration.pdf В.В. Стрижов. Связанный байесовский вывод] | ||
+ | * [http://www.inference.org.uk/itprnn/book.pdf David J C MacKay. 2014. Information theory, inference, and learning algorithms] глава 28. | ||
+ | * [http://strijov.com/papers/Strijov2012ErrorFn.pdf Стрижов В.В. Функция ошибки в задачах восстановления регрессии // Заводская лаборатория. Диагностика материалов, 2013, 79(5) : 65-73.] | ||
+ | |||
+ | === Тема 2=== | ||
+ | Методы оптимизации параметров вероятностных моделей | ||
+ | * [http://svn.code.sf.net/p/mvr/code/lectures/Part2%60ParameterEstimation.pdf В.В. Стрижов. Методы оптимизации параметров вероятностных моделей] | ||
+ | * [http://www.inference.org.uk/itprnn/book.pdf Аппроксимация Лапласа] глава 27. | ||
+ | * [http://strijov.com/papers/HyperOptimizationEng.pdf Kuznetsov M.P., Tokmakova A.A., Strijov V.V. Analytic and stochastic methods of structure parameter estimation // Informatica, 2016, 27(3) : 607-624.] | ||
+ | |||
+ | === Тема 3=== | ||
+ | Оптимизация параметров для выбора моделей глубокого обучения | ||
+ | * [http://svn.code.sf.net/p/mlalgorithms/code/Group074/Bakhteev2016Evidence/doc/BakhteevEvidenceArticle_final.pdf О.Ю. Бахтеев, В.В. Стрижов. Выбор моделей глубокого обучения cубоптимальной сложности // Автоматика и телемеханика, 2018.] | ||
+ | * [https://github.com/bahleg/tex/raw/master/presentations/var_dnn/slides.pdf О.Ю. Бахтеев. Выбор моделей глубокого обучения cубоптимальной сложности.] | ||
+ | * [http://volker.nannen.com/pdf/short_introduction_to_model_selection.pdf Volker Nannen. A Short Introduction to Model Selection, Kolmogorov Complexity and Minimum Description Length (MDL), 2013], see also [http://volker.nannen.com/work/mdl/]. | ||
+ | * [https://homepages.cwi.nl/~pdg/ftp/mdlintro.pdf Peter Grunwald. A Tutorial Introduction to the Minimum Description Length Principle, 2004]. | ||
+ | * [https://www.sciencedirect.com/science/article/pii/0005109878900055?via%3Dihub Jorma Rissanen. Modeling by shortest data description // Automatica, 1978, 14(5): 465-471.] | ||
+ | |||
+ | === Тема 4=== | ||
+ | Выбор вероятностных моделей иерархической классификации | ||
+ | * [http://svn.code.sf.net/p/mlalgorithms/code/PhDThesis/Kuzmin/Kuzmin2017Thesis.pdf А.А. Кузьмин. Иерархическая классификация коллекций документов, 2017], [http://svn.code.sf.net/p/mlalgorithms/code/PhDThesis/Kuzmin/Kuzmin2017Presentation.pdf слайды.] | ||
+ | * [http://svn.code.sf.net/p/mlalgorithms/code/PhDThesis/Kuzmin/presentationLong/KuzminHSIM.pdf А.А. Кузьмин, В.В. Стрижов. Иерархическая классификация коллекции коротких текстов , 2017.] | ||
+ | * Кузьмин А.А. Иерархические тематические модели крупных конференций // МФТИ, 2016, [https://sourceforge.net/p/mlalgorithms/code/HEAD/tree/PhDThesis/Kuzmin/KuzminEURO2016.pdf?format=raw text], [https://sourceforge.net/p/mlalgorithms/code/HEAD/tree/PhDThesis/Kuzmin/Lecture_2016.pdf?format=raw slides]. | ||
+ | |||
+ | === Тема 5=== | ||
+ | Правдоподобие модели. Построение мультимоделей и анализ пространства их параметров | ||
+ | * [[Media:Aduenko_presentation_russian.pdf | Адуенко А.А. Evidence: байесовский подход к выбору моделей // МФТИ, 2018]], | ||
+ | * Адуенко А.А. Анализ пространства параметров в задаче выбора мультимоделей // МФТИ, 2016, [https://sourceforge.net/p/mlalgorithms/code/HEAD/tree/Group974/Aduenko2015EvidenceLecture/Aduenko_presentation_russian.pdf?format=raw slides]. | ||
+ | * [http://strijov.com/papers/ZaytsevStrijovTokmakova2012Likelihood_Preprint.pdf Зайцев А.А., Токмакова А.А., Стрижов В.В. Оценка гиперпараметров регрессионных моделей методом максимального правдоподобия // Информационные технологии, 2013, 2 ] | ||
+ | |||
+ | === Тема 6=== | ||
+ | Оптимизация гиперпараметров вероятностных моделей | ||
+ | * [http://svn.code.sf.net/p/mlalgorithms/code/Group074/Bakhteev2017Hypergrad/doc/Bakhteev2017Hypergrad.pdf О.Ю. Бахтеев, В.В. Стрижов. Оптимизация гиперпараметров моделей глубокого обучения градиентными методами, 2018.] | ||
+ | |||
+ | === Тема 7=== | ||
+ | Вариационные оценки, вариационный автоэнкодер | ||
+ | * [https://sourceforge.net/p/mlalgorithms/code/HEAD/tree/Group274/Lectures2017Autumn/Isachenko2017DeepSSL/Isachenko2017SSDeepPres.pdf?format=raw Роман Исаченко: Semi-supervised Learning with Deep Generative Models] | ||
+ | * Аппроксимация, пояснение [[Media:Variational Inference.jpg|пояснение]] | ||
+ | * Auto-encoding variational bayes: https://arxiv.org/pdf/1312.6114.pdf | ||
+ | * Tutorial on Variational Autoencoders: https://arxiv.org/pdf/1606.05908.pdf | ||
+ | * Semi-supervised Learning with Deep Generative Models: https://arxiv.org/pdf/1406.5298.pdf | ||
+ | |||
+ | === Тема 8=== | ||
+ | Построение, оптимизация и выбор мультимоделей | ||
+ | * [https://svn.code.sf.net/p/mlalgorithms/code/PhDThesis/Aduenko2017Multimodels/AduenkoThesis.pdf Адуенко А.А. Выбор моделей в зададчах классификации] | ||
+ | |||
+ | === Тема 9=== | ||
+ | Информативные априорные предположения в баейсовском мультимоделировании | ||
+ | * [https://github.com/neychev/Mixture_of_experts/raw/master/papers2017/SIGIR2017Submission.pdf Радослав Нейчев Heterogeneous model selection for multiscale time series forecasting] | ||
+ | |||
+ | === Тема 10=== | ||
+ | Оценка объема выборки с использованием байесовского подхода | ||
+ | * Мотренко А.А. Оценка необходимого объема выборки // МФТИ, 2016, [https://sourceforge.net/p/mlalgorithms/code/HEAD/tree/PhDThesis/Motrenko/doc/Motrenko2016SsdComparison.pdf?format=raw text], [https://sourceforge.net/p/mlalgorithms/code/HEAD/tree/PhDThesis/Motrenko/doc/Motrenko20XXSampleSize.pdf?format=raw text]. | ||
+ | |||
+ | === Вопросы к экзамену === | ||
+ | # Какие гипотезы принимаются при оценивании параметров линейной регрессивной модели методом наименьших квадратов? | ||
+ | # Какие гипотезы принимаются при назначении гиперпараметров? | ||
+ | # Включает ли функиця ошибки общего вида регуляризатор? | ||
+ | # Чем отличаются регуляризируемые слагаемые в случае нормального и мультиномиального распределения зависимой переменной? | ||
+ | # Что предпочтительнее при вычислении регуляризатора: сначала взвешивать параметры, а потом суммировать их квадраты или сначала суммировать квадраты, а потом взвешивать сумму? | ||
+ | # Чем отличаются наиболее вероятные параметры модели отличаются от наиболее правдоподобных и от оптимальных? | ||
+ | # Чем отличается наиболее правдоподобная выборка от наиболее правдоподобной модели? | ||
+ | # Как аппроксимация Лаплпса связывает разложение функции ошибки в ряд и предположение о нормальном распределении? | ||
+ | # Можно ли аппроксимацию параметров методом Лапласа выполнить в произвольной точке пространства параметров модели? | ||
+ | # Можно ли вычислить правдоподобие линейной модели аналитически? | ||
+ | # Почему процедура оценки гиперпараметров с помощью аппроксимации Лапласа не сходится за одну итерацию? | ||
+ | # Нужно ли оптимизировать параметры при вычислении правдоподобия модели? | ||
+ | # Какой уровень байесовского вывода используется при пополнении выборки в семплировании Метрополиса-Хастингса | ||
+ | # Какая операция вносит наибольшую сложность в оценку гиперпараметров методом кросс-валидации? | ||
+ | # Какой метод оценки гиперпараметров требует наибольшего числа итераций? | ||
+ | # Как зависит оптимальное правдоподобие модели от объема выборки? | ||
+ | # Какое априорное предположение о вероятности моделей может быть использовано при сравнении их правдоподобий в байесовском выводе второго уровня. | ||
+ | # Чем отличаются многоуровневые модели от смеси моделей и от смеси экспертов? | ||
+ | # Какие параметры оптимизирует алгоритм ЕМ при построении | ||
+ | # Чем отличается gating function от softmax в случае смеси экспертов? | ||
+ | # Назовите гипотезы и критерии оценивания оптимального объема выборки. | ||
+ | # Как связаны MDL и колмогоровская сложность? | ||
+ | # Как связаны Evidence и кросс-валидация? | ||
+ | # Как связаны нижняя оценка Evidence и MDL? | ||
+ | # Что такое бритва Оккама в задаче выбора модели? | ||
+ | # В каком случае нижняя оценка Evidence будет совпадать с Evidence? | ||
+ | <!-- # Описать критерий информативности параметров на основе вариационного распределения. --> | ||
+ | # Как получить оценку начала переобучения без использования кросс-валидации? | ||
+ | # Что такое оператор оптимизации? | ||
+ | # Что такое гиперпараметры, в чем их отличие от параметров и структурных параметров? | ||
+ | # В каком случае оптимизация гиперпараметров градиентными методами работает лучше других методов? | ||
+ | # Привести формальную постановку задачи оптимизации гиперпараметров. | ||
+ | # Как свести двусвязный байесовский выбор модели к задаче оптимизации гиперпараметров? | ||
+ | # Какие существуют градиентные алгоритмов оптимизации гиперпараметров? В чем заключаются их основные идеи? | ||
+ | # В каком случае алгоритм DrMAD будет давать более предпочтительное по сравнению с альтернативами качество оптимизации? | ||
+ | # В чем заключается проблема оптимизации полной и диагональной матрицы ковариаций с использованием кросс-валидации? | ||
+ | # В каком случае случайный поиск более предпочтителен, чем градиентные методы оптимизации гиперпараметров? | ||
+ | <!-- # Какой вид имеет оценка максимума правдоподобия для линейно-разделимой выборки из двух классов в модели логистической регрессии?--> | ||
+ | <!-- # В каком случае результат ML-оценки параметров модели линейной регрессии с 1000, возможно, мультиколлинеарными, но не в точности линейно зависимыми, признаками на 1000 точках будет иметь высокое качество и на тестовой выборке? --> | ||
+ | # Какие преимущества и недостатки есть у l-1 и квадратичной регуляризации в линейной регрессии? Чему эквивалентно введение таких штрафов за сложность в байесовском смысле? | ||
+ | # Понятие обоснованности. Почему модель с наибольшим правдоподобием для некоторого значения параметра может оказаться хуже других по обоснованности? | ||
+ | # Пусть имеется дискретное множество моделей, из которых наблюдаемая выборка могла быть получена, и некоторый набор априорных вероятностей каждой из моделей. Как связана апостериорная вероятность модели с ее обоснованностью? <!-- При каких условиях апостериорное распределение на целевую переменную совпадет с таковым для модели с наибольшей обоснованностью? (принцип максимума обоснованности) --> | ||
+ | <!-- # Пусть имелась выборка (X_{train}, T_{train}) из 1000 объектов. Каждый ее объект повторили 100 раз и получилась новая выборка из 100000 объектов. Может ли так быть, что из набора из нескольких моделей модель с наименьшей обоснованностью на первой выборке обладает наибольшей обоснованностью на второй? Если нет, то почему? Если да, то опишите пример. --> | ||
+ | <!-- # Опишите, как принцип максимума обоснованности может быть использован для отбора признаков в линейной и логистической регрессии. Что делать, если вы уверены, что какой-то признак значим, и в процессе максимизации обоснованности нужно рассматривать его как таковой (то есть не выбрасывать)? --> | ||
+ | # Пусть имеется несколько нормально зашумленных копий одного признака с известными дисперсиями шумов, которые создают мультиколлинеарность. Что следует сделать с такой группой признаков для повышения качества классификации и избавления от мультиколлинеарности? В каком случае это будет эквивалентно выбору "лучшего" представителя такого набора? | ||
+ | # Понятие адекватной мультимодели. Чем плоха неадекватная мультимодель? | ||
+ | <!-- # Функция сходства пары апостериорных распределений параметров моделей и требования корректности к ней для решения задачи построения адекватной мультимодели. В чем состоит основное требование, которое отличают эту задачу от других задач сравнения пары распределений? --> | ||
+ | # Корректность сходства моделей. Предлагаемая корректная функция сходства и ее вид для пары нормальных распределений. | ||
+ | # Как можно использовать предлагаемую функцию сходства для решения задачи статистического сравнения пары моделей? Что реже встречается для пары совпадающих моделей: сходство 0.01 для n=2 или n=20 (n-размерность признакового пространства)? | ||
+ | <!-- # Как зависит вероятность ошибки второго рода (вероятность признать модели одинаковыми, хотя они разные) при фиксированном числе объектов в выборке из первой модели при увеличении числа объектов в выборке для второй? --> | ||
+ | # Как конвертировать метод сравнения пары моделей в метод прореживания мультимодели для построения адекватной мультимодели? Какие методы рассматривались на лекции и какие Вы могли бы предложить? | ||
+ | <!-- # Написать вывод вариационной оценки для максимизации неполного правдоподобия. --> | ||
+ | <!-- # Чему равно вариационное распределение полученное на E-шаге EM-алгоритма без введения каких-либо ограничений? --> | ||
+ | # Какую проблему помогает преодолеть вариационная аппроксимация? | ||
+ | # Какую оптимизационную задачу решает вариационный автокодировщик? | ||
+ | # Что такое reparametrization trick? | ||
+ | # Что такое оценивание Монте Карло и как оно применяется для вычисления градиента нижней вариационной оценки? | ||
+ | # Как учесть метки классов при построении вариационного автокодировщика? | ||
+ | # Как меняется вид оптимизируемой вариационной нижней оценки в случае semi-supervised learning? | ||
+ | |||
+ | === Дополнительные темы === | ||
+ | * Выбор моделей Животовский | ||
+ | * GAN Попова | ||
+ | * Мультиколлинеарность, байесовский Беллсли Катруца | ||
==Постановка задач в машинном обучении, практические занятия== | ==Постановка задач в машинном обучении, практические занятия== | ||
Строка 35: | Строка 167: | ||
|[[Участник:Alvant|Алексеев Василий]] | |[[Участник:Alvant|Алексеев Василий]] | ||
| | | | ||
- | [https://svn.code.sf.net/p/mlalgorithms/code/Group474/Alekseev2018Essays/Alekseev2018Essay1.pdf?format=raw 1] | + | [https://svn.code.sf.net/p/mlalgorithms/code/Group474/Alekseev2018Essays/Alekseev2018Essay1.pdf?format=raw 1], |
+ | [https://svn.code.sf.net/p/mlalgorithms/code/Group474/Alekseev2018Essays/Alekseev2018Essay2.pdf?format=raw 2], | ||
+ | [https://svn.code.sf.net/p/mlalgorithms/code/Group474/Alekseev2018Essays/Alekseev2018Essay3.pdf?format=raw 3], | ||
+ | [https://svn.code.sf.net/p/mlalgorithms/code/Group474/Alekseev2018Essays/Alekseev2018Essay4.pdf?format=raw 4], | ||
+ | [https://svn.code.sf.net/p/mlalgorithms/code/Group474/Alekseev2018Essays/Alekseev2018Essay5.pdf?format=raw 5], | ||
+ | [https://svn.code.sf.net/p/mlalgorithms/code/Group474/Alekseev2018Essays/Alekseev2018Essay6.pdf?format=raw 6], | ||
+ | [https://svn.code.sf.net/p/mlalgorithms/code/Group474/Alekseev2018Essays/Alekseev2018Essay7.pdf?format=raw 7] | ||
+ | |1A+,2A,3A,4A,5A,6A,7A+ | ||
| | | | ||
- | |||
|- | |- | ||
- | |[[Участник: | + | |[[Участник:Dmitriy Anikeyev|Аникеев Дмитрий]] |
| | | | ||
+ | [https://svn.code.sf.net/p/mlalgorithms/code/Group474/Anikeyev2018Essays/Task4.pdf 4] | ||
+ | |4Z | ||
| | | | ||
+ | |- | ||
+ | |[[Участник: Гасанов Эльнур|Гасанов Эльнур]] | ||
+ | | | ||
+ | [http://svn.code.sf.net/p/mlalgorithms/code/Group474/Gasanov2018Essays/essay4.pdf 4] | ||
+ | [http://svn.code.sf.net/p/mlalgorithms/code/Group474/Gasanov2018Essays/essay5.pdf 5] | ||
+ | [http://svn.code.sf.net/p/mlalgorithms/code/Group474/Gasanov2018Essays/essay6.pdf 6] | ||
+ | [http://svn.code.sf.net/p/mlalgorithms/code/Group474/Gasanov2018Essays/essay7.pdf 7] | ||
+ | |4A,5A,6A,7A | ||
| | | | ||
|- | |- | ||
|[[Участник: Zachanton|Захаренков Антон]] | |[[Участник: Zachanton|Захаренков Антон]] | ||
|[https://drive.google.com/file/d/1oNdQXVsuTv2Zz-2VUXFkiFaMByJ6-2Td/view?usp=sharing 1] | |[https://drive.google.com/file/d/1oNdQXVsuTv2Zz-2VUXFkiFaMByJ6-2Td/view?usp=sharing 1] | ||
- | |||
|1Z | |1Z | ||
+ | | | ||
+ | |- | ||
+ | |[[Участник: Ivanychev|Иванычев Сергей]] | ||
+ | |[https://paper.dropbox.com/doc/1-mm20Q8VjJG29FCkmGjyoz?_tk=share_copylink 1] | ||
+ | [https://drive.google.com/uc?authuser=0&id=18z41YKFAZ9O2SCnlNbASKSyU9yKM0CJ5&export=download 2] | ||
+ | [https://image.ibb.co/dVN64H/20180321_111753.jpg 3] | ||
+ | [https://paper.dropbox.com/doc/4-rAHb0bXk8JiNUfxYxIAuC?_tk=share_copylink 4] | ||
+ | |1A,2A,3A,4A | ||
+ | | | ||
|- | |- | ||
|[[Участник: Dakovalev1|Ковалев Дмитрий]] | |[[Участник: Dakovalev1|Ковалев Дмитрий]] | ||
| | | | ||
| | | | ||
+ | | | ||
+ | |- | ||
+ | |Кубентаева Самал | ||
+ | |[https://drive.google.com/file/d/1PCxvl-G_urUxcmINxd4zw9NjxkGhncs0/view 5] | ||
+ | |5a | ||
| | | | ||
|- | |- | ||
|Макарчук Глеб | |Макарчук Глеб | ||
- | |[https://drive.google.com/file/d/1Ev2makOimX2vFudEEeiJP846Icu3ZpmN/view?usp=sharing 1] | + | |[https://drive.google.com/file/d/1Ev2makOimX2vFudEEeiJP846Icu3ZpmN/view?usp=sharing 1], |
+ | [https://drive.google.com/open?id=1v8rOLRveydZpCiuMHc91c-BfVOAZbvGu 2], | ||
+ | [https://drive.google.com/open?id=1Sb0gB4ynn4Zcbb8gPkIOvoN-bKOmAPaf 2code], | ||
+ | [https://drive.google.com/open?id=1InX6-Vr814PbLOwCOlQy6ULuTk0OBVAw 3] | ||
+ | [https://drive.google.com/open?id=1W1A95rF9ThvoD1qkMQsxnJi_GHUFGIk8 4] | ||
+ | |1A,2A,3A,4A+ | ||
| | | | ||
+ | |- | ||
+ | |[[Участник:VasiliyNovitskiy|Новицкий Василий]] | ||
+ | |[https://drive.google.com/open?id=1m4RxtyZvJL5YQS5V3hTf5fd6iCtdTya4 4] | ||
+ | |1A | ||
| | | | ||
|- | |- | ||
- | |Рыбка Елизавета | + | |[[Участник:Елизавета Рыбка|Рыбка Елизавета]] |
+ | |[https://drive.google.com/open?id=1z3MYNnoSqLWv8fNW7fzkKuUU-3GVmbih 1], [https://drive.google.com/file/d/1lWJzl5GOoO0H4Cov27rFsKIBAGx5aLGl/view?usp=sharing 4] | ||
+ | |1A,4A | ||
| | | | ||
- | |||
- | |||
|- | |- | ||
|Селезнева Мария | |Селезнева Мария | ||
- | | | + | |[https://svn.code.sf.net/p/mlalgorithms/code/Group474/Seleznova2018Essays/Seleznova2018Essay4.pdf?format=raw 4] |
| | | | ||
| | | | ||
|- | |- | ||
|[[Участник:Anton Smerdov|Смердов Антон]] | |[[Участник:Anton Smerdov|Смердов Антон]] | ||
- | |||
- | |||
- | |||
- | |||
- | |||
| | | | ||
| | | | ||
Строка 85: | Строка 250: | ||
|- | |- | ||
|[[Участник: Шолохов Алексей |Шолохов Алексей]] | |[[Участник: Шолохов Алексей |Шолохов Алексей]] | ||
- | | | + | |[https://bitbucket.org/aksholokhov/strijov/raw/026d370fc7150b9538bcc5b75e3aea85865e0efe/strizhov-zadaniie-2.pdf 2] |
- | | | + | [https://bitbucket.org/aksholokhov/strijov/raw/2f59f331dc63d57435249157cb8a83ac01214a92/strijov-zadanie-4.pdf 4] |
+ | [https://bitbucket.org/aksholokhov/strijov/raw/a45ef4a4985c3b775dbe1713c99cec192810e884/strizhov-1-priezientatsiia.pdf 1] | ||
+ | |1A,2A,4A | ||
| | | | ||
|- | |- | ||
Строка 94: | Строка 261: | ||
Предложить метод, аналогичный методу главных компонент для выборки с признаками, измеренными разнородных шкалах: номинальными, ординальными, линейными, с возможными пропусками. Звездочка: оценить максимальное число пропусков, допустимое для восстановления выборки с заданной точностью. Пример: [http://jmlda.org/papers/doc/2015/no11/Bakhteev2015MissingValues.pdf Бахтеев О.И. Восстановление пропущенных значений в разнородных шкалах с большим числом пропусков // Машинное обучение и анализ данных. 2015. T. 1, №11. C. 1484 - 1499.] | Предложить метод, аналогичный методу главных компонент для выборки с признаками, измеренными разнородных шкалах: номинальными, ординальными, линейными, с возможными пропусками. Звездочка: оценить максимальное число пропусков, допустимое для восстановления выборки с заданной точностью. Пример: [http://jmlda.org/papers/doc/2015/no11/Bakhteev2015MissingValues.pdf Бахтеев О.И. Восстановление пропущенных значений в разнородных шкалах с большим числом пропусков // Машинное обучение и анализ данных. 2015. T. 1, №11. C. 1484 - 1499.] | ||
- | == | + | === Задача 2 === |
- | + | Предложить метод, аналогичный методу [https://people.cs.pitt.edu/~milos/courses/cs2750-Spring04/lectures/class22.pdf Mixture of experts] для выборок, заданных в полностью или частично упорядоченных шкалах. Метод не должен использовать вероятностных допущений (только матрицу объект-модель). Он должен быть отличен от кластеризации с последующей классификацией кластеров. Примеры корректной работы с такими шкалами [http://strijov.com/papers/Kuznetsov-Strijov2013Concordance.pdf первый, см стр. 10 и далее], [http://strijov.com/papers/Medvednikova2014POF.pdf второй]. | |
- | === | + | === Задача 3 === |
- | + | Предложить метод, учитывающий закономерность на элементах вектора целевых переменной, аналогично PLS. При этом элементы имеют биномиальное распределение и | |
- | + | # полностью упорядочены, | |
+ | # частично упорядочены. | ||
+ | Пример задачи: дано описание заемщика во времени. Требуется спрогнозировать вероятность дефолта по месяцам на год вперед. Тут элементы целевого вектора упорядочены во времени. | ||
+ | Решение может быть корректировкой алгоритма PLS или самостоятельным алгоритмом. Примеры [https://pdfs.semanticscholar.org/aa15/11d22324ccb8f117dbc1c5383fa95bc1a51c.pdf PLS1], [https://en.wikipedia.org/wiki/Partial_least_squares_regression PLS2]. | ||
- | === | + | === Задача 4 === |
- | + | Решается задача восстановления дерева по (упорядоченному) описанию объекта (например, предложение, длина которого не превышает заданную). Выборка объект-структура задана. Требуется предложить постановку задачи, с функцией ошибки, которая бы штрафовала взвешенный полносвязный граф за то, что он не дерево (упрощенный вариант - не дерево заданного вида). Приветствуется решение, где функция штрафа однократно (или дважды) дифференцируема по весам. [https://youtu.be/LbsBguCUFEc?t=578 Tommi Jaakkola — Scaling structured prediction] | |
- | + | ||
- | + | ||
- | + | ||
- | === | + | === Задача 5 === |
- | + | Решается задача восстановления дерева по графовому скелетному представлению '''G''' жирных линий. Задана выборка {('''x'''='''x'''('''G'''('''I''')), y)}. Требуется восстановить метку класса (конечное множество) по описанию '''x''', полученному из растрового изображения '''I'''. Необходимо записать формальный алгоритм, который можно запрограммировать, ясный для понимания. Алгоритм включает 1) способ построения описания '''x''' по скелетному представлению '''G''' и 2) способ свертки последовательности векторов '''x'''. Свертка графов описана в [https://arxiv.org/pdf/1611.03199.pdf Han Altae-Tran, 2016. Low Data Drug Discovery with One-shot Learning]. | |
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | === | + | === Задача 6 === |
- | + | Требуется предложить алгоритм непрерывной аппроксимации параметров локальной модели SEMOR, <tex>\|\mathbf{\hat{x}}-\mathbf{x}\|^2_2\to\min</tex>, модель <tex>\mathbf{\hat{x}} = w_1+w_2 \mathbf{g}(w_3+w_4 t)</tex>. Вектор <tex>\mathbf{g}</tex> содержит меньшее число элементов, чем исходный ряд, в сегменте времени коророго производится аппроксимация, <tex>\mathbf{s} = [ \mathbf{s}_{\text{start}}, \mathbf{x}, \mathbf{s}_{\text{end}} ]</tex>. Предполагается, что форма модели <tex>\mathbf{g}</tex> приближает форму временного ряда <tex>\mathbf{x}</tex> внутри дискретного сегмента времени, <tex>t\in\{1,\dots,T\} </tex>, исходного ряда <tex>\mathbf{s}</tex>. | |
- | === | + | === Задача 7 === |
- | + | По изображению человеческого глаза определить окружности, аппроксимирующие внутреннюю и внешнюю границу радужки. [[Media:Iris_circle_problem.pdf | Iris_circle_problem.pdf]] | |
+ | Требуется построить мультимодель, которая с помощью двух прямых в линейной регрессии приближает окружности зрачка и радужки. Выписать функцию ошибки, включающую априорное предположение о параметрах модели и ограничения в явном виде. Растровые монохромные изображения, типичный размер 640*480 пикселей (однако, возможны и другие размеры)[http://www.bath.ac.uk/elec-eng/research/sipg/irisweb/], [http://www.cb-sr.ia.ac.cn/IrisDatabase.htm]. | ||
- | === | + | === Задача 8 === |
- | + | Прогноз направлений научных исследований и разработок. | |
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + |
Текущая версия
Короткая ссылка bit.ly/2JkLqlo
Два курса весеннего семестра
- Выбор моделей в задачах регрессии и классификации, лекции по теории машинного обучения
- Постановка задач в машинном обучении, практические занятия
Выбор моделей в задачах регрессии и классификации, лекции
Перед лекциями слушателям предлагается, по желанию, ответить на пять вопросов. Экзамен в конце семестра содержит 50 вопросов, длительность экзамена 1 час. Проверка - собеседование по записанным ответам.
Тема 1
Выбор вероятностных моделей
- В.В. Стрижов. Связанный байесовский вывод
- David J C MacKay. 2014. Information theory, inference, and learning algorithms глава 28.
- Стрижов В.В. Функция ошибки в задачах восстановления регрессии // Заводская лаборатория. Диагностика материалов, 2013, 79(5) : 65-73.
Тема 2
Методы оптимизации параметров вероятностных моделей
- В.В. Стрижов. Методы оптимизации параметров вероятностных моделей
- Аппроксимация Лапласа глава 27.
- Kuznetsov M.P., Tokmakova A.A., Strijov V.V. Analytic and stochastic methods of structure parameter estimation // Informatica, 2016, 27(3) : 607-624.
Тема 3
Оптимизация параметров для выбора моделей глубокого обучения
- О.Ю. Бахтеев, В.В. Стрижов. Выбор моделей глубокого обучения cубоптимальной сложности // Автоматика и телемеханика, 2018.
- О.Ю. Бахтеев. Выбор моделей глубокого обучения cубоптимальной сложности.
- Volker Nannen. A Short Introduction to Model Selection, Kolmogorov Complexity and Minimum Description Length (MDL), 2013, see also [1].
- Peter Grunwald. A Tutorial Introduction to the Minimum Description Length Principle, 2004.
- Jorma Rissanen. Modeling by shortest data description // Automatica, 1978, 14(5): 465-471.
Тема 4
Выбор вероятностных моделей иерархической классификации
- А.А. Кузьмин. Иерархическая классификация коллекций документов, 2017, слайды.
- А.А. Кузьмин, В.В. Стрижов. Иерархическая классификация коллекции коротких текстов , 2017.
- Кузьмин А.А. Иерархические тематические модели крупных конференций // МФТИ, 2016, text, slides.
Тема 5
Правдоподобие модели. Построение мультимоделей и анализ пространства их параметров
- Адуенко А.А. Evidence: байесовский подход к выбору моделей // МФТИ, 2018,
- Адуенко А.А. Анализ пространства параметров в задаче выбора мультимоделей // МФТИ, 2016, slides.
- Зайцев А.А., Токмакова А.А., Стрижов В.В. Оценка гиперпараметров регрессионных моделей методом максимального правдоподобия // Информационные технологии, 2013, 2
Тема 6
Оптимизация гиперпараметров вероятностных моделей
Тема 7
Вариационные оценки, вариационный автоэнкодер
- Роман Исаченко: Semi-supervised Learning with Deep Generative Models
- Аппроксимация, пояснение пояснение
- Auto-encoding variational bayes: https://arxiv.org/pdf/1312.6114.pdf
- Tutorial on Variational Autoencoders: https://arxiv.org/pdf/1606.05908.pdf
- Semi-supervised Learning with Deep Generative Models: https://arxiv.org/pdf/1406.5298.pdf
Тема 8
Построение, оптимизация и выбор мультимоделей
Тема 9
Информативные априорные предположения в баейсовском мультимоделировании
Тема 10
Оценка объема выборки с использованием байесовского подхода
Вопросы к экзамену
- Какие гипотезы принимаются при оценивании параметров линейной регрессивной модели методом наименьших квадратов?
- Какие гипотезы принимаются при назначении гиперпараметров?
- Включает ли функиця ошибки общего вида регуляризатор?
- Чем отличаются регуляризируемые слагаемые в случае нормального и мультиномиального распределения зависимой переменной?
- Что предпочтительнее при вычислении регуляризатора: сначала взвешивать параметры, а потом суммировать их квадраты или сначала суммировать квадраты, а потом взвешивать сумму?
- Чем отличаются наиболее вероятные параметры модели отличаются от наиболее правдоподобных и от оптимальных?
- Чем отличается наиболее правдоподобная выборка от наиболее правдоподобной модели?
- Как аппроксимация Лаплпса связывает разложение функции ошибки в ряд и предположение о нормальном распределении?
- Можно ли аппроксимацию параметров методом Лапласа выполнить в произвольной точке пространства параметров модели?
- Можно ли вычислить правдоподобие линейной модели аналитически?
- Почему процедура оценки гиперпараметров с помощью аппроксимации Лапласа не сходится за одну итерацию?
- Нужно ли оптимизировать параметры при вычислении правдоподобия модели?
- Какой уровень байесовского вывода используется при пополнении выборки в семплировании Метрополиса-Хастингса
- Какая операция вносит наибольшую сложность в оценку гиперпараметров методом кросс-валидации?
- Какой метод оценки гиперпараметров требует наибольшего числа итераций?
- Как зависит оптимальное правдоподобие модели от объема выборки?
- Какое априорное предположение о вероятности моделей может быть использовано при сравнении их правдоподобий в байесовском выводе второго уровня.
- Чем отличаются многоуровневые модели от смеси моделей и от смеси экспертов?
- Какие параметры оптимизирует алгоритм ЕМ при построении
- Чем отличается gating function от softmax в случае смеси экспертов?
- Назовите гипотезы и критерии оценивания оптимального объема выборки.
- Как связаны MDL и колмогоровская сложность?
- Как связаны Evidence и кросс-валидация?
- Как связаны нижняя оценка Evidence и MDL?
- Что такое бритва Оккама в задаче выбора модели?
- В каком случае нижняя оценка Evidence будет совпадать с Evidence?
- Как получить оценку начала переобучения без использования кросс-валидации?
- Что такое оператор оптимизации?
- Что такое гиперпараметры, в чем их отличие от параметров и структурных параметров?
- В каком случае оптимизация гиперпараметров градиентными методами работает лучше других методов?
- Привести формальную постановку задачи оптимизации гиперпараметров.
- Как свести двусвязный байесовский выбор модели к задаче оптимизации гиперпараметров?
- Какие существуют градиентные алгоритмов оптимизации гиперпараметров? В чем заключаются их основные идеи?
- В каком случае алгоритм DrMAD будет давать более предпочтительное по сравнению с альтернативами качество оптимизации?
- В чем заключается проблема оптимизации полной и диагональной матрицы ковариаций с использованием кросс-валидации?
- В каком случае случайный поиск более предпочтителен, чем градиентные методы оптимизации гиперпараметров?
- Какие преимущества и недостатки есть у l-1 и квадратичной регуляризации в линейной регрессии? Чему эквивалентно введение таких штрафов за сложность в байесовском смысле?
- Понятие обоснованности. Почему модель с наибольшим правдоподобием для некоторого значения параметра может оказаться хуже других по обоснованности?
- Пусть имеется дискретное множество моделей, из которых наблюдаемая выборка могла быть получена, и некоторый набор априорных вероятностей каждой из моделей. Как связана апостериорная вероятность модели с ее обоснованностью?
- Пусть имеется несколько нормально зашумленных копий одного признака с известными дисперсиями шумов, которые создают мультиколлинеарность. Что следует сделать с такой группой признаков для повышения качества классификации и избавления от мультиколлинеарности? В каком случае это будет эквивалентно выбору "лучшего" представителя такого набора?
- Понятие адекватной мультимодели. Чем плоха неадекватная мультимодель?
- Корректность сходства моделей. Предлагаемая корректная функция сходства и ее вид для пары нормальных распределений.
- Как можно использовать предлагаемую функцию сходства для решения задачи статистического сравнения пары моделей? Что реже встречается для пары совпадающих моделей: сходство 0.01 для n=2 или n=20 (n-размерность признакового пространства)?
- Как конвертировать метод сравнения пары моделей в метод прореживания мультимодели для построения адекватной мультимодели? Какие методы рассматривались на лекции и какие Вы могли бы предложить?
- Какую проблему помогает преодолеть вариационная аппроксимация?
- Какую оптимизационную задачу решает вариационный автокодировщик?
- Что такое reparametrization trick?
- Что такое оценивание Монте Карло и как оно применяется для вычисления градиента нижней вариационной оценки?
- Как учесть метки классов при построении вариационного автокодировщика?
- Как меняется вид оптимизируемой вариационной нижней оценки в случае semi-supervised learning?
Дополнительные темы
- Выбор моделей Животовский
- GAN Попова
- Мультиколлинеарность, байесовский Беллсли Катруца
Постановка задач в машинном обучении, практические занятия
Курс посвящен технике изложения основной идеи исследования. Обсуждаются постановки задач выбора моделей и способы построения функции ошибки. Обсуждение ведется в формате эссе. Эссе — это изложение идеи постановки и решения задачи. Изложение должно быть достаточно полным (идея восстанавливается однозначно), но кратким (полстраницы) и ясным. Задача ставится формально, желательно использование языка теории множеств, алгебры, матстатистики. Желательно ставить задачу в формате argmin. Пишется в свободной форме, с учетом нашего стиля выполнения научных работ: терминологическая точность и единство обозначений приветствуются[2]. Желательно приводить решение задачи в краткой форме. Обсуждаются эссе слушателей, которые лично присутствуют на занятии и могут прокомментировать задачу. Продолжительность доклада 3 минуты. Для доклада необходимо загрузить эссе в репозиторий и поставить ссылку в таблицу. Оценка выставляется за устный доклад: A или Z баллов.
Эссе хранятся в личной папке Group374/Surname2017Essays/. В папке этого примера есть шаблон эссе. Ссылка на эссе делается по шаблону
[http://svn.code.sf.net/p/mlalgorithms/code/Group374/Surname2017Essays/Surname2017Essay1.pdf?format=raw 1]
Можно делать эссе на слайдах с целью укорочения текста.
- Короткая ссылка на страницу bit.ly/2F9iLgW
![]() | Важно участвовать в обсуждении (можно по скайпу). Отложенных выступлений не предусмотрено в силу невозможности организовать обсуждение 88 докладов. |
Результаты
Автор | Ссылки на эссе | Доклад | |
---|---|---|---|
Федоряка Дмитрий (пример) | 1 , | 1A,2A,3Z,4A,5A,6A,T7,T8 | 10 |
Алексеев Василий | 1A+,2A,3A,4A,5A,6A,7A+ | ||
Аникеев Дмитрий | 4Z | ||
Гасанов Эльнур | 4A,5A,6A,7A | ||
Захаренков Антон | 1 | 1Z | |
Иванычев Сергей | 1 | 1A,2A,3A,4A | |
Ковалев Дмитрий | |||
Кубентаева Самал | 5 | 5a | |
Макарчук Глеб | 1, | 1A,2A,3A,4A+ | |
Новицкий Василий | 4 | 1A | |
Рыбка Елизавета | 1, 4 | 1A,4A | |
Селезнева Мария | 4 | ||
Смердов Антон | |||
Шибаев Иннокентий | |||
Шолохов Алексей | 2 | 1A,2A,4A |
Задача 1
Предложить метод, аналогичный методу главных компонент для выборки с признаками, измеренными разнородных шкалах: номинальными, ординальными, линейными, с возможными пропусками. Звездочка: оценить максимальное число пропусков, допустимое для восстановления выборки с заданной точностью. Пример: Бахтеев О.И. Восстановление пропущенных значений в разнородных шкалах с большим числом пропусков // Машинное обучение и анализ данных. 2015. T. 1, №11. C. 1484 - 1499.
Задача 2
Предложить метод, аналогичный методу Mixture of experts для выборок, заданных в полностью или частично упорядоченных шкалах. Метод не должен использовать вероятностных допущений (только матрицу объект-модель). Он должен быть отличен от кластеризации с последующей классификацией кластеров. Примеры корректной работы с такими шкалами первый, см стр. 10 и далее, второй.
Задача 3
Предложить метод, учитывающий закономерность на элементах вектора целевых переменной, аналогично PLS. При этом элементы имеют биномиальное распределение и
- полностью упорядочены,
- частично упорядочены.
Пример задачи: дано описание заемщика во времени. Требуется спрогнозировать вероятность дефолта по месяцам на год вперед. Тут элементы целевого вектора упорядочены во времени. Решение может быть корректировкой алгоритма PLS или самостоятельным алгоритмом. Примеры PLS1, PLS2.
Задача 4
Решается задача восстановления дерева по (упорядоченному) описанию объекта (например, предложение, длина которого не превышает заданную). Выборка объект-структура задана. Требуется предложить постановку задачи, с функцией ошибки, которая бы штрафовала взвешенный полносвязный граф за то, что он не дерево (упрощенный вариант - не дерево заданного вида). Приветствуется решение, где функция штрафа однократно (или дважды) дифференцируема по весам. Tommi Jaakkola — Scaling structured prediction
Задача 5
Решается задача восстановления дерева по графовому скелетному представлению G жирных линий. Задана выборка {(x=x(G(I)), y)}. Требуется восстановить метку класса (конечное множество) по описанию x, полученному из растрового изображения I. Необходимо записать формальный алгоритм, который можно запрограммировать, ясный для понимания. Алгоритм включает 1) способ построения описания x по скелетному представлению G и 2) способ свертки последовательности векторов x. Свертка графов описана в Han Altae-Tran, 2016. Low Data Drug Discovery with One-shot Learning.
Задача 6
Требуется предложить алгоритм непрерывной аппроксимации параметров локальной модели SEMOR, , модель
. Вектор
содержит меньшее число элементов, чем исходный ряд, в сегменте времени коророго производится аппроксимация,
. Предполагается, что форма модели
приближает форму временного ряда
внутри дискретного сегмента времени,
, исходного ряда
.
Задача 7
По изображению человеческого глаза определить окружности, аппроксимирующие внутреннюю и внешнюю границу радужки. Iris_circle_problem.pdf Требуется построить мультимодель, которая с помощью двух прямых в линейной регрессии приближает окружности зрачка и радужки. Выписать функцию ошибки, включающую априорное предположение о параметрах модели и ограничения в явном виде. Растровые монохромные изображения, типичный размер 640*480 пикселей (однако, возможны и другие размеры)[3], [4].
Задача 8
Прогноз направлений научных исследований и разработок.