Численные методы обучения по прецедентам (практика, В.В. Стрижов)/Группа 374, весна 2017
Материал из MachineLearning.
(→Результаты) |
(→Результаты) |
||
(104 промежуточные версии не показаны) | |||
Строка 4: | Строка 4: | ||
'''Постановка задач в машинном обучении''' | '''Постановка задач в машинном обучении''' | ||
- | Курс посвящен технике изложения основной идеи исследования. Обсуждаются постановки задач выбора моделей | + | Курс посвящен технике изложения основной идеи исследования. Обсуждаются постановки задач выбора моделей и способы построения функции ошибки. Обсуждение ведется в формате лекций и эссе. '''Эссе''' — это изложение идеи постановки и решения задачи. Изложение должно быть достаточно полным (идея восстанавливается однозначно), но кратким (полстраницы) и ясным. Задача ставится формально, желательно использование языка теории множеств, алгебры, матстатистики. Желательно ставить задачу в формате argmin. Пишется в свободной форме, с учетом нашего стиля выполнения научных работ: терминологическая точность и единство обозначений приветствуются[http://strijov.com/papers/Katrutsa2014TestGenerationEn.pdf]. В начале занятия из написанных эссе выбираются эссе для доклада и обсуждения. Продолжительность доклада 3 минуты. Оценка выставляется за устный доклад: A или Z баллов. |
Эссе хранятся в личной папке Group374/Surname2017Essays/. В папке этого примера есть шаблон эссе. Ссылка на эссе делается по шаблону | Эссе хранятся в личной папке Group374/Surname2017Essays/. В папке этого примера есть шаблон эссе. Ссылка на эссе делается по шаблону | ||
<pre> [http://svn.code.sf.net/p/mlalgorithms/code/Group374/Surname2017Essays/Surname2017Essay1.pdf?format=raw 1] | <pre> [http://svn.code.sf.net/p/mlalgorithms/code/Group374/Surname2017Essays/Surname2017Essay1.pdf?format=raw 1] | ||
</pre> | </pre> | ||
+ | |||
+ | * Короткая ссылка на страницу [http://bit.ly/2mt3MVZ bit.ly/2mt3MVZ] | ||
== Результаты == | == Результаты == | ||
Строка 16: | Строка 18: | ||
! Ссылки на эссе | ! Ссылки на эссе | ||
! Доклад | ! Доклад | ||
- | + | !<tex>\Sigma</tex> | |
- | + | ||
- | + | ||
- | + | ||
|- | |- | ||
|Баяндина Анастасия | |Баяндина Анастасия | ||
- | |[https://sourceforge.net/p/mlalgorithms/code/HEAD/tree/Group374/Bayandina2017Essays/Bayandina2017Essay1.pdf?format=raw 1] | + | |[https://sourceforge.net/p/mlalgorithms/code/HEAD/tree/Group374/Bayandina2017Essays/Bayandina2017Essay1.pdf?format=raw 1], [https://sourceforge.net/p/mlalgorithms/code/HEAD/tree/Group374/Bayandina2017Essays/Bayandina2017Essay2.pdf?format=raw 2], [https://sourceforge.net/p/mlalgorithms/code/HEAD/tree/Group374/Bayandina2017Essays/Bayandina2017Essay4.pdf?format=raw 4], [https://sourceforge.net/p/mlalgorithms/code/HEAD/tree/Group374/Bayandina2017Essays/Bayandina2017Essay6.pdf?format=raw 6] |
- | | | + | |1A,2A,3A,T4 |
+ | |9 | ||
|- | |- | ||
|Белозерова Анастасия | |Белозерова Анастасия | ||
- | |[https://sourceforge.net/p/mlalgorithms/code/HEAD/tree/Group374/Belozerova2017Essays/Beloz1Essay.pdf?format=raw 1] | + | |[https://sourceforge.net/p/mlalgorithms/code/HEAD/tree/Group374/Belozerova2017Essays/Beloz1Essay.pdf?format=raw 1], [https://sourceforge.net/p/mlalgorithms/code/HEAD/tree/Group374/Belozerova2017Essays/Beloz2Essay.pdf?format=raw 2], [https://sourceforge.net/p/mlalgorithms/code/HEAD/tree/Group374/Belozerova2017Essays/Beloz4Essay.pdf?format=raw 4], [https://sourceforge.net/p/mlalgorithms/code/HEAD/tree/Group374/Belozerova2017Essays/Beloz5Essay.pdf?format=raw 5], [https://sourceforge.net/p/mlalgorithms/code/HEAD/tree/Group374/Belozerova2017Essays/Beloz6Essay.pdf?format=raw 6], [https://sourceforge.net/p/mlalgorithms/code/HEAD/tree/Group374/Belozerova2017Essays/Beloz7Essay.pdf?format=raw 7] |
- | | | + | |2A,3A,4A,5A,T5 |
+ | |9 | ||
|- | |- | ||
|Владимирова Мария | |Владимирова Мария | ||
- | |[https://sourceforge.net/p/mlalgorithms/code/HEAD/tree/Group374/Vladimirova2017Essays/Vladimirova2017Essay1.pdf?format=raw 1] | + | |[https://sourceforge.net/p/mlalgorithms/code/HEAD/tree/Group374/Vladimirova2017Essays/Vladimirova2017Essay1.pdf?format=raw 1], [https://sourceforge.net/p/mlalgorithms/code/HEAD/tree/Group374/Vladimirova2017Essays/Vladimirova2017Essay2.pdf?format=raw 2], [https://sourceforge.net/p/mlalgorithms/code/HEAD/tree/Group374/Vladimirova2017Essays/Vladimirova2017Essay4.pdf?format=raw 4], [https://sourceforge.net/p/mlalgorithms/code/HEAD/tree/Group374/Vladimirova2017Essays/Vladimirova2017Essay5.pdf?format=raw 5], [https://sourceforge.net/p/mlalgorithms/code/HEAD/tree/Group374/Vladimirova2017Essays/Vladimirova2017Essay6.pdf?format=raw 6] |
- | | | + | |1A,2A,3A,T3 |
+ | |8 | ||
|- | |- | ||
|Володин Сергей | |Володин Сергей | ||
- | | [https://sourceforge.net/p/mlalgorithms/code/HEAD/tree/Group374/Volodin2017Essays/Volodin2017Essay1.pdf?format=raw 1] | + | | [https://sourceforge.net/p/mlalgorithms/code/HEAD/tree/Group374/Volodin2017Essays/Volodin2017Essay1.pdf?format=raw 1], [http://svn.code.sf.net/p/mlalgorithms/code/Group374/Volodin2017Essays/Volodin2017Essay2.pdf 2] |
- | + | [http://svn.code.sf.net/p/mlalgorithms/code/Group374/Volodin2017Essays/Volodin2017Essay4.pdf 4] | |
- | + | [http://svn.code.sf.net/p/mlalgorithms/code/Group374/Volodin2017Essays/Volodin2017Essay5.pdf 5] | |
- | + | [http://svn.code.sf.net/p/mlalgorithms/code/Group374/Volodin2017Essays/Volodin2017Essay6.pdf 6] | |
- | + | [http://svn.code.sf.net/p/mlalgorithms/code/Group374/Volodin2017Essays/Volodin2017Essay7.pdf 7] | |
- | + | |1A,2A,T2 | |
- | + | |8 | |
- | + | ||
- | | | + | |
- | | | + | |
|- | |- | ||
|Ковалева Валерия | |Ковалева Валерия | ||
|[https://sourceforge.net/p/mlalgorithms/code/HEAD/tree/Group374/Kovaleva2017Essays/Kovaleva2017Essay1.pdf?format=raw 1] | |[https://sourceforge.net/p/mlalgorithms/code/HEAD/tree/Group374/Kovaleva2017Essays/Kovaleva2017Essay1.pdf?format=raw 1] | ||
- | | | + | [https://sourceforge.net/p/mlalgorithms/code/HEAD/tree/Group374/Kovaleva2017Essays/Kovaleva2017Essay2.pdf?format=raw 2] |
+ | [https://sourceforge.net/p/mlalgorithms/code/HEAD/tree/Group374/Kovaleva2017Essays/Kovaleva2017Essay4.pdf?format=raw 4] | ||
+ | [https://sourceforge.net/p/mlalgorithms/code/HEAD/tree/Group374/Kovaleva2017Essays/Kovaleva2017Essay5.pdf?format=raw 5] | ||
+ | [https://sourceforge.net/p/mlalgorithms/code/HEAD/tree/Group374/Kovaleva2017Essays/Kovaleva2017Essay6.pdf?format=raw 6] | ||
+ | [https://sourceforge.net/p/mlalgorithms/code/HEAD/tree/Group374/Kovaleva2017Essays/Kovaleva2017Essay7.pdf?format=raw 7] | ||
+ | |1A,2A,T5 | ||
+ | |8 | ||
|- | |- | ||
|Малыгин Виталий | |Малыгин Виталий | ||
|[https://sourceforge.net/p/mlalgorithms/code/HEAD/tree/Group374/Malygin2017Essays/Malygin2017Essay1.pdf?format=raw 1] | |[https://sourceforge.net/p/mlalgorithms/code/HEAD/tree/Group374/Malygin2017Essays/Malygin2017Essay1.pdf?format=raw 1] | ||
- | | | + | [https://sourceforge.net/p/mlalgorithms/code/HEAD/tree/Group374/Malygin2017Essays/Malygin2017Essay4.pdf?format=raw 4] |
+ | |3Anofile,4A,T12 | ||
+ | |NA | ||
|- | |- | ||
|Молибог Игорь | |Молибог Игорь | ||
- | |[https://sourceforge.net/p/mlalgorithms/code/HEAD/tree/Group374/Molybog2017Essays/Molybog2017Essay1.pdf?format=raw 1] | + | |[https://sourceforge.net/p/mlalgorithms/code/HEAD/tree/Group374/Molybog2017Essays/Molybog2017Essay1.pdf?format=raw 1], |
- | | | + | [https://sourceforge.net/p/mlalgorithms/code/HEAD/tree/Group374/Molybog2017Essays/Molybog2017Essay2.pdf?format=raw 2], |
+ | [https://sourceforge.net/p/mlalgorithms/code/HEAD/tree/Group374/Molybog2017Essays/Molybog2017Essay4.pdf?format=raw 4], | ||
+ | [https://sourceforge.net/p/mlalgorithms/code/HEAD/tree/Group374/Molybog2017Essays/Molybog2017Essay5.pdf?format=raw 5], | ||
+ | [https://sourceforge.net/p/mlalgorithms/code/HEAD/tree/Group374/Molybog2017Essays/Molybog2017Essay6.pdf?format=raw 6], | ||
+ | [https://sourceforge.net/p/mlalgorithms/code/HEAD/tree/Group374/Molybog2017Essays/Molybog2017Essay7.pdf?format=raw 7], | ||
+ | |1A,2A,3a,T7 | ||
+ | |7 | ||
|- | |- | ||
|Погодин Роман | |Погодин Роман | ||
- | |[https://sourceforge.net/p/mlalgorithms/code/HEAD/tree/Group374/Pogodin2017Essays/Pogodin2017Essay1.pdf?format=raw 1] | + | |[https://sourceforge.net/p/mlalgorithms/code/HEAD/tree/Group374/Pogodin2017Essays/Pogodin2017Essay1.pdf?format=raw 1], [https://sourceforge.net/p/mlalgorithms/code/HEAD/tree/Group374/Pogodin2017Essays/Pogodin2017Essay2.pdf?format=raw 2], [https://sourceforge.net/p/mlalgorithms/code/HEAD/tree/Group374/Pogodin2017Essays/Pogodin2017Essay4.pdf?format=raw 4], [https://sourceforge.net/p/mlalgorithms/code/HEAD/tree/Group374/Pogodin2017Essays/Pogodin2017Essay5.pdf?format=raw 5], [https://sourceforge.net/p/mlalgorithms/code/HEAD/tree/Group374/Pogodin2017Essays/Pogodin2017Essay6.pdf?format=raw 6], [https://sourceforge.net/p/mlalgorithms/code/HEAD/tree/Group374/Pogodin2017Essays/Pogodin2017Essay7.pdf?format=raw 7] |
- | | | + | |2A,4A,5A,T8 |
+ | |8 | ||
|- | |- | ||
|Рязанов Андрей | |Рязанов Андрей | ||
- | | | + | |[http://svn.code.sf.net/p/mlalgorithms/code/Group374/Ryazanov2017Essays/RyazanovEssay1.pdf?format=raw 1], [http://svn.code.sf.net/p/mlalgorithms/code/Group374/Ryazanov2017Essays/RyazanovEssay2.pdf?format=raw 2], [http://svn.code.sf.net/p/mlalgorithms/code/Group374/Ryazanov2017Essays/RyazanovEssay4.pdf?format=raw 4], [http://svn.code.sf.net/p/mlalgorithms/code/Group374/Ryazanov2017Essays/RyazanovEssay5.pdf?format=raw 5], [http://svn.code.sf.net/p/mlalgorithms/code/Group374/Ryazanov2017Essays/RyazanovEssay6.pdf?format=raw 6], [http://svn.code.sf.net/p/mlalgorithms/code/Group374/Ryazanov2017Essays/RyazanovEssay7.pdf?format=raw 7] |
- | | | + | |3A,T6 |
+ | |8 | ||
|- | |- | ||
|Сафин Камиль | |Сафин Камиль | ||
- | |[http://svn.code.sf.net/p/mlalgorithms/code/Group374/Safin2017Essays/Safin2017Essay1.pdf?format=raw 1] | + | |[http://svn.code.sf.net/p/mlalgorithms/code/Group374/Safin2017Essays/Safin2017Essay1.pdf?format=raw 1], [http://svn.code.sf.net/p/mlalgorithms/code/Group374/Safin2017Essays/Safin2017Essay2.pdf?format=raw 2] |
- | | | + | [http://svn.code.sf.net/p/mlalgorithms/code/Group374/Safin2017Essays/Safin2017Essay3.pdf?format=raw 4] |
+ | [http://svn.code.sf.net/p/mlalgorithms/code/Group374/Safin2017Essays/Safin2017Essay4.pdf?format=raw 5] | ||
+ | [http://svn.code.sf.net/p/mlalgorithms/code/Group374/Safin2017Essays/Safin2017Essay6.pdf?format=raw 6] | ||
+ | [http://svn.code.sf.net/p/mlalgorithms/code/Group374/Safin2017Essays/Safin2017Essay7.pdf?format=raw 7] | ||
+ | | 3a,4A,5A,T11 | ||
+ | |NA | ||
|- | |- | ||
|Федоряка Дмитрий | |Федоряка Дмитрий | ||
- | |[http://svn.code.sf.net/p/mlalgorithms/code/Group374/Fedoriaka2017Essays/Fedoriaka2017Essay1.pdf?format=raw 1] | + | |[http://svn.code.sf.net/p/mlalgorithms/code/Group374/Fedoriaka2017Essays/Fedoriaka2017Essay1.pdf?format=raw 1] , |
- | | | + | [http://svn.code.sf.net/p/mlalgorithms/code/Group374/Fedoriaka2017Essays/Fedoriaka2017Essay2.pdf?format=raw 2] , |
+ | [http://svn.code.sf.net/p/mlalgorithms/code/Group374/Fedoriaka2017Essays/Fedoriaka2017Essay4.pdf?format=raw 4] , | ||
+ | [http://svn.code.sf.net/p/mlalgorithms/code/Group374/Fedoriaka2017Essays/Fedoriaka2017Essay5.pdf?format=raw 5] , | ||
+ | [http://svn.code.sf.net/p/mlalgorithms/code/Group374/Fedoriaka2017Essays/Fedoriaka2017Essay6.pdf?format=raw 6] , | ||
+ | [http://svn.code.sf.net/p/mlalgorithms/code/Group374/Fedoriaka2017Essays/Fedoriaka2017Essay7.pdf?format=raw 7] | ||
+ | |1A,2A,3Z,4A,5A,6A,T6 | ||
+ | |10 | ||
+ | |- | ||
+ | |Филиппенко Константин | ||
+ | |[https://sourceforge.net/p/mlalgorithms/code/HEAD/tree/mlalgorithms-code/Philippenko2017essay1.pdf?format=raw 1], | ||
+ | [https://sourceforge.net/p/mlalgorithms/code/HEAD/tree/mlalgorithms-code/Philippenko2017essay2.pdf?format=raw 2], [https://sourceforge.net/p/mlalgorithms/code/HEAD/tree/mlalgorithms-code/Phlippenko2017Essay4.pdf?format=raw 4], [https://sourceforge.net/p/mlalgorithms/code/HEAD/tree/mlalgorithms-code/Philippenko2017Essay5.pdf?format=raw 5], [https://sourceforge.net/p/mlalgorithms/code/HEAD/tree/mlalgorithms-code/Philippenko2017essay6.pdf?format=raw 6], [https://sourceforge.net/p/mlalgorithms/code/HEAD/tree/mlalgorithms-code/Philippenko2017essay7.pdf?format=raw 7] | ||
+ | |1A,2A,3a,4A,5A,6A,T6 | ||
+ | |8 | ||
|- | |- | ||
|Цветкова Ольга | |Цветкова Ольга | ||
- | | | + | |[http://svn.code.sf.net/p/mlalgorithms/code/Group374/Tsvetkova2017Essays/Tsvetkova1Essay.pdf?format=raw 1], |
- | | | + | [http://svn.code.sf.net/p/mlalgorithms/code/Group374/Tsvetkova2017Essays/Tsvetkova4Essay.pdf?format=raw 4], |
+ | [http://svn.code.sf.net/p/mlalgorithms/code/Group374/Tsvetkova2017Essays/Tsvetkova7Essay.pdf?format=raw 7] | ||
+ | |T5 | ||
+ | |6 | ||
|- | |- | ||
|Чигринский Виктор | |Чигринский Виктор | ||
- | | | + | |[http://svn.code.sf.net/p/mlalgorithms/code/Group374/Chigrinskiy2017Essays/Chigrinskiy2017Essay1.pdf?format=raw 1], [http://svn.code.sf.net/p/mlalgorithms/code/Group374/Chigrinskiy2017Essays/Chigrinskiy2017Essay2.pdf?format=raw 2], [http://svn.code.sf.net/p/mlalgorithms/code/Group374/Chigrinskiy2017Essays/Chigrinskiy2017Essay4.pdf?format=raw 4], [http://svn.code.sf.net/p/mlalgorithms/code/Group374/Chigrinskiy2017Essays/Chigrinskiy2017Essay5.pdf?format=raw 5], [http://svn.code.sf.net/p/mlalgorithms/code/Group374/Chigrinskiy2017Essays/Chigrinskiy2017Essay6.pdf?format=raw 6], [http://svn.code.sf.net/p/mlalgorithms/code/Group374/Chigrinskiy2017Essays/Chigrinskiy2017Essay7.pdf?format=raw 7] |
- | | | + | |T10 |
+ | |NA | ||
+ | |- | ||
+ | |Городницкий Олег | ||
+ | |[http://svn.code.sf.net/p/mlalgorithms/code/Group374/Gorodnitskii2017Essays/Gorodnitskii2017Essay1.pdf?format=raw 1], | ||
+ | [http://svn.code.sf.net/p/mlalgorithms/code/Group374/Gorodnitskii2017Essays/Gorodnitskii2017Essay2.pdf?format=raw 2?], | ||
+ | [http://svn.code.sf.net/p/mlalgorithms/code/Group374/Gorodnitskii2017Essays/Gorodnitskii2017Essay3.pdf?format=raw 3?], | ||
+ | [http://svn.code.sf.net/p/mlalgorithms/code/Group374/Gorodnitskii2017Essays/Gorodnitskii2017Essay6.pdf?format=raw 6], | ||
+ | [http://svn.code.sf.net/p/mlalgorithms/code/Group374/Gorodnitskii2017Essays/Gorodnitskii2017Essay7.pdf?format=raw 7] | ||
+ | |T2 | ||
+ | |6 | ||
|- | |- | ||
|} | |} | ||
- | == Тема 1 | + | == Тема 1 == |
+ | Индикаторы качества и обучение по предпочтениям | ||
* Strijov V.V. Methods of Preference Learning for Ordinal Classification and Decision Making, 2014, MIPT, [https://sourceforge.net/p/mvr/code/HEAD/tree/lectures/AMA2015/Strijov19Dec2014PreferenceLearning_AMA.pdf?format=raw slides] | * Strijov V.V. Methods of Preference Learning for Ordinal Classification and Decision Making, 2014, MIPT, [https://sourceforge.net/p/mvr/code/HEAD/tree/lectures/AMA2015/Strijov19Dec2014PreferenceLearning_AMA.pdf?format=raw slides] | ||
* Кузнецов М.П. Построение моделей обучения по предпочтениям с использованием порядковых экспертных оценок, 2016, МФТИ, [https://sourceforge.net/p/mlalgorithms/code/HEAD/tree/PhDThesis/KuznetsovPreferenceLearning/slides/KuznetsovPhdSlides.pdf?format=raw slides] | * Кузнецов М.П. Построение моделей обучения по предпочтениям с использованием порядковых экспертных оценок, 2016, МФТИ, [https://sourceforge.net/p/mlalgorithms/code/HEAD/tree/PhDThesis/KuznetsovPreferenceLearning/slides/KuznetsovPhdSlides.pdf?format=raw slides] | ||
Строка 90: | Строка 136: | ||
* Медведникова М.М., Стрижов В.В. Построение интегрального индикатора качества научных публикаций методами ко-кластеризации // Известия Тульского государственного университета, Естественные науки, 2013, 1 : 154-165 [http://strijov.com/papers/Medvednikova2012CoIndicator.pdf article] | * Медведникова М.М., Стрижов В.В. Построение интегрального индикатора качества научных публикаций методами ко-кластеризации // Известия Тульского государственного университета, Естественные науки, 2013, 1 : 154-165 [http://strijov.com/papers/Medvednikova2012CoIndicator.pdf article] | ||
- | == Задача 1 | + | == Задача 1 == |
Согласование экспертных оценок как согласование конусов предполагает, что объекты сравнимы (являются элементами простой выборки). Что делать, если объекты не сравнимы и образуют кластерную структуру? Как проверить, сравнимы ли объекты? Требуется погрузить множество конусов с определенной на нем суммой Минковского в метрическое пространство и предложить способ построения интегральных индикаторов с использованием метрики (или функции расстояния) в пространстве описаний объектов. | Согласование экспертных оценок как согласование конусов предполагает, что объекты сравнимы (являются элементами простой выборки). Что делать, если объекты не сравнимы и образуют кластерную структуру? Как проверить, сравнимы ли объекты? Требуется погрузить множество конусов с определенной на нем суммой Минковского в метрическое пространство и предложить способ построения интегральных индикаторов с использованием метрики (или функции расстояния) в пространстве описаний объектов. | ||
- | == Тема 2 | + | == Тема 2 == |
+ | Снижение размерности пространства в задаче прогнозирования | ||
* Strijov V.V. Feature generation and model selection for multiscale time series forecasting, MIPT, 2016 [https://sourceforge.net/p/mvr/code/HEAD/tree/lectures/DataFest/Strijov2016Tutorial.pdf?format=raw slides] | * Strijov V.V. Feature generation and model selection for multiscale time series forecasting, MIPT, 2016 [https://sourceforge.net/p/mvr/code/HEAD/tree/lectures/DataFest/Strijov2016Tutorial.pdf?format=raw slides] | ||
* Katrutsa A.M., Strijov V.V. Stresstest procedure for feature selection algorithms // Chemometrics and Intelligent Laboratory Systems, 2015, 142 : 172-183 [http://strijov.com/papers/Katrutsa2014TestGenerationEn.pdf article] | * Katrutsa A.M., Strijov V.V. Stresstest procedure for feature selection algorithms // Chemometrics and Intelligent Laboratory Systems, 2015, 142 : 172-183 [http://strijov.com/papers/Katrutsa2014TestGenerationEn.pdf article] | ||
Строка 100: | Строка 147: | ||
* Motrenko A.P., Strijov V.V. Extracting fundamental periods to segment human motion time series // Journal of Biomedical and Health Informatics, 2015, 20(6) : 1466 - 1476 [http://strijov.com/papers/MotrenkoStrijov2014RV2.pdf article] | * Motrenko A.P., Strijov V.V. Extracting fundamental periods to segment human motion time series // Journal of Biomedical and Health Informatics, 2015, 20(6) : 1466 - 1476 [http://strijov.com/papers/MotrenkoStrijov2014RV2.pdf article] | ||
- | == Задача 2 | + | == Задача 2 == |
- | Предложить новый способ снижения размерности свехбольших пространств для задач прогнозирования. | + | Предложить новый способ снижения размерности свехбольших пространств для задач прогнозирования. Задан временной ряд, набор временных рядов. Требуется предложить способ порождения описания ряда или набора рядов, длина которого не превосходит исходную длину. |
+ | На занятии разбирались следующие способы: | ||
+ | # трансформации ряда алгебраическими функциями, | ||
+ | # аппроксимация временного ряда параметрическими и непараметрическими функциями, | ||
+ | # свертка ряда, использование статистик, | ||
+ | # сглаживание, дифференцирование ряда, | ||
+ | # замена ряда расстоянием до опорного объекта (ряда), выравнивание ряда, | ||
+ | # использование параметров локально-аппроксимирующих моделей в качестве описания. | ||
+ | # построение гистограммы, преобразования Фурье в качестве описания, | ||
+ | # операции над парами рядов, | ||
+ | # различные способы сегментации ряда при построении матрицы плана. | ||
+ | Требуется предложить новые способы замены ряда его описанием. | ||
+ | == Тема 2* == | ||
+ | * Максимов Ю.В. Машинное обучение с функциональными ограничениями (на примере оптимизации энергетический сетей), МФТИ, 2017 [https://youtu.be/iEERPx-Apco video] | ||
- | == Тема 3 | + | == Тема 3 == |
- | Построение функции ошибки | + | Построение функции ошибки при выборе регрессионной модели |
- | == | + | * Стижов В.В. Построение скоринговой модели, МФТИ, 2010 [https://sourceforge.net/p/mvr/code/HEAD/tree/lectures/Strijov2010Scoring_ANE.pdf?format=raw slides] |
+ | * Де Ротшильд Я.И. Процедура построения скоринговой модели, ВШЭ, 2017 [https://sourceforge.net/p/mvr/code/HEAD/tree/lectures/Rotshild2017ScoringProcedure.pdf slides] | ||
+ | * Стижов В.В. Диаграмма IDEF0, скоринговая модель, МФТИ, 2014 [https://sourceforge.net/p/mvr/code/HEAD/tree/lectures/Part6_ScorecardChartflow.pdf slides] | ||
+ | * Стижов В.В. Постановка задачи выбора моделей, МФТИ, 2014 [https://sourceforge.net/p/mvr/code/HEAD/tree/lectures/Part3%60ProblemStatement.pdf?format=raw slides] | ||
+ | * Стижов В.В. Генетический алгоритм выбора и группировки признаков, МФТИ, 2014 [https://sourceforge.net/p/mvr/code/HEAD/tree/lectures/Strijov2012IAM.METU.Part3(dragged).pdf slides] | ||
+ | * Katrutsa A.M., Strijov V.V. Stresstest procedure for feature selection algorithms // Chemometrics and Intelligent Laboratory Systems, 2015, 142 : 172-183 [http://strijov.com/papers/Katrutsa2014TestGenerationEn.pdf article] | ||
+ | * Motrenko A.P., Strijov V.V., Weber G.-W. Bayesian sample size estimation for logistic regression // Journal of Computational and Applied Mathematics, 2014, 255 : 743-752. [http://strijov.com/papers/MotrenkoStrijovWeber2012SampleSize.pdf article] | ||
+ | * Кузнецов М.П., Стрижов В.В., Медведникова М.М. Алгоритм многоклассовой классификации объектов, описанных в ранговых шкалах // Научно-технический вестник С.-Пб.ПГУ. Информатика. Телекоммуникации. Управление, 2012, 5 : 92-95 [http://strijov.com/papers/Kuznetsov2012Curvilinear.pdf paper] | ||
+ | * Токмакова А.В. Алгоритм отбора признаков в задаче скоринга, МФТИ, 2014, [https://sourceforge.net/p/mlalgorithms/code/HEAD/tree/Group874/Tokmakova2013Scoring/doc/Tokmakova2013Scoring.pdf?format=raw paper] | ||
+ | * Aduenko A., Motrenko A., Strijov V. Object selection in credit scoring using covariance matrix of parameters estimations, accepted to Annals of Operations Research (January 2017) DOI: 10.1007/s10479-017-2417-3 [https://sourceforge.net/p/mlalgorithms/code/HEAD/tree/Group974/Aduenko2014-2016ObjectSelection/Version2014/aduenko_article_english_new.pdf?format=raw paper] | ||
+ | |||
+ | == Задача 3 == | ||
Предлагается решить в течение занятия. | Предлагается решить в течение занятия. | ||
+ | |||
+ | == Тема 4 == | ||
+ | Функция ошибки и связный байесовский вывод | ||
+ | * [http://svn.code.sf.net/p/mvr/code/lectures/5thYear/IntroBayes.pdf?format=raw Связный байесовский вывод, слайды // sf.net/MVR, 2016.] | ||
+ | * [http://strijov.com/papers/Strijov2012ErrorFn.pdf Стрижов В.В. Функция ошибки в задачах восстановления регрессии // Заводская лаборатория. Диагностика материалов, 2013, 79(5) : 65-73.] | ||
+ | * [http://strijov.com/papers/HyperOptimizationEng.pdf Kuznetsov M.P., Tokmakova A.A., Strijov V.V. Analytic and stochastic methods of structure parameter estimation // Informatica, 2016.] | ||
+ | |||
+ | == Задача 4 == | ||
+ | Принята гипотеза порождения данных (простой выборки, i.i.d.): | ||
+ | * зависимой переменной, | ||
+ | * зависимой и независимых переменных (более сложный вариант). | ||
+ | Предполагается, что распределение принадлежит экспоннциальному семейству (более сложный вариант - не принадлежит). | ||
+ | Требуется | ||
+ | # найти в литературе пример прикладной задачи, где декларируется распределение зависимой переменной (можно самостоятельно принять гипотезу порождения данных исходя из постановки найденной прикладной задачи), | ||
+ | # выписать функцию ошибки общего вида согласно байесовскому выводу, | ||
+ | # указать, для какой модели выписана функция ошибки. | ||
+ | Ограничение. Нежелательно принимать гипотезы, которые были рассмотрены на лекции, а именно нормальное, биномиальное и мульитномиальное распределения. | ||
+ | |||
+ | == Тема 5 == | ||
+ | Выбор моделей по принципу наименьшей длины описания | ||
+ | * Бахтеев О.Ю. Принцип наименьшей длины описания, МФТИ, 2017, [http://www.machinelearning.ru/wiki/images/d/d7/BakhteevComplexitySlides.pdf slides]. | ||
+ | |||
+ | == Задача 5 == | ||
+ | Найти статью по моделям глубокого обучения с функцией ошибки общего вида (желательно свежую, 2016-17). Указать какая часть функции ошибки отвечает за сложность модели, какая за точность передачи данных (приветствуются и другие варианты). Пример такой функции ошибки [http://www.machinelearning.ru/wiki/images/b/b3/Perekrestenko2014StructureAnalysis_Presentation.pdf на слайдах 7,10]. Указать из найденной статьи, насколько различаются критерии качества построенной модели при использовании различных функий ошибки или при испльзовании процедуры дообучения. | ||
+ | * Примеры работ, в которых есть такие функции ошибки: [https://papers.nips.cc/paper/4329-practical-variational-inference-for-neural-networks.pdf раз], [https://arxiv.org/pdf/1702.04008.pdf два], [https://arxiv.org/pdf/1310.8499.pdf три], [http://proceedings.mlr.press/v37/suna15.pdf четыре], [https://stats.stackexchange.com/questions/104988/what-is-the-difference-between-a-loss-function-and-decision-function пять]. | ||
+ | |||
+ | == Тема 6 == | ||
+ | Оценка гиперпараметров моделей регрессии и классификации | ||
+ | * [http://strijov.com/papers/HyperOptimizationEng.pdf Kuznetsov M.P., Tokmakova A.A., Strijov V.V. Analytic and stochastic methods of structure parameter estimation // Informatica, 2016.] | ||
+ | * [http://jmlda.org/papers/doc/2011/no2/Panov2011ApproximateInference.pdf М. Е. Панов Аппроксимация функции ошибки // JMLDA, 2011.] | ||
+ | == Задача 6 == | ||
+ | Так как оценка параметров нейросетей занимает значительное число итераций, требуется предложить метод оценки гиперпараметров модели. Этот метод является частью процедуры градиентного спуска (можно использовать процедуру стохастического градента). Требуется описать алгоритм получения гиперпараметров <tex>\text{diag}(\mathbf{\alpha}), \text{diag}(\mathbf{\beta})</tex>. За основу можно взять метод CV из вышеприведенной работы или другой метод оценки дисперсии параметров <tex>\mathbf{w}</tex> и остатков <tex>\mathbf{\varepsilon}</tex>. | ||
+ | |||
+ | == Задача 7 == | ||
+ | Какие 1) теоретические и 2) прикладные задачи будут решать в области машинного обучения 1) через три года, 2 ) через 10 лет? | ||
+ | |||
+ | == Вопросы к тесту == | ||
+ | 25 вопросов по темам | ||
+ | # Согласование экспертных оценок | ||
+ | # Классификация с помощью Парето-фронтов | ||
+ | # Мультиколлинеарность и алгоритмы выбора признаков | ||
+ | # Порождение и выбор признаков | ||
+ | # Двухуровневый байесовский вывод | ||
+ | # Принцип наименьшей длины описания в выборе моделей | ||
+ | # Выбор моделей кредитного скоринга | ||
+ | # Оценка гиперпараметров моделей |
Текущая версия
Постановка задач в машинном обучении
Курс посвящен технике изложения основной идеи исследования. Обсуждаются постановки задач выбора моделей и способы построения функции ошибки. Обсуждение ведется в формате лекций и эссе. Эссе — это изложение идеи постановки и решения задачи. Изложение должно быть достаточно полным (идея восстанавливается однозначно), но кратким (полстраницы) и ясным. Задача ставится формально, желательно использование языка теории множеств, алгебры, матстатистики. Желательно ставить задачу в формате argmin. Пишется в свободной форме, с учетом нашего стиля выполнения научных работ: терминологическая точность и единство обозначений приветствуются[1]. В начале занятия из написанных эссе выбираются эссе для доклада и обсуждения. Продолжительность доклада 3 минуты. Оценка выставляется за устный доклад: A или Z баллов.
Эссе хранятся в личной папке Group374/Surname2017Essays/. В папке этого примера есть шаблон эссе. Ссылка на эссе делается по шаблону
[http://svn.code.sf.net/p/mlalgorithms/code/Group374/Surname2017Essays/Surname2017Essay1.pdf?format=raw 1]
- Короткая ссылка на страницу bit.ly/2mt3MVZ
Результаты
Автор | Ссылки на эссе | Доклад | |
---|---|---|---|
Баяндина Анастасия | 1, 2, 4, 6 | 1A,2A,3A,T4 | 9 |
Белозерова Анастасия | 1, 2, 4, 5, 6, 7 | 2A,3A,4A,5A,T5 | 9 |
Владимирова Мария | 1, 2, 4, 5, 6 | 1A,2A,3A,T3 | 8 |
Володин Сергей | 1, 2 | 1A,2A,T2 | 8 |
Ковалева Валерия | 1 | 1A,2A,T5 | 8 |
Малыгин Виталий | 1 | 3Anofile,4A,T12 | NA |
Молибог Игорь | 1, | 1A,2A,3a,T7 | 7 |
Погодин Роман | 1, 2, 4, 5, 6, 7 | 2A,4A,5A,T8 | 8 |
Рязанов Андрей | 1, 2, 4, 5, 6, 7 | 3A,T6 | 8 |
Сафин Камиль | 1, 2 | 3a,4A,5A,T11 | NA |
Федоряка Дмитрий | 1 , | 1A,2A,3Z,4A,5A,6A,T6 | 10 |
Филиппенко Константин | 1, | 1A,2A,3a,4A,5A,6A,T6 | 8 |
Цветкова Ольга | 1, | T5 | 6 |
Чигринский Виктор | 1, 2, 4, 5, 6, 7 | T10 | NA |
Городницкий Олег | 1, | T2 | 6 |
Тема 1
Индикаторы качества и обучение по предпочтениям
- Strijov V.V. Methods of Preference Learning for Ordinal Classification and Decision Making, 2014, MIPT, slides
- Кузнецов М.П. Построение моделей обучения по предпочтениям с использованием порядковых экспертных оценок, 2016, МФТИ, slides
- Stenina M.M., Kuznetsov M.P., Strijov V.V. Ordinal classification using Pareto fronts // Expert Systems with Applications, 2015, 42(14) : 5947–5953 article
- Kuznetsov M.P., Strijov V.V. Methods of expert estimations concordance for integral quality estimation // Expert Systems with Applications, 2014, 41(4-2) : 1988-1996 article
- Медведникова М.М., Стрижов В.В. Построение интегрального индикатора качества научных публикаций методами ко-кластеризации // Известия Тульского государственного университета, Естественные науки, 2013, 1 : 154-165 article
Задача 1
Согласование экспертных оценок как согласование конусов предполагает, что объекты сравнимы (являются элементами простой выборки). Что делать, если объекты не сравнимы и образуют кластерную структуру? Как проверить, сравнимы ли объекты? Требуется погрузить множество конусов с определенной на нем суммой Минковского в метрическое пространство и предложить способ построения интегральных индикаторов с использованием метрики (или функции расстояния) в пространстве описаний объектов.
Тема 2
Снижение размерности пространства в задаче прогнозирования
- Strijov V.V. Feature generation and model selection for multiscale time series forecasting, MIPT, 2016 slides
- Katrutsa A.M., Strijov V.V. Stresstest procedure for feature selection algorithms // Chemometrics and Intelligent Laboratory Systems, 2015, 142 : 172-183 article
- Katrutsa A.M., Strijov V.V. Comprehensive study of feature selection methods to solve multicollinearity problem according to evaluation criteria // Expert Systems with Applications, 2017 article
- Нейчев Р.Г., Катруца А.М., Стрижов В. Выбор оптимального набора признаков из мультикоррелирующего множества в задаче прогнозирования // Заводская лаборатория. Диагностика материалов, 2016, 82(3) : 68-74 article
- Motrenko A.P., Strijov V.V. Extracting fundamental periods to segment human motion time series // Journal of Biomedical and Health Informatics, 2015, 20(6) : 1466 - 1476 article
Задача 2
Предложить новый способ снижения размерности свехбольших пространств для задач прогнозирования. Задан временной ряд, набор временных рядов. Требуется предложить способ порождения описания ряда или набора рядов, длина которого не превосходит исходную длину. На занятии разбирались следующие способы:
- трансформации ряда алгебраическими функциями,
- аппроксимация временного ряда параметрическими и непараметрическими функциями,
- свертка ряда, использование статистик,
- сглаживание, дифференцирование ряда,
- замена ряда расстоянием до опорного объекта (ряда), выравнивание ряда,
- использование параметров локально-аппроксимирующих моделей в качестве описания.
- построение гистограммы, преобразования Фурье в качестве описания,
- операции над парами рядов,
- различные способы сегментации ряда при построении матрицы плана.
Требуется предложить новые способы замены ряда его описанием.
Тема 2*
- Максимов Ю.В. Машинное обучение с функциональными ограничениями (на примере оптимизации энергетический сетей), МФТИ, 2017 video
Тема 3
Построение функции ошибки при выборе регрессионной модели
- Стижов В.В. Построение скоринговой модели, МФТИ, 2010 slides
- Де Ротшильд Я.И. Процедура построения скоринговой модели, ВШЭ, 2017 slides
- Стижов В.В. Диаграмма IDEF0, скоринговая модель, МФТИ, 2014 slides
- Стижов В.В. Постановка задачи выбора моделей, МФТИ, 2014 slides
- Стижов В.В. Генетический алгоритм выбора и группировки признаков, МФТИ, 2014 slides
- Katrutsa A.M., Strijov V.V. Stresstest procedure for feature selection algorithms // Chemometrics and Intelligent Laboratory Systems, 2015, 142 : 172-183 article
- Motrenko A.P., Strijov V.V., Weber G.-W. Bayesian sample size estimation for logistic regression // Journal of Computational and Applied Mathematics, 2014, 255 : 743-752. article
- Кузнецов М.П., Стрижов В.В., Медведникова М.М. Алгоритм многоклассовой классификации объектов, описанных в ранговых шкалах // Научно-технический вестник С.-Пб.ПГУ. Информатика. Телекоммуникации. Управление, 2012, 5 : 92-95 paper
- Токмакова А.В. Алгоритм отбора признаков в задаче скоринга, МФТИ, 2014, paper
- Aduenko A., Motrenko A., Strijov V. Object selection in credit scoring using covariance matrix of parameters estimations, accepted to Annals of Operations Research (January 2017) DOI: 10.1007/s10479-017-2417-3 paper
Задача 3
Предлагается решить в течение занятия.
Тема 4
Функция ошибки и связный байесовский вывод
- Связный байесовский вывод, слайды // sf.net/MVR, 2016.
- Стрижов В.В. Функция ошибки в задачах восстановления регрессии // Заводская лаборатория. Диагностика материалов, 2013, 79(5) : 65-73.
- Kuznetsov M.P., Tokmakova A.A., Strijov V.V. Analytic and stochastic methods of structure parameter estimation // Informatica, 2016.
Задача 4
Принята гипотеза порождения данных (простой выборки, i.i.d.):
- зависимой переменной,
- зависимой и независимых переменных (более сложный вариант).
Предполагается, что распределение принадлежит экспоннциальному семейству (более сложный вариант - не принадлежит). Требуется
- найти в литературе пример прикладной задачи, где декларируется распределение зависимой переменной (можно самостоятельно принять гипотезу порождения данных исходя из постановки найденной прикладной задачи),
- выписать функцию ошибки общего вида согласно байесовскому выводу,
- указать, для какой модели выписана функция ошибки.
Ограничение. Нежелательно принимать гипотезы, которые были рассмотрены на лекции, а именно нормальное, биномиальное и мульитномиальное распределения.
Тема 5
Выбор моделей по принципу наименьшей длины описания
- Бахтеев О.Ю. Принцип наименьшей длины описания, МФТИ, 2017, slides.
Задача 5
Найти статью по моделям глубокого обучения с функцией ошибки общего вида (желательно свежую, 2016-17). Указать какая часть функции ошибки отвечает за сложность модели, какая за точность передачи данных (приветствуются и другие варианты). Пример такой функции ошибки на слайдах 7,10. Указать из найденной статьи, насколько различаются критерии качества построенной модели при использовании различных функий ошибки или при испльзовании процедуры дообучения.
Тема 6
Оценка гиперпараметров моделей регрессии и классификации
- Kuznetsov M.P., Tokmakova A.A., Strijov V.V. Analytic and stochastic methods of structure parameter estimation // Informatica, 2016.
- М. Е. Панов Аппроксимация функции ошибки // JMLDA, 2011.
Задача 6
Так как оценка параметров нейросетей занимает значительное число итераций, требуется предложить метод оценки гиперпараметров модели. Этот метод является частью процедуры градиентного спуска (можно использовать процедуру стохастического градента). Требуется описать алгоритм получения гиперпараметров . За основу можно взять метод CV из вышеприведенной работы или другой метод оценки дисперсии параметров
и остатков
.
Задача 7
Какие 1) теоретические и 2) прикладные задачи будут решать в области машинного обучения 1) через три года, 2 ) через 10 лет?
Вопросы к тесту
25 вопросов по темам
- Согласование экспертных оценок
- Классификация с помощью Парето-фронтов
- Мультиколлинеарность и алгоритмы выбора признаков
- Порождение и выбор признаков
- Двухуровневый байесовский вывод
- Принцип наименьшей длины описания в выборе моделей
- Выбор моделей кредитного скоринга
- Оценка гиперпараметров моделей