Численные методы обучения по прецедентам (практика, В.В. Стрижов)/Группа 374, весна 2017

Материал из MachineLearning.

(Различия между версиями)
Перейти к: навигация, поиск
(Результаты)
(Результаты)
Строка 76: Строка 76:
[http://svn.code.sf.net/p/mlalgorithms/code/Group374/Safin2017Essays/Safin2017Essay3.pdf?format=raw 4]
[http://svn.code.sf.net/p/mlalgorithms/code/Group374/Safin2017Essays/Safin2017Essay3.pdf?format=raw 4]
[http://svn.code.sf.net/p/mlalgorithms/code/Group374/Safin2017Essays/Safin2017Essay4.pdf?format=raw 5]
[http://svn.code.sf.net/p/mlalgorithms/code/Group374/Safin2017Essays/Safin2017Essay4.pdf?format=raw 5]
 +
[http://svn.code.sf.net/p/mlalgorithms/code/Group374/Safin2017Essays/Safin2017Essay6.pdf?format=raw 6]
 +
[http://svn.code.sf.net/p/mlalgorithms/code/Group374/Safin2017Essays/Safin2017Essay7.pdf?format=raw 7]
| 3a,4A,5A
| 3a,4A,5A
|-
|-

Версия 08:42, 18 мая 2017


Постановка задач в машинном обучении

Курс посвящен технике изложения основной идеи исследования. Обсуждаются постановки задач выбора моделей и способы построения функции ошибки. Обсуждение ведется в формате лекций и эссе. Эссе — это изложение идеи постановки и решения задачи. Изложение должно быть достаточно полным (идея восстанавливается однозначно), но кратким (полстраницы) и ясным. Задача ставится формально, желательно использование языка теории множеств, алгебры, матстатистики. Желательно ставить задачу в формате argmin. Пишется в свободной форме, с учетом нашего стиля выполнения научных работ: терминологическая точность и единство обозначений приветствуются[1]. В начале занятия из написанных эссе выбираются эссе для доклада и обсуждения. Продолжительность доклада 3 минуты. Оценка выставляется за устный доклад: A или Z баллов.

Эссе хранятся в личной папке Group374/Surname2017Essays/. В папке этого примера есть шаблон эссе. Ссылка на эссе делается по шаблону

 [http://svn.code.sf.net/p/mlalgorithms/code/Group374/Surname2017Essays/Surname2017Essay1.pdf?format=raw 1] 

Результаты

Автор Ссылки на эссе Доклад
Марк Аврелий 1, 2 1A, 2Z
Баяндина Анастасия 1, 2, 4, 6 1A,2A,3A
Белозерова Анастасия 1, 2, 4, 5, 6, 7 2A,3A,4A,5A
Владимирова Мария 1, 2, 4, 5 1A,2A,3A
Володин Сергей 1, 2

4 5 6 7

1A,2A
Ковалева Валерия 1

2 4 5 6 7

1A,2A
Малыгин Виталий 1

4

3A
Молибог Игорь 1,

2, 4, 5,

1A,2A,3a
Погодин Роман 1, 2, 4, 5, 6, 7 2A,4A,5A
Рязанов Андрей 1, 2, 4, 5, 6, 7 3A
Сафин Камиль 1, 2

4 5 6 7

3a,4A,5A
Федоряка Дмитрий 1 ,

2 , 4 , 5 , 6 , 7

1A,2A,3Z,4A,5A
Филиппенко Константин 1,

2, 4, 5, 6, 7

1A,2A,3a,4A,5A
Цветкова Ольга 1,

4, 7

Чигринский Виктор 1, 2, 4, 5, 6, 7
Городницкий Олег 1, 6,

7

Тема 1

Индикаторы качества и обучение по предпочтениям

  • Strijov V.V. Methods of Preference Learning for Ordinal Classification and Decision Making, 2014, MIPT, slides
  • Кузнецов М.П. Построение моделей обучения по предпочтениям с использованием порядковых экспертных оценок, 2016, МФТИ, slides
  • Stenina M.M., Kuznetsov M.P., Strijov V.V. Ordinal classification using Pareto fronts // Expert Systems with Applications, 2015, 42(14) : 5947–5953 article
  • Kuznetsov M.P., Strijov V.V. Methods of expert estimations concordance for integral quality estimation // Expert Systems with Applications, 2014, 41(4-2) : 1988-1996 article
  • Медведникова М.М., Стрижов В.В. Построение интегрального индикатора качества научных публикаций методами ко-кластеризации // Известия Тульского государственного университета, Естественные науки, 2013, 1 : 154-165 article

Задача 1

Согласование экспертных оценок как согласование конусов предполагает, что объекты сравнимы (являются элементами простой выборки). Что делать, если объекты не сравнимы и образуют кластерную структуру? Как проверить, сравнимы ли объекты? Требуется погрузить множество конусов с определенной на нем суммой Минковского в метрическое пространство и предложить способ построения интегральных индикаторов с использованием метрики (или функции расстояния) в пространстве описаний объектов.

Тема 2

Снижение размерности пространства в задаче прогнозирования

  • Strijov V.V. Feature generation and model selection for multiscale time series forecasting, MIPT, 2016 slides
  • Katrutsa A.M., Strijov V.V. Stresstest procedure for feature selection algorithms // Chemometrics and Intelligent Laboratory Systems, 2015, 142 : 172-183 article
  • Katrutsa A.M., Strijov V.V. Comprehensive study of feature selection methods to solve multicollinearity problem according to evaluation criteria // Expert Systems with Applications, 2017 article
  • Нейчев Р.Г., Катруца А.М., Стрижов В. Выбор оптимального набора признаков из мультикоррелирующего множества в задаче прогнозирования // Заводская лаборатория. Диагностика материалов, 2016, 82(3) : 68-74 article
  • Motrenko A.P., Strijov V.V. Extracting fundamental periods to segment human motion time series // Journal of Biomedical and Health Informatics, 2015, 20(6) : 1466 - 1476 article

Задача 2

Предложить новый способ снижения размерности свехбольших пространств для задач прогнозирования. Задан временной ряд, набор временных рядов. Требуется предложить способ порождения описания ряда или набора рядов, длина которого не превосходит исходную длину. На занятии разбирались следующие способы:

  1. трансформации ряда алгебраическими функциями,
  2. аппроксимация временного ряда параметрическими и непараметрическими функциями,
  3. свертка ряда, использование статистик,
  4. сглаживание, дифференцирование ряда,
  5. замена ряда расстоянием до опорного объекта (ряда), выравнивание ряда,
  6. использование параметров локально-аппроксимирующих моделей в качестве описания.
  7. построение гистограммы, преобразования Фурье в качестве описания,
  8. операции над парами рядов,
  9. различные способы сегментации ряда при построении матрицы плана.

Требуется предложить новые способы замены ряда его описанием.

Тема 2*

  • Максимов Ю.В. Машинное обучение с функциональными ограничениями (на примере оптимизации энергетический сетей), МФТИ, 2017 video

Тема 3

Построение функции ошибки при выборе регрессионной модели

  • Стижов В.В. Построение скоринговой модели, МФТИ, 2010 slides
  • Де Ротшильд Я.И. Процедура построения скоринговой модели, ВШЭ, 2017 slides
  • Стижов В.В. Диаграмма IDEF0, скоринговая модель, МФТИ, 2014 slides
  • Стижов В.В. Постановка задачи выбора моделей, МФТИ, 2014 slides
  • Стижов В.В. Генетический алгоритм выбора и группировки признаков, МФТИ, 2014 slides
  • Katrutsa A.M., Strijov V.V. Stresstest procedure for feature selection algorithms // Chemometrics and Intelligent Laboratory Systems, 2015, 142 : 172-183 article
  • Motrenko A.P., Strijov V.V., Weber G.-W. Bayesian sample size estimation for logistic regression // Journal of Computational and Applied Mathematics, 2014, 255 : 743-752. article
  • Кузнецов М.П., Стрижов В.В., Медведникова М.М. Алгоритм многоклассовой классификации объектов, описанных в ранговых шкалах // Научно-технический вестник С.-Пб.ПГУ. Информатика. Телекоммуникации. Управление, 2012, 5 : 92-95 paper
  • Токмакова А.В. Алгоритм отбора признаков в задаче скоринга, МФТИ, 2014, paper
  • Aduenko A., Motrenko A., Strijov V. Object selection in credit scoring using covariance matrix of parameters estimations, accepted to Annals of Operations Research (January 2017) DOI: 10.1007/s10479-017-2417-3 paper

Задача 3

Предлагается решить в течение занятия.

Тема 4

Функция ошибки и связный байесовский вывод

Задача 4

Принята гипотеза порождения данных (простой выборки, i.i.d.):

  • зависимой переменной,
  • зависимой и независимых переменных (более сложный вариант).

Предполагается, что распределение принадлежит экспоннциальному семейству (более сложный вариант - не принадлежит). Требуется

  1. найти в литературе пример прикладной задачи, где декларируется распределение зависимой переменной (можно самостоятельно принять гипотезу порождения данных исходя из постановки найденной прикладной задачи),
  2. выписать функцию ошибки общего вида согласно байесовскому выводу,
  3. указать, для какой модели выписана функция ошибки.

Ограничение. Нежелательно принимать гипотезы, которые были рассмотрены на лекции, а именно нормальное, биномиальное и мульитномиальное распределения.

Тема 5

Выбор моделей по принципу наименьшей длины описания

  • Бахтеев О.Ю. Принцип наименьшей длины описания, МФТИ, 2017, slides.

Задача 5

Найти статью по моделям глубокого обучения с функцией ошибки общего вида (желательно свежую, 2016-17). Указать какая часть функции ошибки отвечает за сложность модели, какая за точность передачи данных (приветствуются и другие варианты). Пример такой функции ошибки на слайдах 7,10. Указать из найденной статьи, насколько различаются критерии качества построенной модели при использовании различных функий ошибки или при испльзовании процедуры дообучения.

Тема 6

Оценка гиперпараметров моделей регрессии и классификации

Задача 6

Так как оценка параметров нейросетей занимает значительное число итераций, требуется предложить метод оценки гиперпараметров модели. Этот метод является частью процедуры градиентного спуска (можно использовать процедуру стохастического градента). Требуется описать алгоритм получения гиперпараметров \text{diag}(\mathbf{\alpha}), \text{diag}(\mathbf{\beta}). За основу можно взять метод CV из вышеприведенной работы или другой метод оценки дисперсии параметров \mathbf{w} и остатков \mathbf{\varepsilon}.

Задача 7

Какие 1) теоретические и 2) прикладные задачи будут решать в области машинного обучения 1) через три года, 2 ) через 10 лет?

Вопросы к тесту

25 вопросов по темам

  1. Согласование экспертных оценок
  2. Классификация с помощью Парето-фронтов
  3. Мультиколлинеарность и алгоритмы выбора признаков
  4. Порождение и выбор признаков
  5. Двухуровневый байесовский вывод
  6. Принцип наименьшей длины описания в выборе моделей
  7. Выбор моделей кредитного скоринга
  8. Оценка гиперпараметров моделей
Личные инструменты