Численные методы обучения по прецедентам (практика, В.В. Стрижов)/Группа 474, весна 2018
Материал из MachineLearning.
(→Задача 2) |
(→Результаты: дополнение) |
||
| Строка 36: | Строка 36: | ||
| | | | ||
[https://svn.code.sf.net/p/mlalgorithms/code/Group474/Alekseev2018Essays/Alekseev2018Essay1.pdf?format=raw 1], | [https://svn.code.sf.net/p/mlalgorithms/code/Group474/Alekseev2018Essays/Alekseev2018Essay1.pdf?format=raw 1], | ||
| - | [https://svn.code.sf.net/p/mlalgorithms/code/Group474/Alekseev2018Essays/Alekseev2018Essay2.pdf?format=raw 2] | + | [https://svn.code.sf.net/p/mlalgorithms/code/Group474/Alekseev2018Essays/Alekseev2018Essay2.pdf?format=raw 2], |
| + | [https://svn.code.sf.net/p/mlalgorithms/code/Group474/Alekseev2018Essays/Alekseev2018Essay3.pdf?format=raw 3] | ||
|1A+,2A | |1A+,2A | ||
| | | | ||
Версия 22:49, 20 марта 2018
Постановка задач в машинном обучении, практические занятия
Курс посвящен технике изложения основной идеи исследования. Обсуждаются постановки задач выбора моделей и способы построения функции ошибки. Обсуждение ведется в формате эссе. Эссе — это изложение идеи постановки и решения задачи. Изложение должно быть достаточно полным (идея восстанавливается однозначно), но кратким (полстраницы) и ясным. Задача ставится формально, желательно использование языка теории множеств, алгебры, матстатистики. Желательно ставить задачу в формате argmin. Пишется в свободной форме, с учетом нашего стиля выполнения научных работ: терминологическая точность и единство обозначений приветствуются[1]. Желательно приводить решение задачи в краткой форме. Обсуждаются эссе слушателей, которые лично присутствуют на занятии и могут прокомментировать задачу. Продолжительность доклада 3 минуты. Для доклада необходимо загрузить эссе в репозиторий и поставить ссылку в таблицу. Оценка выставляется за устный доклад: A или Z баллов.
Эссе хранятся в личной папке Group374/Surname2017Essays/. В папке этого примера есть шаблон эссе. Ссылка на эссе делается по шаблону
[http://svn.code.sf.net/p/mlalgorithms/code/Group374/Surname2017Essays/Surname2017Essay1.pdf?format=raw 1]
Можно делать эссе на слайдах с целью укорочения текста.
- Короткая ссылка на страницу bit.ly/2F9iLgW
| Важно участвовать в обсуждении (можно по скайпу). Отложенных выступлений не предусмотрено в силу невозможности организовать обсуждение 88 докладов. |
Результаты
| Автор | Ссылки на эссе | Доклад | |
|---|---|---|---|
| Федоряка Дмитрий (пример) | 1 , | 1A,2A,3Z,4A,5A,6A,T7,T8 | 10 |
| Алексеев Василий | 1A+,2A | ||
| Гасанов Эльнур | |||
| Захаренков Антон | 1 | 1Z | |
| Иванычев Сергей | 2 | ||
| Ковалев Дмитрий | |||
| Макарчук Глеб | 1, | 1A,2A | |
| Рыбка Елизавета | 1A | ||
| Селезнева Мария | |||
| Смердов Антон | |||
| Усманова Карина | |||
| Шибаев Иннокентий | |||
| Шолохов Алексей | 2 | try(2A) |
Задача 1
Предложить метод, аналогичный методу главных компонент для выборки с признаками, измеренными разнородных шкалах: номинальными, ординальными, линейными, с возможными пропусками. Звездочка: оценить максимальное число пропусков, допустимое для восстановления выборки с заданной точностью. Пример: Бахтеев О.И. Восстановление пропущенных значений в разнородных шкалах с большим числом пропусков // Машинное обучение и анализ данных. 2015. T. 1, №11. C. 1484 - 1499.
Задача 2
Предложить метод, аналогичный методу Mixture of experts для выборок, заданных в полностью или частично упорядоченных шкалах. Метод не должен использовать вероятностных допущений (только матрицу объект-модель). Он должен быть отличен от кластеризации с последующей классификацией кластеров. Примеры корректной работы с такими шкалами первый, см стр. 10 и далее, второй.
Задача 3
Предложить метод, учитывающий закономерность на элементах вектора целевых переменной, аналогично PLS. При этом элементы имеют биномиальное распределение и
- полностью упорядочены,
- частично упорядочены.
Решение может быть корректировкой алгоритма PLS или самостоятельным алгоритмом. Примеры PLS1, PLS2.
Выбор моделей в задачах регрессии и классификации, лекции
Перед лекциями слушателям предлагается, по желанию, ответить на пять вопросов. Экзамен в конце семестра содержит 50 вопросов, длительность экзамена 1 час.
Тема 1
Выбор вероятностных моделей
- В.В. Стрижов. Связанный байесовский вывод
- David J C MacKay. 2014. Information theory, inference, and learning algorithms глава 28.
Тема 2
Методы оптимизации параметров вероятностных моделей
- В.В. Стрижов. Методы оптимизации параметров вероятностных моделей
- Аппроксимация Лапласа глава 27.
- Kuznetsov M.P., Tokmakova A.A., Strijov V.V. Analytic and stochastic methods of structure parameter estimation // Informatica, 2016, 27(3) : 607-624.
Тема 3
Оптимизация параметров для выбора моделей глубокого обучения
- О.Ю. Бахтеев, В.В. Стрижов. Выбор моделей глубокого обучения cубоптимальной сложности // Автоматика и телемеханика, 2018.
- О.Ю. Бахтеев. Выбор моделей глубокого обучения cубоптимальной сложности.
- Volker Nannen. A Short Introduction to Model Selection, Kolmogorov Complexity and Minimum Description Length (MDL), 2013, see also [2].
- Peter Grunwald. A Tutorial Introduction to the Minimum Description Length Principle, 2004.
- Jorma Rissanen. Modeling by shortest data description // Automatica, 1978, 14(5): 465-471.
Тема 4
Выбор вероятностных моделей иерархической классификации
- А.А. Кузьмин. Иерархическая классификация коллекций документов, 2017, слайды.
- А.А. Кузьмин, В.В. Стрижов. Иерархическая классификация коллекции коротких текстов , 2017.
Тема 5
Оптимизация гиперпараметров вероятностных моделей
Тема 5
Правдоподобие модели
Тема 6
Мультимодели
Тема 7
Оценка оптимального объема выборки
Тема 8
Вариационные оценки
Тема 9
Выбор обобщенно-линейных моделей
Тема 10
Выбор универсальных моделей
