Численные методы обучения по прецедентам (практика, В.В. Стрижов)/Группа 474, весна 2018
Материал из MachineLearning.
(→Тема 4) |
|||
Строка 153: | Строка 153: | ||
* [http://svn.code.sf.net/p/mlalgorithms/code/PhDThesis/Kuzmin/presentationLong/KuzminHSIM.pdf А.А. Кузьмин, В.В. Стрижов. Иерархическая классификация коллекции коротких текстов , 2017.] | * [http://svn.code.sf.net/p/mlalgorithms/code/PhDThesis/Kuzmin/presentationLong/KuzminHSIM.pdf А.А. Кузьмин, В.В. Стрижов. Иерархическая классификация коллекции коротких текстов , 2017.] | ||
* Кузьмин А.А. Иерархические тематические модели крупных конференций // МФТИ, 2016, [https://sourceforge.net/p/mlalgorithms/code/HEAD/tree/PhDThesis/Kuzmin/KuzminEURO2016.pdf?format=raw text], [https://sourceforge.net/p/mlalgorithms/code/HEAD/tree/PhDThesis/Kuzmin/Lecture_2016.pdf?format=raw slides]. | * Кузьмин А.А. Иерархические тематические модели крупных конференций // МФТИ, 2016, [https://sourceforge.net/p/mlalgorithms/code/HEAD/tree/PhDThesis/Kuzmin/KuzminEURO2016.pdf?format=raw text], [https://sourceforge.net/p/mlalgorithms/code/HEAD/tree/PhDThesis/Kuzmin/Lecture_2016.pdf?format=raw slides]. | ||
- | |||
=== Тема 5=== | === Тема 5=== |
Версия 09:53, 28 марта 2018
Постановка задач в машинном обучении, практические занятия
Курс посвящен технике изложения основной идеи исследования. Обсуждаются постановки задач выбора моделей и способы построения функции ошибки. Обсуждение ведется в формате эссе. Эссе — это изложение идеи постановки и решения задачи. Изложение должно быть достаточно полным (идея восстанавливается однозначно), но кратким (полстраницы) и ясным. Задача ставится формально, желательно использование языка теории множеств, алгебры, матстатистики. Желательно ставить задачу в формате argmin. Пишется в свободной форме, с учетом нашего стиля выполнения научных работ: терминологическая точность и единство обозначений приветствуются[1]. Желательно приводить решение задачи в краткой форме. Обсуждаются эссе слушателей, которые лично присутствуют на занятии и могут прокомментировать задачу. Продолжительность доклада 3 минуты. Для доклада необходимо загрузить эссе в репозиторий и поставить ссылку в таблицу. Оценка выставляется за устный доклад: A или Z баллов.
Эссе хранятся в личной папке Group374/Surname2017Essays/. В папке этого примера есть шаблон эссе. Ссылка на эссе делается по шаблону
[http://svn.code.sf.net/p/mlalgorithms/code/Group374/Surname2017Essays/Surname2017Essay1.pdf?format=raw 1]
Можно делать эссе на слайдах с целью укорочения текста.
- Короткая ссылка на страницу bit.ly/2F9iLgW
![]() | Важно участвовать в обсуждении (можно по скайпу). Отложенных выступлений не предусмотрено в силу невозможности организовать обсуждение 88 докладов. |
Результаты
Автор | Ссылки на эссе | Доклад | |
---|---|---|---|
Федоряка Дмитрий (пример) | 1 , | 1A,2A,3Z,4A,5A,6A,T7,T8 | 10 |
Алексеев Василий | 1A+,2A,3A,4A | ||
Аникеев Дмитрий | 4Z | ||
Гасанов Эльнур | 4 | 4A | |
Захаренков Антон | 1 | 1Z | |
Иванычев Сергей | 2 | 2A,3A | |
Ковалев Дмитрий | |||
Макарчук Глеб | 1, | 1A,2A,3A,4A+ | |
Рыбка Елизавета | 1 | 1A,4A | |
Селезнева Мария | 4 | ||
Смердов Антон | |||
Шибаев Иннокентий | |||
Шолохов Алексей | 2 | try(2A) |
Задача 1
Предложить метод, аналогичный методу главных компонент для выборки с признаками, измеренными разнородных шкалах: номинальными, ординальными, линейными, с возможными пропусками. Звездочка: оценить максимальное число пропусков, допустимое для восстановления выборки с заданной точностью. Пример: Бахтеев О.И. Восстановление пропущенных значений в разнородных шкалах с большим числом пропусков // Машинное обучение и анализ данных. 2015. T. 1, №11. C. 1484 - 1499.
Задача 2
Предложить метод, аналогичный методу Mixture of experts для выборок, заданных в полностью или частично упорядоченных шкалах. Метод не должен использовать вероятностных допущений (только матрицу объект-модель). Он должен быть отличен от кластеризации с последующей классификацией кластеров. Примеры корректной работы с такими шкалами первый, см стр. 10 и далее, второй.
Задача 3
Предложить метод, учитывающий закономерность на элементах вектора целевых переменной, аналогично PLS. При этом элементы имеют биномиальное распределение и
- полностью упорядочены,
- частично упорядочены.
Пример задачи: дано описание заемщика во времени. Требуется спрогнозировать вероятность дефолта по месяцам на год вперед. Тут элементы целевого вектора упорядочены во времени. Решение может быть корректировкой алгоритма PLS или самостоятельным алгоритмом. Примеры PLS1, PLS2.
Задача 4
Решается задача восстановления дерева по (упорядоченному) описанию объекта (например, предложение, длина которого не превышает заданную). Выборка объект-структура задана. Требуется предложить постановку задачи, с функцией ошибки, которая бы штрафовала взвешенный полносвязный граф за то, что он не дерево (упрощенный вариант - не дерево заданного вида). Приветствуется решение, где функция штрафа однократно (или дважды) дифференцируема по весам. Tommi Jaakkola — Scaling structured prediction
Задача 5
Решается задача восстановления дерева по графовому скелетному представлению G жирных линий. Задана выборка {(x=x(G(I)), y)}. Требуется восстановить метку класса (конечное множество) по описанию x, полученному из растрового изображения I. Необходимо записать формальный алгоритм, который можно запрограммировать, ясный для понимания. Алгоритм включает 1) способ построения описания x по скелетному представлению G и 2) способ свертки последовательности векторов x.
Выбор моделей в задачах регрессии и классификации, лекции
Перед лекциями слушателям предлагается, по желанию, ответить на пять вопросов. Экзамен в конце семестра содержит 50 вопросов, длительность экзамена 1 час.
Тема 1
Выбор вероятностных моделей
- В.В. Стрижов. Связанный байесовский вывод
- David J C MacKay. 2014. Information theory, inference, and learning algorithms глава 28.
- Стрижов В.В. Функция ошибки в задачах восстановления регрессии // Заводская лаборатория. Диагностика материалов, 2013, 79(5) : 65-73.
Тема 2
Методы оптимизации параметров вероятностных моделей
- В.В. Стрижов. Методы оптимизации параметров вероятностных моделей
- Аппроксимация Лапласа глава 27.
- Kuznetsov M.P., Tokmakova A.A., Strijov V.V. Analytic and stochastic methods of structure parameter estimation // Informatica, 2016, 27(3) : 607-624.
Тема 3
Оптимизация параметров для выбора моделей глубокого обучения
- О.Ю. Бахтеев, В.В. Стрижов. Выбор моделей глубокого обучения cубоптимальной сложности // Автоматика и телемеханика, 2018.
- О.Ю. Бахтеев. Выбор моделей глубокого обучения cубоптимальной сложности.
- Volker Nannen. A Short Introduction to Model Selection, Kolmogorov Complexity and Minimum Description Length (MDL), 2013, see also [2].
- Peter Grunwald. A Tutorial Introduction to the Minimum Description Length Principle, 2004.
- Jorma Rissanen. Modeling by shortest data description // Automatica, 1978, 14(5): 465-471.
Тема 4
Выбор вероятностных моделей иерархической классификации
- А.А. Кузьмин. Иерархическая классификация коллекций документов, 2017, слайды.
- А.А. Кузьмин, В.В. Стрижов. Иерархическая классификация коллекции коротких текстов , 2017.
- Кузьмин А.А. Иерархические тематические модели крупных конференций // МФТИ, 2016, text, slides.
Тема 5
Правдоподобие модели. Построение мультимоделей и анализ пространства их параметров
- Адуенко А.А. Evidence: байесовский подход к выбору моделей // МФТИ, 2018,
- Адуенко А.А. Анализ пространства параметров в задаче выбора мультимоделей // МФТИ, 2016, slides.
Тема 6
Оптимизация гиперпараметров вероятностных моделей
Тема 7
Мультимодели
Тема 8
Мультимодели, оптимизация, оценка параметров
Вариационные оценки, вариационный автоэнкодер
Тема 9
Оценка объема выборки с использованием байесовского подхода
Тема 10
Выбор обобщенно-линейных моделей Выбор универсальных моделей