Численные методы обучения по прецедентам (практика, В.В. Стрижов)/Группа 074, весна 2014
Материал из MachineLearning.
(103 промежуточные версии не показаны) | |||
Строка 1: | Строка 1: | ||
{{Main|Численные методы обучения по прецедентам (практика, В.В. Стрижов)}} | {{Main|Численные методы обучения по прецедентам (практика, В.В. Стрижов)}} | ||
__NOTOC__ | __NOTOC__ | ||
- | |||
'''Результаты''' | '''Результаты''' | ||
{|class="wikitable" | {|class="wikitable" | ||
Строка 10: | Строка 9: | ||
! Лекции | ! Лекции | ||
! Буквы | ! Буквы | ||
- | ! | + | ! Сумма |
- | + | ! Семестр (год) | |
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
|- | |- | ||
|Вдовина Евгения | |Вдовина Евгения | ||
|Визуализация результатов картирования групп речевых маркеров | |Визуализация результатов картирования групп речевых маркеров | ||
|Майсурадзе А.И. | |Майсурадзе А.И. | ||
- | |0,2(3) | + | |0,2(3),0,1(1),0,3.5(4),1.5(2),0,0,0,0 |
- | | | + | |0BCED-HI-J- |
- | | | + | |6.91 |
+ | |6(6) | ||
|- | |- | ||
|Воронов Сергей | |Воронов Сергей | ||
|Фильтрация и тематическое моделирование коллекции научных документов | |Фильтрация и тематическое моделирование коллекции научных документов | ||
|Воронцов К.В. | |Воронцов К.В. | ||
- | |8(8),3(3) | + | |8(8),3(3),3(3),1(1),1(1),0,1.7(2),4(4),1(3),5(7),3(3) |
- | | | + | |ABC+G+HIJ+ |
- | | | + | |9.97 |
+ | |9(10) | ||
|- | |- | ||
|Гринчук Олег | |Гринчук Олег | ||
- | | | + | |Классификация нестационарного потока текстовых объявлений |
- | | | + | |Воронцов К.В. |
- | |0,3(3) | + | |0,3(3),0,1(1),1(1),0,1(2),0,0,0,3(3) |
- | | | + | |ABCD-E-FH+J |
- | | | + | |8.88 |
+ | |8(8) | ||
|- | |- | ||
- | | | + | |Катруца Александр |
- | | | + | |Анализ мультиколлинеарности при выборе признаков |
- | | | + | |Стрижов В.В. |
- | | | + | |8(8),3(3),3(3),1(1),1(1),3(4),1.7(2),3(4),1(2),7(7),3(3) |
- | | | + | |A+BC+D+EF..(10) |
- | | | + | |12.46 |
+ | |10(10) | ||
|- | |- | ||
- | | | + | |Костин Александр |
- | | | + | |Генерация признаков для классификации рисунка ладони |
- | | | + | |Местецкий Л.М. |
- | | | + | |0,2(2),0,0,1(1),0,1.2(2),0,0,0 |
- | | | + | |ABCD000 |
- | | | + | |4.65 |
+ | |4(4) | ||
|- | |- | ||
- | | | + | |Митяшов Андрей |
- | | | + | |Предметно-экспертные ограничения для штрафной функции elastic-net в случае логистической регрессии |
- | | | + | |Стрижов В.В. |
- | | | + | |0,0,0,0,2(1),0,0,2.5(4),0,0,0 |
- | | | + | |0BC+FH--I-J- |
- | | | + | |5.91 |
+ | |5(5) | ||
|- | |- | ||
- | | | + | |Неклюдов Кирилл |
- | | | + | |Обнаружение аномалий в дискретных временных рядах. |
- | | | + | |Воронцов К.В. |
- | |5( | + | |0,2(2),3(3),1(1),0,0,0.5(2),0,0,0,3(3) |
- | | | + | |ABCDE..(9) |
- | | | + | |10.06 |
+ | |9(9) | ||
|- | |- | ||
- | | | + | |Перекрестенко Дмитрий |
- | | | + | |Статистический и структурный анализ суперпозиции нейронных сетей |
- | | | + | |Стрижов В.В. |
- | |2(4),0 | + | |0,0,3(3),1(1),1(1),0,1(2),4(4),0,0,3(3) |
- | | | + | |ABC00F+G+H+IJ |
- | | | + | |10.12 |
+ | |9(9) | ||
|- | |- | ||
- | | | + | |Пушняков Алексей |
- | | | + | |Комбинаторные оценки <tex>\varepsilon</tex>-разбиений метрических пространств |
+ | |Рудаков К.В. | ||
+ | |8(8),2(3),3(3),1(1),2(1),4(4),1.5(2),4(4),1(3),5.5(6),3(3) | ||
+ | |A+BCD+EF+G+H | ||
+ | |11.67 | ||
+ | |10(10) | ||
+ | |- | ||
+ | |Рыскина Мария | ||
+ | |Регуляризация вероятностных тематических моделей для повышения устойчивости и интерпретируемости | ||
+ | |Воронцов К.В. | ||
+ | |0,3(3),3(3),0,1(1),3(4),1.2(2),0,1(1),0,3(3) | ||
+ | |A+BCD+E | ||
+ | |7.09 | ||
+ | |6(8) | ||
+ | |- | ||
+ | |Яшков Даниил | ||
+ | |Проблема понижения размерности в задаче поиска аномалий в многомерных временных рядах. | ||
+ | |Воронцов К.В. | ||
+ | |0,0,3(3),1(1),0,0,0.5(2),0,0,0,3(3) | ||
+ | |A--BCDEF-0HIJ | ||
+ | |9.06 | ||
+ | |8(8) | ||
+ | |- | ||
+ | |Желавская Ирина | ||
+ | |Построение сетей глубокого обучения с помощью экспертно-заданных порождающих функций | ||
|Стрижов В.В. | |Стрижов В.В. | ||
- | | | + | |3(4),2(3),1(2),0,0,0,0,0,1(2),0,2.5(3) |
- | | | + | |A0C0000(J_ |
- | | | + | |2.81 |
+ | |8 | ||
|- | |- | ||
- | | | + | |Иванов Александр |
- | | | + | |Коалиционная манипулируемость правил коллективного выбора |
+ | |Алескеров Ф.Т. | ||
+ | |5(6),3(3),1(3),0,0,0,0,0,1(2),0,0 | ||
+ | |A?C0000(A-I-L-S--T-D--) | ||
+ | |6.66 | ||
+ | |6 | ||
+ | |- | ||
+ | |Фейзханов Рустем | ||
+ | |Распознавание листа бумаги на видео | ||
|Местецкий Л.М. | |Местецкий Л.М. | ||
- | |0,2(2) | + | |2(6),3(3),2(3),1(1),1(1),0,0,1(4),1(2),1.5(6),2.5(3) |
- | | | + | |A0C0000 (A-I-L-C-) |
- | | | + | |6.45 |
+ | |5 | ||
|- | |- | ||
- | | | + | <!-- |
- | | | + | |Уржумцев Олег |
- | | | + | |Исследование поведения аддитивной регуляризованной тематической модели при добавлении темпоральных признаков |
- | |0, | + | |Воронцов К.В. |
- | + | |0,0,2(3),1(1),1(1),2.5(4),1.4(2),3(4),0,0,0 | |
- | + | |A--000000 | |
- | + | |1.68 | |
- | + | |1 | |
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | | | + | |
- | + | ||
- | | | + | |
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | | | + | |
|- | |- | ||
+ | --> | ||
|Матросов Михаил | |Матросов Михаил | ||
|Short-term forecasting of musical compositions using chord sequences | |Short-term forecasting of musical compositions using chord sequences | ||
- | | | + | |Strijov V.V. |
- | |5(6),1(2) | + | |5(6),1(2),0,1(1),0,2(4),1.5(2),0,2(3),5(7),0 |
- | | | + | |00000000J- (A-I--S-L--C---) |
- | | | + | |4.74 |
+ | |4 | ||
|- | |- | ||
- | | | + | <!-- |
- | | | + | |Касаткин Сергей |
- | | | + | |Одноклассовая классификация наборов временных рядов в реальном времени |
- | |0,0 | + | |Стрижов В.В. |
+ | |2(4),0,0,0,0(1),0,0,0.5(4),0,0,2.5(3) | ||
+ | |0000000 | ||
+ | |0.36 | ||
|0 | |0 | ||
- | |||
|- | |- | ||
- | | | + | --> |
- | | | + | |Прилепский Роман |
- | | | + | |Разработка алгоритма маршрутизации передачи данных для динамической сети спутников (delay tolerant network) |
- | |0,2(2) | + | |Стрижов В.В. |
- | | | + | |0,1(2),0,0,0,0,0,0,1(2),3(6),0 |
- | | | + | |0000000I-J-(A-I--L-S--C---) |
+ | |4.63 | ||
+ | |4 | ||
|- | |- | ||
- | | | + | |Шуйский Николай |
- | | | + | |Построение мультимоделей в задачах оценки инвестиционной привлекательности |
- | | | + | |Стрижов В.В. |
- | |0,0 | + | |5(6),2(3),0,0,0,0,0,0,0,0,0 |
- | | | + | |0000000I-J- (A-I--L-S--T--R--) |
- | | | + | |5.38 |
+ | |4 | ||
|- | |- | ||
- | | | + | <!-- |
+ | |Дубовик Анна | ||
| | | | ||
| | | | ||
- | |0, | + | |0,0,0,0,0,0,0,0,0,0,0 |
- | | | + | |0000000 |
| | | | ||
- | |||
- | |||
- | |||
- | |||
- | |||
- | |||
| | | | ||
|- | |- | ||
- | | | + | |Жуйков Владимир |
- | + | ||
- | + | ||
- | + | ||
- | + | ||
| | | | ||
- | |||
- | |||
- | |||
- | |||
- | |||
- | |||
| | | | ||
- | | | + | |3(7),2(2),1(3),0,0,0,0,0,0,0,0 |
- | | | + | |000 |
- | + | ||
| | | | ||
- | |||
- | |||
| | | | ||
|- | |- | ||
- | | | + | |Котенко Ленгольд Екатерина |
| | | | ||
| | | | ||
- | | | + | |0,0,0,0,0,0,0,0,0,0,0 |
- | | | + | |0000000 |
+ | | | ||
| | | | ||
|- | |- | ||
- | | | + | |Кудряшова Александра |
| | | | ||
| | | | ||
- | |0,0 | + | |4(5),0,0,0,0,0,0,0,0,0,0 |
+ | |000 | ||
| | | | ||
| | | | ||
Строка 190: | Строка 204: | ||
| | | | ||
| | | | ||
- | |0,0 | + | |0,0,0,0,0,0,0,0,0,0,0 |
+ | | | ||
| | | | ||
| | | | ||
Строка 197: | Строка 212: | ||
| | | | ||
| | | | ||
- | |0,0 | + | | |
+ | |0,0,0,0,0,0,0,0,0,0,0 | ||
| | | | ||
| | | | ||
|- | |- | ||
+ | --> | ||
|} | |} | ||
Строка 213: | Строка 230: | ||
* ''Примечание.'' Те, кто пишут статью, могут держать в течение семестра один файл с именем статьи. Сихронизация ДЗ будет происходить с третьим курсом. | * ''Примечание.'' Те, кто пишут статью, могут держать в течение семестра один файл с именем статьи. Сихронизация ДЗ будет происходить с третьим курсом. | ||
* '''Важно!''' Те, кто не нашли научных руководителей, напишите предполагаемым/желаемым руководителям или напишите представителям Сколково/Кафедры. | * '''Важно!''' Те, кто не нашли научных руководителей, напишите предполагаемым/желаемым руководителям или напишите представителям Сколково/Кафедры. | ||
+ | |||
+ | === Задание B, к 5 марта === | ||
+ | # Найти в литературе или самостоятельно поставить задачу оценки параметров модели <tex>\mathbf{f}(\mathbf{w},\mathbf{X})</tex> . При этом гипотеза порождения данных (предположения о распределении зависимой переменной и параметров модели) должна отличаться от следующей (широко исследованной) гипотезы: ''многомерная случайная величина <tex>\mathbf{y}</tex> распределена нормально (или биномиально) и многомерная случайная величина <tex>\mathbf{w}</tex> распределена нормально''. Все прочите случаи приветствуются! Рекомендую посмотреть статьи [http://ru.wikipedia.org/wiki/%D0%A1%D0%BE%D0%BF%D1%80%D1%8F%D0%B6%D1%91%D0%BD%D0%BD%D0%BE%D0%B5_%D0%B0%D0%BF%D1%80%D0%B8%D0%BE%D1%80%D0%BD%D0%BE%D0%B5_%D1%80%D0%B0%D1%81%D0%BF%D1%80%D0%B5%D0%B4%D0%B5%D0%BB%D0%B5%D0%BD%D0%B8%D0%B5 Сопряжённое априорное распределение] и [http://en.wikipedia.org/wiki/Generalized_linear_model Обобщенная линейная модель]. Крайне желательно привести функцию ошибки, которая (согласно байесовскому выводу) приносит наиболее вероятные параметры модели. | ||
+ | * '''Важно!''' Те, кто пишут статью, синхронизируются с [[Численные методы обучения по прецедентам (практика, В.В. Стрижов)/Группа 174, весна 2014|домашними заданиями группы 174]]. Вопросы «писать эссе или нет» — на ваше усмотрение, равно как и стратегии получения оптимальной оценки за семестр (физтехам оценка выставляется как среднее за два семестра). Но желательно учесть, что завершение статьи третьего курса предполагается к маю. | ||
+ | |||
+ | === Задание C, к 12 марта (повторение A) === | ||
+ | * Пользуясь материалами лекций ([http://sourceforge.net/p/mvr/code/HEAD/tree/lectures/Strijov2014ModelSelection1ch.pdf?format=raw текст], [http://sourceforge.net/p/mvr/code/HEAD/tree/lectures/Part1%60DataGeneration.pdf?format=raw слайды], [http://sourceforge.net/p/mvr/code/HEAD/tree/lectures/Part3%60ProblemStatement.pdf?format=raw слайды]) и материалами курса [[Машинное обучение (курс лекций, К.В.Воронцов)|Теория обучения машин]], написать постановку вашей задачи в формате эссе. Ожидаемый размер эссе — полстраницы. Постановка задачи должна содержать строку <tex>\arg\min</tex>. | ||
+ | |||
+ | === Задание D, к 19 марта === | ||
+ | * Предложить метод построения параметрической модели - многообразия, аппроксимирующего (возможно, выпуклую) оболочку компактного конечного множества точек в конечномерном Евклидовом пространстве. Вариант минимум - сфера в пространстве некоторой размерности, вариант максимум - сплайн. [http://sourceforge.net/p/mlalgorithms/code/HEAD/tree/Group874/ См. примеры: эссе номер 1]. | ||
+ | |||
+ | === Задание E, к 26 марта === | ||
+ | # Найти в литературе или придумать прикладную задачу, которая решается одним их трех методов: смесь моделей, смесь экспертов, многоуровневая модель. Поставить эту прикладную задачу формально, рекомендовать метод и кратко обосновать свою рекомендацию. [http://sourceforge.net/p/mlalgorithms/code/HEAD/tree/Group874/ См. примеры: эссе номер 7]. | ||
+ | # Прочитать постановку задачи аппроксимации улыбки волатильности (опционы) [http://sourceforge.net/p/mvr/code/HEAD/tree/lectures/6ch.pdf?format=raw c. 35-37]. | ||
+ | |||
+ | |||
+ | === Задание F, к 2 апреля === | ||
+ | * Предложить стратегию выбора признаков, основанную на принципе последовательного добавления/удаления признаков или на принципе последовательной модификации параметров. Обозначения можно взять здесь [http://sourceforge.net/p/mvr/code/HEAD/tree/lectures/Strijov2012IAM.METU.Part3.pdf?format=raw cл. 25-26]. | ||
+ | |||
+ | |||
+ | === Задание G, к 9 апреля === | ||
+ | * Предложить метод автоматического порождения структур некоторых (по вашему выбору) классов нелинейных моделей: нейронных сетей, сетей радиального базиса, допустимых суперпозиций порождающих функций. В качестве базового описания структуры можно использовать [http://sourceforge.net/p/mlalgorithms/code/HEAD/tree/BSThesis/Varfolomeeva2013/Varfolomeeva2013Presentation.pdf?format=raw] или предложеть свое собственное. | ||
+ | * Либо предложить метод автоматического порождения нелинейных моделей с использованием генетического (или другого эвристического) алгоритма. | ||
+ | |||
+ | === Задание H, к 23 апреля === | ||
+ | Решается прикладная задача заполнения пропусков в социологических анкетах наиболее адекватными значениями. Основная идея: для фиксированной анкеты найти заполнить ее пропущенные поля с использованием значений соответствующих полей <tex>k</tex> ближайших соседей. Задана выборка <tex>X</tex> --- матрица, в которой элемент <tex>x_{ij}</tex> принадлежит конечному множеству <tex>\mathbb{L}_j=\{1,...,k_j,\text{NaN}\}</tex> допустимых значений <tex>j</tex>-го поля анкеты; отметка <tex>\text{NaN}</tex> означает пропуск в поле. | ||
+ | На множестве <tex>\mathbb{L}_j</tex> задано отношение предпочтения <tex>\preceq</tex>. Например, "начальное образование" <tex>\preceq</tex> «среднее образование» <tex>\preceq</tex> «высшее образование» --- отношение линейного порядка. Требуется ввести такую функцию расстояния или метрику <tex>\rho(x_i,x_k)\rightarrow \mathbb{R}\cup\text{NaN}</tex>, которая бы обеспечивала наиболее полное восстановление пропусков, и описать процедуру восстановления. | ||
+ | |||
+ | Дополнительно: изменится ли ваше решение, в случае, когда каждая анкета имеет не менее одного пропуска. Вариант: каждое поле имеет не менее одного пропуска. Вариант: значительная часть элементов матрицы <tex>X</tex> пропущена. | ||
+ | |||
+ | === Задание I, к 23 апреля === | ||
+ | Перечислить критерии новизны и качества научной работы по нашей специальности. Рассматриваем работы двух форматов. | ||
+ | # Теоретический. | ||
+ | # Прикладной. | ||
+ | |||
+ | === Задание J, к 23 апреля === | ||
+ | Какие задачи будут решать в нашей области через 10 лет? Каким вы видите ваше место в области? | ||
== Шаблон научной статьи == | == Шаблон научной статьи == | ||
Строка 275: | Строка 329: | ||
<code>логарифм условной вероятности</code> (log conditional probability, LCP) - метрика, оценивающая вероятность появления менее частого слова в тематике при условии появления более частого: | <code>логарифм условной вероятности</code> (log conditional probability, LCP) - метрика, оценивающая вероятность появления менее частого слова в тематике при условии появления более частого: | ||
<tex>\[ \mathrm{LCP} (t) = \sum_{i=1}^{k-1} \sum_{j=i}^k \log \frac{N(w_i,w_j)}{N(w_i)},\]</tex> | <tex>\[ \mathrm{LCP} (t) = \sum_{i=1}^{k-1} \sum_{j=i}^k \log \frac{N(w_i,w_j)}{N(w_i)},\]</tex> | ||
- | |||
- | |||
=== Автор: Неклюдов Кирилл === | === Автор: Неклюдов Кирилл === | ||
Строка 302: | Строка 354: | ||
=== Автор: Яшков Даниил === | === Автор: Яшков Даниил === | ||
- | * '''Название:''' | + | * '''Название:''' Анализ аномалий в полетных данных |
- | * '''Задача:''' В работе решается задача прогнозирования | + | * '''Задача:''' В работе решается задача прогнозирования аномалий по данным датчиков. |
- | * '''Данные:''' Используются реальные данные | + | * '''Данные:''' Используются реальные данные датчиков за несколько полетов. |
* '''Литература: ''' | * '''Литература: ''' | ||
1. Downing, M., Chipulu, M., Ojiako, U and Kaparis, D (2011), | 1. Downing, M., Chipulu, M., Ojiako, U and Kaparis, D (2011), | ||
Строка 311: | Строка 363: | ||
2. C Hiemstra, JD Jones - The Journal of Finance, 1994 - Wiley Online Library. | 2. C Hiemstra, JD Jones - The Journal of Finance, 1994 - Wiley Online Library. | ||
- | + | ||
=== Автор: Фейзханов Рустем === | === Автор: Фейзханов Рустем === | ||
Строка 353: | Строка 405: | ||
* '''Литература:''' Rubin T. N., Chambers A., Smyth P., Steyvers M. Statistical topic models for multi-label document classification // Machine Learning. — 2012. — Vol. 88, no. 1-2. — Pp. 157–208. | * '''Литература:''' Rubin T. N., Chambers A., Smyth P., Steyvers M. Statistical topic models for multi-label document classification // Machine Learning. — 2012. — Vol. 88, no. 1-2. — Pp. 157–208. | ||
* '''Базовый алгоритм:''' EM | * '''Базовый алгоритм:''' EM | ||
+ | |||
+ | === Автор: Перекрестенко Дмитрий === | ||
+ | * '''Название:''' Анализ статистической и структурной сложности суперпозиции нейронных сетей | ||
+ | * '''Задача:''' Получение алгоритма построения нейронной сети отвечающей оптимальной статистической сложности данных. | ||
+ | * '''Литература:''' | ||
+ | |||
+ | 1. Vladislavleva, E.J. Order of Non-linearity as a Complexity Measure for Models generated by Symbolic Regression via Pareto Genetic Programming // Evolutionary Computation. — 2009. — Vol. 13, Issue 2 | ||
+ | |||
+ | 2. Small, M. Minimum description length neural networks for time series prediction// Physical review. — 2002. | ||
+ | |||
+ | * '''Базовый алгоритм:''' DeepLearning, OBD(?) | ||
+ | |||
+ | |||
+ | === Автор: Гринчук Олег === | ||
+ | * '''Название:''' Тематическая классификация динамически изменяющихся текстов | ||
+ | * '''Задача:''' Есть две темы. Необходимо сопоставить текстам их вероятность принадлежать второй теме. Критерий качества: AUC | ||
+ | * '''Данные:''' Короткие текстовые объявления с полями title и description, сопровождаемые дополнительной числовой информацией | ||
+ | * '''Литература:''' Fabrizio Sebastiani, Machine learning in Automated Text Categorization, ACM Computing Surveys, Vol. 34, No. 1, March 2002. | ||
+ | * '''Базовой алгоритм:''' Ссылка на алгоритм, с которым проводится сравнение или на ближайшую по теме работу. | ||
+ | * '''Решение:''' Выделение слов-признаков, которые характеризуют тексты 1й и 2й тем, отбор признаков, классификация с помощью SVM | ||
+ | |||
+ | |||
+ | === Автор: Митяшов Андрей === | ||
+ | * '''Название:''' Предметно-экспертные ограничения для штрафной функции elastic-net в случае логистической регрессии | ||
+ | * '''Задача:''' Построение модели логистической регрессии со штрафом elastic-net для банковского скоринга с учетом нетипичных экспертных ограничений | ||
+ | * '''Данные:''' Конкурсные данные банка ОТП | ||
+ | * '''Литература:''' Tibshirani R. Friedman J, Hastie T. Regularization paths for generalized linear models | ||
+ | via coordinate descent. Journal of Statistical Software, 33:1-22, 2010. | ||
+ | * '''Базовой алгоритм:''' Алгоритм координатного спуска для elastic-net, представленный в базовой статье (см. выше) | ||
+ | |||
+ | |||
+ | |||
+ | [[Категория:Учебные курсы]] |
Текущая версия
Результаты
Автор | Тема научной работы | Руководитель | Лекции | Буквы | Сумма | Семестр (год) |
---|---|---|---|---|---|---|
Вдовина Евгения | Визуализация результатов картирования групп речевых маркеров | Майсурадзе А.И. | 0,2(3),0,1(1),0,3.5(4),1.5(2),0,0,0,0 | 0BCED-HI-J- | 6.91 | 6(6) |
Воронов Сергей | Фильтрация и тематическое моделирование коллекции научных документов | Воронцов К.В. | 8(8),3(3),3(3),1(1),1(1),0,1.7(2),4(4),1(3),5(7),3(3) | ABC+G+HIJ+ | 9.97 | 9(10) |
Гринчук Олег | Классификация нестационарного потока текстовых объявлений | Воронцов К.В. | 0,3(3),0,1(1),1(1),0,1(2),0,0,0,3(3) | ABCD-E-FH+J | 8.88 | 8(8) |
Катруца Александр | Анализ мультиколлинеарности при выборе признаков | Стрижов В.В. | 8(8),3(3),3(3),1(1),1(1),3(4),1.7(2),3(4),1(2),7(7),3(3) | A+BC+D+EF..(10) | 12.46 | 10(10) |
Костин Александр | Генерация признаков для классификации рисунка ладони | Местецкий Л.М. | 0,2(2),0,0,1(1),0,1.2(2),0,0,0 | ABCD000 | 4.65 | 4(4) |
Митяшов Андрей | Предметно-экспертные ограничения для штрафной функции elastic-net в случае логистической регрессии | Стрижов В.В. | 0,0,0,0,2(1),0,0,2.5(4),0,0,0 | 0BC+FH--I-J- | 5.91 | 5(5) |
Неклюдов Кирилл | Обнаружение аномалий в дискретных временных рядах. | Воронцов К.В. | 0,2(2),3(3),1(1),0,0,0.5(2),0,0,0,3(3) | ABCDE..(9) | 10.06 | 9(9) |
Перекрестенко Дмитрий | Статистический и структурный анализ суперпозиции нейронных сетей | Стрижов В.В. | 0,0,3(3),1(1),1(1),0,1(2),4(4),0,0,3(3) | ABC00F+G+H+IJ | 10.12 | 9(9) |
Пушняков Алексей | Комбинаторные оценки | Рудаков К.В. | 8(8),2(3),3(3),1(1),2(1),4(4),1.5(2),4(4),1(3),5.5(6),3(3) | A+BCD+EF+G+H | 11.67 | 10(10) |
Рыскина Мария | Регуляризация вероятностных тематических моделей для повышения устойчивости и интерпретируемости | Воронцов К.В. | 0,3(3),3(3),0,1(1),3(4),1.2(2),0,1(1),0,3(3) | A+BCD+E | 7.09 | 6(8) |
Яшков Даниил | Проблема понижения размерности в задаче поиска аномалий в многомерных временных рядах. | Воронцов К.В. | 0,0,3(3),1(1),0,0,0.5(2),0,0,0,3(3) | A--BCDEF-0HIJ | 9.06 | 8(8) |
Желавская Ирина | Построение сетей глубокого обучения с помощью экспертно-заданных порождающих функций | Стрижов В.В. | 3(4),2(3),1(2),0,0,0,0,0,1(2),0,2.5(3) | A0C0000(J_ | 2.81 | 8 |
Иванов Александр | Коалиционная манипулируемость правил коллективного выбора | Алескеров Ф.Т. | 5(6),3(3),1(3),0,0,0,0,0,1(2),0,0 | A?C0000(A-I-L-S--T-D--) | 6.66 | 6 |
Фейзханов Рустем | Распознавание листа бумаги на видео | Местецкий Л.М. | 2(6),3(3),2(3),1(1),1(1),0,0,1(4),1(2),1.5(6),2.5(3) | A0C0000 (A-I-L-C-) | 6.45 | 5 |
Матросов Михаил | Short-term forecasting of musical compositions using chord sequences | Strijov V.V. | 5(6),1(2),0,1(1),0,2(4),1.5(2),0,2(3),5(7),0 | 00000000J- (A-I--S-L--C---) | 4.74 | 4 |
Прилепский Роман | Разработка алгоритма маршрутизации передачи данных для динамической сети спутников (delay tolerant network) | Стрижов В.В. | 0,1(2),0,0,0,0,0,0,1(2),3(6),0 | 0000000I-J-(A-I--L-S--C---) | 4.63 | 4 |
Шуйский Николай | Построение мультимоделей в задачах оценки инвестиционной привлекательности | Стрижов В.В. | 5(6),2(3),0,0,0,0,0,0,0,0,0 | 0000000I-J- (A-I--L-S--T--R--) | 5.38 | 4 |
Домашние задания
Задание A, к 25 февраля
- Посоветоваться с научным руководителем и заполнить шаблон — план научной раборы (работа в течение семестра, дипломная работа или статья — вам решать).
- Поместить полученный план на эту страницу.
- Пользуясь материалами лекций (текст, слайды, слайды) и материалами курса Теория обучения машин, написать постановку вашей задачи в формате эссе. Ожидаемый размер эссе — полстраницы. Постановка задачи должна содержать строку
.
- Использовать шаблон вместе со стилевым файлом. См. результат PDF.
- Загрузить полученный текст на сайт SourceForge: MLAlgorithms/Group074/, создав папку Surname2014Title/ (где Title — ключевое слово в названии научной работы), в файлы Surname2014Essay1.tex и pdf.
- Примечание. Те, кто пишут статью, могут держать в течение семестра один файл с именем статьи. Сихронизация ДЗ будет происходить с третьим курсом.
- Важно! Те, кто не нашли научных руководителей, напишите предполагаемым/желаемым руководителям или напишите представителям Сколково/Кафедры.
Задание B, к 5 марта
- Найти в литературе или самостоятельно поставить задачу оценки параметров модели
. При этом гипотеза порождения данных (предположения о распределении зависимой переменной и параметров модели) должна отличаться от следующей (широко исследованной) гипотезы: многомерная случайная величина
распределена нормально (или биномиально) и многомерная случайная величина
распределена нормально. Все прочите случаи приветствуются! Рекомендую посмотреть статьи Сопряжённое априорное распределение и Обобщенная линейная модель. Крайне желательно привести функцию ошибки, которая (согласно байесовскому выводу) приносит наиболее вероятные параметры модели.
- Важно! Те, кто пишут статью, синхронизируются с домашними заданиями группы 174. Вопросы «писать эссе или нет» — на ваше усмотрение, равно как и стратегии получения оптимальной оценки за семестр (физтехам оценка выставляется как среднее за два семестра). Но желательно учесть, что завершение статьи третьего курса предполагается к маю.
Задание C, к 12 марта (повторение A)
- Пользуясь материалами лекций (текст, слайды, слайды) и материалами курса Теория обучения машин, написать постановку вашей задачи в формате эссе. Ожидаемый размер эссе — полстраницы. Постановка задачи должна содержать строку
.
Задание D, к 19 марта
- Предложить метод построения параметрической модели - многообразия, аппроксимирующего (возможно, выпуклую) оболочку компактного конечного множества точек в конечномерном Евклидовом пространстве. Вариант минимум - сфера в пространстве некоторой размерности, вариант максимум - сплайн. См. примеры: эссе номер 1.
Задание E, к 26 марта
- Найти в литературе или придумать прикладную задачу, которая решается одним их трех методов: смесь моделей, смесь экспертов, многоуровневая модель. Поставить эту прикладную задачу формально, рекомендовать метод и кратко обосновать свою рекомендацию. См. примеры: эссе номер 7.
- Прочитать постановку задачи аппроксимации улыбки волатильности (опционы) c. 35-37.
Задание F, к 2 апреля
- Предложить стратегию выбора признаков, основанную на принципе последовательного добавления/удаления признаков или на принципе последовательной модификации параметров. Обозначения можно взять здесь cл. 25-26.
Задание G, к 9 апреля
- Предложить метод автоматического порождения структур некоторых (по вашему выбору) классов нелинейных моделей: нейронных сетей, сетей радиального базиса, допустимых суперпозиций порождающих функций. В качестве базового описания структуры можно использовать [1] или предложеть свое собственное.
- Либо предложить метод автоматического порождения нелинейных моделей с использованием генетического (или другого эвристического) алгоритма.
Задание H, к 23 апреля
Решается прикладная задача заполнения пропусков в социологических анкетах наиболее адекватными значениями. Основная идея: для фиксированной анкеты найти заполнить ее пропущенные поля с использованием значений соответствующих полей ближайших соседей. Задана выборка
--- матрица, в которой элемент
принадлежит конечному множеству
допустимых значений
-го поля анкеты; отметка
означает пропуск в поле.
На множестве
задано отношение предпочтения
. Например, "начальное образование"
«среднее образование»
«высшее образование» --- отношение линейного порядка. Требуется ввести такую функцию расстояния или метрику
, которая бы обеспечивала наиболее полное восстановление пропусков, и описать процедуру восстановления.
Дополнительно: изменится ли ваше решение, в случае, когда каждая анкета имеет не менее одного пропуска. Вариант: каждое поле имеет не менее одного пропуска. Вариант: значительная часть элементов матрицы пропущена.
Задание I, к 23 апреля
Перечислить критерии новизны и качества научной работы по нашей специальности. Рассматриваем работы двух форматов.
- Теоретический.
- Прикладной.
Задание J, к 23 апреля
Какие задачи будут решать в нашей области через 10 лет? Каким вы видите ваше место в области?
Шаблон научной статьи
- Название: Название, под которым статья подается в журнал.
- Задача: Описание или постановка задачи. Желательна постановка в виде задачи оптимизации (в формате argmin). Также возможна ссылка на классическую постановку задачи.
- Данные: Краткое описание данных, используемых в вычислительном эксперименте, и ссылка на выборку.
- Литература: Список научных работ, дополненный 1) формулировкой решаемой задачи, 2) ссылками на новые результаты, 3) основной информацией об исследуемой проблеме.
- Базовой алгоритм: Ссылка на алгоритм, с которым проводится сравнение или на ближайшую по теме работу.
- Решение: Предлагаемое решение задачи и способы проведения исследования. Способы представления и визуализации данных и проведения анализа ошибок, анализа качества алгоритма.
- Новизна: Обоснование новизны и значимости идей (для редколлегии и рецензентов журнала).
Автор: Пушняков Алексей
- Название: О комбинаторных оценках максимальных
-разбиений метрических конфигураций.
- Задача: Дано метрическое пространство
. Пусть выбран некоторый порог
, известно, что из всех
попарных расстоянии таких, которые больше
, мало. Формально,
где - некоторое число, а пары
мы считаем неупорядоченными.
Требуется определить некоторый новый порог
такой, чтобы значительная часть точек пространства попала в некоторое множество диаметра не более
.
Иначе говоря, требуется найти гарантированную оценку снизу на мощность максимального множества диаметра не более
.
- Решение: Вначале показывается, что в случае
нельзя гарантировать какую-либо линейную по мощности пространства оценку. Поэтому останавливаемся на случае
. Далее жадным образом строится разбиение пространства на подмножества диаметра не более
, и рассматриваются некоторые свойства этого разбиения (здесь существенно применяется лемма Холла). Особый интерес представляет первое подмножество разбиения
, так его мощность и требуется оценить. Вместо непосредственно мощности
предлагается оценить число длинных ребер (их длина больше
). Центральным утверждением является факт, что таких ребер не менее
. Доказательство основано на рассмотрении максимального паросочетания в некотором двудольном подграфе с долями
и
.
- Литература:
1. Hall P. On representatives of subsets //J. London Math. Soc. – 1935. – Т. 10. – №. 1. – С. 26-30.
2. А. С. Вальков, “О быстром алгоритме восстановления иерархической ε-кластерной структуры”, Ж. вычисл. матем. и матем. физ., 45:1 (2005), 170–179.
Автор: Катруца Александр
- Название: Проблема мультиколлинеарности при выборе признаков в регрессионных задачах
- Задача: Исследовать свойства алгоритмов выбора признаков на предмет их адекватности при работе с выборками, содержащими мультиколлинеарные признаки.
- Данные: набор синтетических выборок, сгенерированных в соответствии с введёнными параметрами мультиколлинеарности и количества признаков каждого типа.
- Литература:
1. Il-Gyo Chong and Chi-Hyuck Jun. Performance of some variable selection methods when multicollinearity is present. Chemometrics and Intelligent Laboratory Systems, 78(1–2):103 – 112, 2005.
2. Robert Tibshirani. Regression shrinkage and selection via the lasso. Journal of the Royal Statistical Society, Series B, 58:267–288, 1994.
3. Bradley Efron, Trevor Hastie, Iain Johnstone, and Robert Tibshirani. Least angle regression. Ann. Statist, pages 407–499, 2004.
4. Hui Zou and Trevor Hastie. Regularization and variable selection via the elastic net. Journal of the Royal Statistical Society, Series B, 67:301–320, 2005.
- Базовые алгоритмы: LARS, Lasso, Elastic Net, Stepwise regression.
- Решение: генерировать целевые векторы и выборки с заранее определённым взаимным расположением признаков (ортогональность, коллинеарность, случайность и т.д.) и запускать на них алгоритмы выбора признаков. Оценивать качество предлагается несколькими функионалами: VIF, adjusted
,
и др. Также предлагается исследовать зависимость качества от параметра мультиколлинеарности.
Автор: Рыскина Мария
- Название: Регуляризация вероятностных тематических моделей для повышения устойчивости и интерпретируемости
- Задача: Исследовать влияние регуляризации на устойчивость и интерпретируемость моделей для модельных и реальных данных (см. эссе). Проверить гипотезу: регуляризация делает модель более интерпретируемой.
- Данные: Модельные данные; коллекция тезисов конференции ММРО/IOI.
- Литература:
1. Воронцов К. В., Потапенко А. А. Регуляризация, робастность и разреженность вероятностных тематических моделей //Компьютерные исследования и моделирование. – 2012. – Т. 4. – №. 4. – С. 693-706.
2. Chang J. et al. Reading Tea Leaves: How Humans Interpret Topic Models //NIPS. – 2009. – Т. 22. – С. 288-296.
- Базовый алгоритм: PLSA-EM
- Решение:
1. Для модельных данных: генерируются разреженные выходные матрицы, по ним восстанавливается входная и строится модель (стандартная и регуляризованная). Между темами в полученных моделях и в исходной матрице находятся взаимно-однозначные соответствия (венгерский алгоритм). Вычисляется значение введённого критерия качества интерпретируемости (см. эссе).
2. Для реальных данных: тот же эксперимент, но по-другому ищутся соответствия: строятся модели для разных начальных приближений и на всех полученных темах производится иерархическая кластеризация. Предполагается измерять интерпретируемость с помощью асессоров.
Автор: Уржумцев Олег
- Название: Исследование поведения аддитивной регуляризованной тематической модели при добавлении темпоральных признаков
- Задача: Максимизация когеретности тематик путём настройки параметров аддитивной регуляризованной тематической модели с включёнными темпоральными признаками.
Модель отличается от стандартной pLSA наличием дополнительных матриц и
:
Для оценки качества применяется мера когерентности тематик, вернее,
логарифм условной вероятности
(log conditional probability, LCP) - метрика, оценивающая вероятность появления менее частого слова в тематике при условии появления более частого:
Автор: Неклюдов Кирилл
- Название: Facial keypoints detection.
- Задача: В работе решается задача нахождения ключевых точек лица человека на изображении. Координаты ключевых точек представляются в виде дерева. Для построения дерева используется минимизация "энергии". "Энергия" вершин и рёбер дерева находятся из распределения вероятностей, параметры которого в свою очередь обучаются из принципа максимального правдоподобия. Координаты точек находятся как аргументы плотностей распределения, на которых функция принимает максимальное значение.
- Данные: Обучающая выборка с отмеченными ключевыми точками сожержит 7000 чёрно-белых фотографий лиц разрешением 96х96.
- Литература:
1. P.F. Felzenszwalb and D.P. Huttenlocher. Pictorial structures for object recognition. International Journal of computer vision, 61(1):55-79, January 2005.
2. Rajesh P.N. Rao and Dana H. Ballard. An active vision architecture based on iconic representations. Elsevier Science, March 1995.
- Базовый алгоритм: Алгоритм минимизации энергии описанный в статье P.F. Felzenszwalb and D.P. Huttenlocher. Pictorial structures for object recognition.
- Решение: Помимо реализации базового алгоритма предлагается предварительная обработка фотографий с помощью Гауссовского фильтра. Оптимальный размер фильтра выбирается исходя из минимизации функционала:
.
Автор: Костин Александр
- Название: Эффективный алгоритм построения триангуляции Делоне коллекции бициклов.
- Задача: Рассматривается задача построения триангуляции Делоне коллекции бициклов. Для проверки условия Делоне предлагается использовать геометрию Лагерра.
- Данные: Модельные данные: коллекции бициклов.
- Литература:
1. Л.М. Местецкий, Непрерывная морфология бинарных изображений: фигуры, скелеты, циркуляры. // Москва, Физматлит, 2009.
2. Матвеева Д.С., Триангуляции Делоне коллекции бициклов (дипломная работа)// Москва, ВМК МГУ, 2013
- Базовый алгоритм: Решение основано на алгоритме построения триангуляции, описанное в [2].
- Решение: Модифицировать алгоритм, описанный в статье [2], используя алгоритм построения триангуляции для многоугольников, описанный в [1].
- Новизна: На данный момент являются известными понятия коллекция бициклов и триангуляция Делоне, однако алгоритмы построения триангуляций Делоне для коллекций бициклов имеют квадратичную сложность (в рассматриваемом худшем случае). Целью работы является предложить алгоритм, сложность которого можно оценить как
Автор: Яшков Даниил
- Название: Анализ аномалий в полетных данных
- Задача: В работе решается задача прогнозирования аномалий по данным датчиков.
- Данные: Используются реальные данные датчиков за несколько полетов.
- Литература:
1. Downing, M., Chipulu, M., Ojiako, U and Kaparis, D (2011), ―Forecasting in airforce supply chains‖, The International Journal of Logistics Management, Vol. 22, No. 1, pp 127-144.
2. C Hiemstra, JD Jones - The Journal of Finance, 1994 - Wiley Online Library.
Автор: Фейзханов Рустем
- Название: Распознавание куска бумаги на видео.
- Задача: В работе решается задача распознавания куска бумаги на видео.
- Данные: Используются реальные данные с вебкамеры ноутбука.
- Литература:
1.Liu, Y., Ikenaga, T., Goto, S., “An MRF model-based approach to the detection of rectangular shape objects in color images”, http://www.hcii-lab.net/gpen/download/An%20MRF%20model-based%20approach%20to%20the%20detection%20of%20rectangular.pdf
2. Micusık, B., Wildenauer, H., Kosecka, J., “Detection and Matching of Rectilinear Structures”, http://www.researchgate.net/publication/224323260_Detection_and_matching_of_rectilinear_structures/file/5046351c827054fdf4.pdf
3. Shaw, D., Barnes, N., “Perspective Rectangle Detection”, http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.94.7972&rep=rep1&type=pdf
- Базовой алгоритм: Используется алгоритм поиска ребер, трансформация Хаффа с последующей фильтрацией кандидатов.
- Новизна: Подобный алгоритм имеет большое приложение в области видео конференций.
Автор: Иванов Александр
- Название: Coalitional Manipulability of Social Choice Rules
- Задача: To estimate degree of manipulability of social choice rules and to find the least manipulable one
- Данные: Voting situations with 3, 4 and 5 alternatives and 3-100 agents analyzed via computer modeling.
- Литература:
1. Aleskerov F., Karabekyan D., Sanver R., Yakuba V. (2011) On the degree of manipulability of multi-valued social choice rules // Homo Oeconomicus.. Vol. 28(1, 2). P. 205—216.
2. Aleskerov F., Kurbanov E. (1999). Degree of manipulability of social choice procedures // Alkan et al. (eds.). Current Trends in Economics. Berlin: Springer.
3. Gibbard A. (1973). Manipulation of voting schemes // Econometrica N41. P. 587-601.
4. Kelly J. (1993). Almost all social choice rules are highly manipulable, but few aren»t // Social Choice and Welfare N10. P. 161–175
5. Nitzan S. (1985) The vulnerability of point-voting schemes to preference variation and strategic manipulation // Public Choice 47: 349–370
6. Satterthwaite, M.A. (1975) 'Starategy-proofness and Arrow's Conditions: Existence and Correspondence Theorems for Voting Procedures and Social Welfare Functions'.- Journal of Economic Theory, v.10.
- Базовые алгоритмы: Computer modeling, computer simulation, dynamic programming, Monte-Carlo
- Решение: Implement all social choice rules as subprocedures, generate 1 million voting situations, consider all possible preferences deviations and calculate the coalitional manipulability index. Then, it will be possible to find the least manipulable one.
Автор: Воронов Сергей
- Название: Классификация документов при помощи тематических моделей с использованием дополнительных числовых признаков
- Задача: Улучшить стандрартные тематические модели классификации путем введения дополнительных числовых признаков
- Литература: Rubin T. N., Chambers A., Smyth P., Steyvers M. Statistical topic models for multi-label document classification // Machine Learning. — 2012. — Vol. 88, no. 1-2. — Pp. 157–208.
- Базовый алгоритм: EM
Автор: Перекрестенко Дмитрий
- Название: Анализ статистической и структурной сложности суперпозиции нейронных сетей
- Задача: Получение алгоритма построения нейронной сети отвечающей оптимальной статистической сложности данных.
- Литература:
1. Vladislavleva, E.J. Order of Non-linearity as a Complexity Measure for Models generated by Symbolic Regression via Pareto Genetic Programming // Evolutionary Computation. — 2009. — Vol. 13, Issue 2
2. Small, M. Minimum description length neural networks for time series prediction// Physical review. — 2002.
- Базовый алгоритм: DeepLearning, OBD(?)
Автор: Гринчук Олег
- Название: Тематическая классификация динамически изменяющихся текстов
- Задача: Есть две темы. Необходимо сопоставить текстам их вероятность принадлежать второй теме. Критерий качества: AUC
- Данные: Короткие текстовые объявления с полями title и description, сопровождаемые дополнительной числовой информацией
- Литература: Fabrizio Sebastiani, Machine learning in Automated Text Categorization, ACM Computing Surveys, Vol. 34, No. 1, March 2002.
- Базовой алгоритм: Ссылка на алгоритм, с которым проводится сравнение или на ближайшую по теме работу.
- Решение: Выделение слов-признаков, которые характеризуют тексты 1й и 2й тем, отбор признаков, классификация с помощью SVM
Автор: Митяшов Андрей
- Название: Предметно-экспертные ограничения для штрафной функции elastic-net в случае логистической регрессии
- Задача: Построение модели логистической регрессии со штрафом elastic-net для банковского скоринга с учетом нетипичных экспертных ограничений
- Данные: Конкурсные данные банка ОТП
- Литература: Tibshirani R. Friedman J, Hastie T. Regularization paths for generalized linear models
via coordinate descent. Journal of Statistical Software, 33:1-22, 2010.
- Базовой алгоритм: Алгоритм координатного спуска для elastic-net, представленный в базовой статье (см. выше)