Алгебра над алгоритмами и эвристический поиск закономерностей

Материал из MachineLearning.

(Различия между версиями)
Перейти к: навигация, поиск
(→Заседания 2012—2013 уч. года (осенний семестр))
(→Заседания 2012—2013 уч. года (осенний семестр))
Строка 32: Строка 32:
| 23.11.12
| 23.11.12
| '''Остапец Андрей''' (417)
| '''Остапец Андрей''' (417)
-
| Доклад
+
| Доклад «'''Обзор подходов победителей нескольких kaggle-конкурсов'''»
|-
|-
| 16.11.12
| 16.11.12

Версия 10:08, 24 ноября 2012

Руководитель спецсеминара: д.ф.-м.н., профессор Дьяконов Александр Геннадьевич

Содержание

Работа на спецсеминаре

В рамках работы на спецсеминаре есть два направления исследования:

  1. Теоретическое. Проводится в рамках алгебраического подхода к решению задач распознавания. Суть подхода: на алгоритмах, которые решают задачи обработки и анализа данных, специальным образом вводятся алгебраические операции. Например, можно складывать алгоритмы (получается опять алгоритм), умножать и т. д. Среди получаемых алгебраических выражений над «естественными» алгоритмами есть высокоэффективные алгоритмы. На спецсеминаре рассматриваются вопросы: как их строить, анализировать, реализовывать на ЭВМ и т. д. и т. п. Здесь же возникают задачи современной теории интерполяции: построения функций специального вида, заданных частично. Можно заниматься дискретным направлением: решать подобные задачи для функций, принимающих значения 0 и 1. Данное направление представляет особую ценность студентам, которые хотят получить самостоятельные результаты в науке и продолжить обучение в аспирантуре.
  1. Прикладное. Решаются реальные прикладные задачи анализа данных (data mining). Например, построение рекомендательных систем, прогнозирование свойств динамических графов (в том числе и графов социальных сетей), прогнозирование поведения потребителей, анализ метаданных, классификация сигналов головного мозга, классификация сигналов-показаний работы механизмов, настройка спам-фильтров, автоматическая рубрикация текстов, прогнозирование финансовых временных рядов. От студентов требуется желание глубоко понять задачу (данные и скрытые в них закономерности), умение быстро осваивать новые методы (в незнакомой области), хорошо программировать, выдвигать гипотезы и фантазировать (последнее очень важно).


Задание студентам: продолжить оформление этой странички
  • внести себя в участники (317)
  • написать тему текущей работы (417-517)
  • выложить курсовые (517, частично 417)

Дь-ов


Заседания 2012—2013 уч. года (осенний семестр)

Число Докладчик Доклад
23.11.12 Нижибицкий Евгений (417) Доклад
23.11.12 Остапец Андрей (417) Доклад «Обзор подходов победителей нескольких kaggle-конкурсов»
16.11.12 Харациди Олег (317) Доклад «Методы выявления оскорблений в текстовых сообщениях»
16.11.12 Фонарев Александр (417) Доклад «Размышления об автоматическом подборе ядра сглаживания»
09.11.12 Кондрашкин Дмитрий (417) Доклад «Успешные методы ранговой регрессии»
09.11.12 Рыжков Александр (317) Доклад «Алгоритмы анализа и обработки цифровых сигналов»
09.11.12 Дьяконов Александр (рук. сем.) Организационные дела, планы работы на спецсеминаре.


Очередное заседание спецсема состоится 23 ноября 2012 года в 18:00.


См. архив:

Наши успехи

Кто Что
Кондрашкин Дмитрий

Победа в конкурсе курсовых работ 2012 года.

Кириллов Александр, Фигурнов Михаил Второе место на конкурсе Интернет-математика «Relevance Prediction Challenge» (лучший результат среди российских участников). Статья с отчётом об используемых методах.

Научная работа — задания

Участник Задание (каждый сам заполняет свою ячейку) Комментарий
Бобрик Ксения (517) Анализ данных в задаче разработки и тестирования торговых стратегий
Ермушева Александра (517)
Кириллов Александр (517) ДНФ специального вида для функций с малым количеством нулей
Фигурнов Михаил (517) Обобщение метрического критерия k-сингулярности на метрики из разрезного конуса \operatorname{CUT}_q
Кондрашкин Дмитрий (417)
Нижибицкий Евгений (417) Доклад по анализу поискового поведения пользователей
Остапец Андрей (417) Доклад с обзором интересных подходов победителей конкурсов по анализу данных
Фонарёв Александр (417) Поиск ядер сглаживания. Доклад про виды решающих деревьев. Доклад про анализ данных на Python.
Рыжков Александр (317) Алгоритмы и подходы к прогнозированию временных рядов объемов продукции предприятия
Харациди Олег (317) Методы выявления оскорбительных текстовых сообщений на форуме

Участники спецсеминара

Год выпускаУчастники:
2015

Рыжков Александр

Харациди Олег

2014

Кондрашкин Дмитрий

Нижибицкий Евгений

Остапец Андрей

Фонарев Александр

2013

Бобрик Ксения

  • Тема работы «Прогнозирование временных рядов».

Ермушева Александра

  • Тема работы «Коллаборативная фильтрация».

Кириллов Александр

  • Курсовая работа «Матричное разложение в задаче анализа текстов».
  • Тема преддипломной практики «Задача оптимизации и моделирования при настройке рекомендательной системы».
  • Второе место на конкурсе Интернет-математика «Relevance Prediction Challenge» (лучший результат среди российских участников).
  • Figurnov M., Kirillov A. Linear combination of random forests for the Relevance Prediction Challenge — 2012
  • Кириллов А. Н. Предсказание связности графа. // Сборник тезисов XIX Международной научной конференции студентов, аспирантов и молодых ученых «Ломоносов-2012». Секция «Вычислительная математика и кибернетика». М.: МАКС Пресс, 2012, с. 101—102.
  • Кириллов А. Н. Сравнение методов предсказания появления связей в графе. // Сборник докладов 9-й международной конференции «Интеллектуализация обработки информации-2012», М: Торус Пресс, 2012. — С. 629—632.
  • Фигурнов М. В., Кириллов А. Н. Линейная комбинация случайных лесов в задаче предсказания релевантности документов // Сборник докладов 9-й международной конференции «Интеллектуализация обработки информации-2012», М: Торус Пресс, 2012. — С. 648—651.

Фигурнов Михаил

  • Курсовая работа «Метрические критерии k-сингулярности».
  • Тема преддипломной практики «Технология разработки рекомендательных систем».
  • Второе место на конкурсе Интернет-математика «Relevance Prediction Challenge» (лучший результат среди российских участников).
  • Figurnov M., Kirillov A. Linear combination of random forests for the Relevance Prediction Challenge — 2012
  • Фигурнов М. В. Линейная комбинация случайных лесов в задаче предсказания релевантности документов. // Сборник тезисов XIX Международной научной конференции студентов, аспирантов и молодых ученых «Ломоносов-2012». Секция «Вычислительная математика и кибернетика». М.: МАКС Пресс, 2012, с. 107—109.
  • Фигурнов М. В., Кириллов А. Н. Линейная комбинация случайных лесов в задаче предсказания релевантности документов // Сборник докладов 9-й международной конференции «Интеллектуализация обработки информации-2012», М: Торус Пресс, 2012. — С. 648—651.

Выпускники спецсеминара

Год выпускаВыпускники:
Аспирант, 2010

Карпович Павел

  • Карпович П. А. k-сингулярные системы точек в пространстве l1 // Сборник тезисов XVI Международной научной конференции студентов, аспирантов и молодых учёных «Ломоносов-2009», секция «Вычислительная математика и кибернетика», М: МАКС Пресс, 2009. — C.34.
  • Карпович П. А. Эффективная реализация алгоритмов распознавания образов // Журнал вычислительной математики и математической физики, 2009, Т. 49, № 8. C.1510-1516
  • Карпович П. А. О задаче разделения системы точек в пространсте l1 на подсистемы с невырождеными матрицами попарных расстояний // Тезисы конференции МФТИ, Секция проблем интеллектуального анализа данных, распознавания и прогнозирования. — М.: ГОУ ВПО «Московский физико-технический институт (государственный университет)», 2009. — С. 52.
  • Карпович П. А., Дьяконов А. Г. Критерий k-сингулярности систем точек в алгебраическом подходе к распознаванию // 14-я Всероссийская конференция «Математические методы распознавания образов» Владимирская обл., г. Суздаль, 21-26 сентября 2009 г.: Сборник докладов. — М. МАКС Пресс, 2009. С. 41-44.
  • Карпович П.А. Разделение системы точек на подмножества с невырожденными матрицами попарных расстояний // Материалы XVII Международной конференции студентов и аспирантов по фундаментальным наукам «Ломоносов 2010». – М.: Изд. отдел ВМиК МГУ, МАКС Пресс, 2010. – С. 87-88.
  • Карпович П.А. Критерии k-сингулярности и разделение 1-сингулянрных систем // Вестник Московского университета. Секция 15. “Вычислительная математика и кибернетика” – 2010. № 4.
  • Карпович П.А. Дьяконов А.Г. K-сингулярные системы точек, приложения в алгебраическом подходе к распознаванию // Тезисы докладов Международной научной конференции ИОИ-8 Кипр, Пафос - 2010

Диссертация: «K-сингулярные системы точек в алгебраическом подходе к распознаванию образов» (2010, успешно защищена 18.02.2011 по специальности 01.01.09)

2012

Платонова Елена

2010

Ахламченкова Ольга

  • Дипломная работа «Машинное обучение для ранжирования документов»

Токарева (Одинокова) Евгения

2009

Власова Юлия

  • Дипломная работа «Генерация признаков в задаче классификации сигналов» (PDF, 929 КБ).
  • Власова Ю. В. Применение генетических алгоритмов в задаче классификации сигналов (приложение в BCI) // Сборник тезисов XVI Международной научной конференции студентов, аспирантов и молодых учёных «Ломоносов-2009», секция «Вычислительная математика и кибернетика», М: МАКС Пресс, 2009. — C.17.
  • Власова Ю. В. Применение генетических алгоритмов в задаче классификации сигналов (приложение в BCI) // Доклады 14-й Всероссийской конференции «Математические методы распознавания образов», М.: МАКС Пресс, 2009, С. 96-99.

Логинов Вячеслав

  • Дипломная работа «Прогнозирование временных рядов с помощью рекуррентных нейросетей с откликом»

Фёдорова Валентина

  • Дипломная работа «Локальные методы прогнозирования временных рядов»
  • Федорова В. П. Локальные методы прогнозирования временных рядов // Сборник тезисов XVI Международной научной конференции студентов, аспирантов и молодых учёных «Ломоносов-2009», секция «Вычислительная математика и кибернетика», М: МАКС Пресс, 2009. — C.87.

Чучвара Алексндра (бакалавр)

2008

Ломова Дарья

  • Дипломная работа «Выделение закономерностей во временных рядах методом анализа главных компонент»

Вершкова Ирина

  • Дипломная работа «Локальная и глобальная согласованность в интеллектуальном анализе данных»
2007

Кнорре Анна

  • Дипломная работа «Надежность алгоритмов распознавания, основанных на синтезе дизъюнктивных нормальных форм»

Карпович Павел

  • Дипломная работа «Эффективная реализация алгоритмов распознавания образов»

Сиваченко Евгений

  • Дипломная работа «Нейросетевой поиск логических закономерностей»
2006

Ховратович (Курятникова) Татьяна

  • Дипломная работа «Критерии корректности в задачах распознавания образов с малым числом признаков»
  • Курятникова Т. С. Критерии корректности алгебраического и линейного замыкания АВО для малых размерностей // Материалы XII Международной конференции студентов, аспирантов и молодых учёных «Ломоносов», секция «Вычислительная математика и кибернетика». М.: Изд. отд. ВМиК МГУ, 2006. — c. 32-33.

Мошин Николай

  • Дипломная работа «Эффективная реализация алгоритмов решения задачи выполнимости»
2005

Каменева Наталия

  • Дипломная работа «Эффективные логические алгоритмы распознавания, основанные на синтезе ДНФ»

Силкин Леонид

  • Дипломная работа «Оценка разделяющей способности признаков при кодировании информации в задачах распознавания»

Некоторые решаемые прикладные задачи

  • Прогнозирование временных рядов По характеристикам процесса в прошлом предсказать поведение в будущем. Знание о прошлом может быть неполным или ошибочным. Типичный пример: прогнозирование денежных сумм, которые будут сниматься с банкомата в течение следующей недели.
  • Классификация технических сигналов и сигналов головного мозга По описанию изменения некоторой характеристики процесса необходимо определить её класс. Например, по электрокортикограмме определить ментальное состояние человека. При этом обучающая выборка (данные, которые у нас есть) была собрана достаточно давно, а тестирование алгоритма будет проводиться потом (при изменённых внешних условиях, а следовательно, при изменённых характеристиках данных).
  • Фильтрация спама Настроить спам-фильтр на некотором универсальном обучающем множестве (данных спам-ловушек) так, чтобы он хорошо работал на компьютере конкретного пользователя (без дополнительной донастройки).
  • Иерархическая классификация текстов Написать алгоритм автоматической категоризации документов. Например, новостные рассылки необходимо распределить по каталогам «спорт/футбол», «спорт/биатлон», «музыка/концерты», «музыка/рок/исполнители» и т. д.
  • Ранжирование документов на основе обучающего множества Написать алгоритм, который оценивает релевантность документа поисковому запросу. Для фиксированного запроса упорядочить документы (используя их признаковые описания) так, чтобы порядок отражал «адекватность» запроса.
  • Прогноз связности графа социальной сети Предсказать изменения динамического графа социальной сети, в частности, появление новых рёбер.
  • Прогнозирование успешности грантов и проектов По описанию заявки оценить перспективность выполнения данного проекта.
  • Разработка рекомендательного алгоритма, который делает актуальные предложения купить какой-то товар, воспользоваться услугой или прочитать материал.
  • Предсказывание визитов покупателей и сумм покупок для сети супермаркетов Разработка алгоритма, который предсказывает дату первого визита и сумму покупки каждого клиента.
  • Оценка фотографий по метаданным Прогноз «интересности» фото-материалов на основе анализа названия, описания, GPS-координат съёмки и т.п.
  • Задача кредитного скоринга Прогнозирование надёжности клиента банка по обязательствам выплаты процентов кредита.
Источник — «http://machinelearning.ru/wiki/index.php?title=%D0%90%D0%BB%D0%B3%D0%B5%D0%B1%D1%80%D0%B0_%D0%BD%D0%B0%D0%B4_%D0%B0%D0%BB%D0%B3%D0%BE%D1%80%D0%B8%D1%82%D0%BC%D0%B0%D0%BC%D0%B8_%D0%B8_%D1%8D%D0%B2%D1%80%D0%B8%D1%81%D1%82%D0%B8%D1%87%D0%B5%D1%81%D0%BA%D0%B8%D0%B9_%D0%BF%D0%BE%D0%B8%D1%81%D0%BA_%D0%B7%D0%B0%D0%BA%D0%BE%D0%BD%D0%BE%D0%BC%D0%B5%D1%80%D0%BD%D0%BE%D1%81%D1%82%D0%B5%D0%B9»