Участник:Vokov

Материал из MachineLearning.

(Различия между версиями)
Перейти к: навигация, поиск
(→Бакалаврские диссертации)
(18 августа 2015. Теория и практика обучения машин.)
Строка 62: Строка 62:
== Выступления на конференциях и семинарах ==
== Выступления на конференциях и семинарах ==
 +
* 18 августа 2015. Теория и практика обучения машин. [http://combalg.ru/schools/summer15 Летняя Школа «Комбинаторика и алгоритмы для школьников»]. Лекция 1. Алгоритмы классификации ([[Media:Voron-2015-08-18-lksh.pdf|Презентация, 4.4Мб]], [[Media:Voron-2015-08-18-lksh-data.pdf|Данные конкурсного задания, 100Kб]]).
* 19 июня 2015. Аддитивно регуляризованные тематические модели и разведочный поиск знаний в сети. [https://sites.google.com/site/traditionalschool/ Традиционная Школа «Управление, информация и оптимизация»]. [[Media:Voron-2015-06-19-school-VII.pdf|Презентация, 6.3Мб]].
* 19 июня 2015. Аддитивно регуляризованные тематические модели и разведочный поиск знаний в сети. [https://sites.google.com/site/traditionalschool/ Традиционная Школа «Управление, информация и оптимизация»]. [[Media:Voron-2015-06-19-school-VII.pdf|Презентация, 6.3Мб]].
* 17 июня 2015. Обучение наивного Байеса. [https://sites.google.com/site/traditionalschool/ Традиционная Школа «Управление, информация и оптимизация»]. [[Media:Voron-2015-06-17-school-VII.pdf|Презентация, 2.1Мб]]. [[Media:School-VII-2015-contest-Vorontsov.rar|Данные для конкурсного задания]].
* 17 июня 2015. Обучение наивного Байеса. [https://sites.google.com/site/traditionalschool/ Традиционная Школа «Управление, информация и оптимизация»]. [[Media:Voron-2015-06-17-school-VII.pdf|Презентация, 2.1Мб]]. [[Media:School-VII-2015-contest-Vorontsov.rar|Данные для конкурсного задания]].

Версия 19:48, 17 августа 2015

Содержание

Изображение:VorontsovFace.jpg    Воронцов Константин Вячеславович

д.ф.-м.н.
Зам. директора по науке ЗАО «Форексис», www.forecsys.ru.
С.н.с. Вычислительного центра РАН.
Проф. каф. «Интеллектуальные системы» ФУПМ МФТИ.
Доц. каф. «Математические методы прогнозирования» ВМиК МГУ.
Преподаватель Школы анализа данных Яндекс.

Один из идеологов и Администраторов ресурса MachineLearning.RU.

Прочие подробности — на подстранице Curriculum vitæ.

Мне можно написать письмо.


Учебные материалы

Курсы лекций

Семинары

Рекомендации для студентов и аспирантов

Материалы для преподавателей

Выступления на конференциях и семинарах

Научные интересы

Всё, что скрывается за терминами «интеллектуальный анализ данных» (data mining) и «машинное обучение» (machine learning): распознавание образов, прогнозирование, математическая статистика, дискретная математика, численные методы оптимизации, а также практический анализ данных в разнообразных областях (экономика, медицина, техника, биоинформатика, интернет).

Анализ текстов и информационный поиск

Основная статья: Тематическое моделирование
Основная статья: BigARTM

Современные средства текстового поиска предназначены для ответов на короткие текстовые запросы. Этого не достаточно при поиске научной и профессиональной информации, в особенности новой или содержащей неизвестную пользователю терминологию. Поиск и мониторинг новых тенденций, терминологии, профессиональных сообществ всё ещё требует больших затрат времени и высокой квалификации. Существует барьер входа в новую профессиональную область. Ответ на вопрос «где находится передний край науки по данной теме» по-прежнему достигается, главным образом, путём личного общения, следовательно, субъективен и не общедоступен. Каким должен быть идеальный информационный поиск для учёного, преподавателя, специалиста? По всей видимости, единого ответа нет. Он должен быть разным. Одна из идей состоит в том, чтобы принимать в качестве запроса длинный текст — статью, фрагмент статьи или несколько статей, систематизировать результаты поиска в виде «дорожной карты», с помощью которой пользователю будет легче изучать данную область, выделять наиболее важные факты, готовить обзоры, в кратчайший срок накапливать собственную экспертизу в новой области знания. Миссия тематического поиска — Приблизить Знание к Пользователю. Знание раскидано по Интернету. Необходимо его выделить, систематизировать по темам и представить в виде, более удобном и разнообразном, чем ранжированный список в рекламном обрамлении. Современные поисковые системы не решают эту задачу, так как они нацелены не на концентрацию Знания, а на удовлетворение потребительских интересов среднего пользователя. Система поиска научной и профессиональной информации — это инструмент интеллектуальной элиты общества, доступный всем. Наша исследовательская группа разрабатывает математические и информационные технологии для создания такой поисковой системы. Они основаны на вероятностном тематическом моделировании (Probabilistic Topic Modeling) и гибридных подходах, объединяющих статистические и лингвистические методы анализа текстов.

Вероятностное тематическое моделирование развивается с конца 90-х годов и находит всё больше неожиданных применений в областях, далёких от анализа текстов на естественных языках: при обработке изображений, видео, музыки, биомедицинских сигналов, нуклеотидных и аминокислотных последовательностей. Наши методы применимы и к этим задачам.

Основные направления исследований и разработок

  • теория и методы аддитивной регуляризации тематических моделей (ARTM);
  • разработка BigARTM — библиотеки с открытым кодом для тематического моделирования больших коллекций;
  • автоматическое выделения словосочетаний-терминов в текстах;
  • тематические модели последовательного текста, тематической структуры и сегментации текстов;
  • мультимодальные тематические модели, классификация и регрессия с текстовыми и разреженными признаками;
  • иерархические тематические модели и категоризация текстов;
  • методы визуализации тематических моделей;
  • методы автоматического именования тем;
  • проблемы сходимости и устойчивости численных методов матричных и тензорных разложений;
  • проблемы интерпретируемости тем;
  • мультиязычные тематические модели;
  • динамические тематические модели;
  • тематические модели, учитывающие авторство и ссылки;

Прикладные задачи

  • выделение текстов заданной профессиональной области из больших коллекций (из Интернета);
  • иерархическая тематическая модель научной конференции или журнала;
  • динамическая тематическая модель коллекции пресс-релизов;
  • классификация текстов по жанрам;
  • диагностика заболеваний по текстовым представлениям электрокардиосигналов;
  • тематическое моделирование процесса изучения иностранных слов пользователями мобильного приложения;

Ключевые слова

  • text analysis, information retrieval, keyphrase extraction, topic modeling, probabilistic latent semantic analysis (PLSA), latent Dirichlet allocation (LDA), Gibbs sampling, documents categorization, learning to rank, research trends, research front.

Материалы и задания

Диагностика заболеваний по ЭКГ

Основная статья: Технология информационного анализа электрокардиосигналов

Все знают, что по электрокардиограмме можно ставить диагнозы сердечно-сосудистых заболеваний. Профессором д.м.н. В.М.Успенским предложен новый метод диагностики, позволяющий диагностировать широкий спектр заболеваний внутренних органов по ЭКГ. Многие болезни сказываются на работе сердца задолго до проявления клинических симптомов, что позволяет использовать ЭКГ для ранней диагностики. За 15 лет применения этой технологии накоплена обучающая выборка по двадцати тысячам больных и нескольким десяткам заболеваний. Вычислительные эксперименты подтверждают, что диагностика широкого спектра заболеваний по одной ЭКГ с использованием методов машинного обучения может достигать удивительной точности. Наша научная группа занимается всесторонней статистической экспертизой этого метода диагностики и разработкой новых принципов анализа дискретизированных биомедицинских сигналов. В частности, важным направлением является применение тематического моделирования и методов компьютерной лингвистики. Фактически, речь идёт о поиске оптимальной реконструкции (восстановлении синтаксиса и семантики) языка, порождаемого протекающими в организме человека сложнейшими физиологическими процессами, и при этом несущего значимую диагностическую информацию о состоянии здоровья человека.

Основные направления исследований и разработок:

  • поиск более эффективных методов дискретизации ЭКГ-сигналов;
  • построение диагностических эталонов заболеваний методами тематического моделирования;
  • разработка диагностических моделей для отдельных заболеваний;
  • разработка специальных методов отбора признаков, глубокого обучения, многоклассовой классификации;
  • исследование переобучения диагностических моделей.

Конкурсное задание на VI Традиционной молодёжной летней школе «Управление, информация и~оптимизациия» 26 июня 2014г.

В архиве файлы по 1 болезни, обучающая выборка с классификациями, тестовая выборка без классификаций, read.me с условием задания.

Другие материалы и задания

В архиве файлы по 5 болезням, для каждой болезни имеется два файла: файлы с буквой «Э» в имени — эталонные выборки с надёжно верифицированными диагнозами, которые предполагается использовать для обучения; файлы без буквы «Э» — контрольные выборки. Можно использовать только эталонные, можно пробовать их перемешивать. В каждом файле первый столбец содержит метки классов (0-здоров, 1-болен), следующие 216 столбцов - значения признаков.

Теория обобщающей способности

Основная статья: Комбинаторная теория переобучения (виртуальный семинар)

Проблема обобщающей способности является ключевой и в то же время наиболее сложной в машинном обучении. Её даже выделяют в отдельную дисциплину — теорию вычислительного обучения. Если алгоритм, восстанавливающий некоторую неизвестную зависимость, построен по конечной обучающей выборке прецедентов, то как предсказать качество его работы на контрольной выборке, состоящей из новых прецедентов? Почему это вообще возможно? Как надо обучать алгоритм, чтобы он редко ошибался на новых данных?

Активное исследование этих вопросов началось в конце 60-х, когда В.Н.Вапник и А.Я.Червоненкис предложили статистическую теорию восстановления зависимостей по эмпирическим данным (VC theory) и получили верхние оценки вероятности ошибки обученного алгоритма (VC-bounds). Эти оценки позволили обосновать давно замеченный эмпирический факт: по мере увеличения сложности используемого семейства алгоритмов качество обучения сначала улучшается, затем начинает ухудшаться. Ухудшение связано с эффектом переобучения. Если алгоритм имеет избыточное число параметров («степеней свободы»), то он может слишком точно настроиться на конкретную обучающую выборку в ущерб качеству восстановления зависимости в целом. В теории Вапника-Червоненкиса разработан метод структурной минимизации риска (СМР), позволяющий автоматически находить модель оптимальной сложности. К сожалению, оценки вероятности ошибки чрезвычайно завышены (осторожны, пессимистичны), что может приводить к переупрощению модели в методе СМР. Несмотря на 40-летние усилия многих ученых и существенное усложнение математического аппарата, точные оценки до сих пор не были получены.

Комбинаторная теория переобучения — это принципиально новый подход, основанный на слабой вероятностной аксиоматике, впервые позволивший получить точные (не завышенные, не асимптотические) комбинаторные оценки вероятности переобучения и показать ключевую роль эффектов расслоения и сходства в семействах алгоритмов. Пока что точные оценки получены лишь для ряда модельных семейств алгоритмов, обладающих некоторой регулярной структурой. Для реальных смейств удалось получить верхние оценки расслоения-связности — SC-оценки (splitting and connectivity bounds). Они завышены в разы, тогда как VC-оценки завышены на 5–8 порядков. Для некоторых модельных семейств SC-оценки являются точными. Тем не менее, проблемы остаются, и дело не только в завышенности оценок. Во-первых, SC-оценки могут быть ненаблюдаемыми, то есть в них могут входить некоторые функции от скрытых контрольных данных. Эти функции вполне можно оценивать по наблюдаемым обучающим данным, но это дополнительная работа. Во-вторых, SC-оценки могут быть вычислительно неэффективными и требовать неадекватно больших затрат памяти и времени. Получение приближённых или асимптотических SC-оценок гарантированной точности также является отдельной работой.

Пока имеется лишь два примера практического применения комбинаторных оценок обобщающей способности:

  • Модификация критериев информативности для уменьшения переобучения конъюнктивных закономерностей в логических алгоритмах классификации (Андрей Ивахненко).
  • Эффективный алгоритм отбора эталонных объектов в методе ближайших соседей (Максим Иванов).

Основная цель дальнейших исследований — доведение комбинаторной теории переобучения до уровня практической применимости.

Основные направления исследований:

  • разработка математической техники для перехода от ненаблюдаемых оценок к наблюдаемым (возможно, как на основе комбинаторики, так и на основе теории концентрации вероятностной меры);
  • исследование комбинаторно-статистических свойств графа расслоения-связности модельных и реальных семейств алгоритмов.
  • получение оценок вероятности переобучения через наблюдаемый профиль расслоения-связности;
  • разработка эффективных методов оценивания нижних слоёв профиля расслоения-связности в конкретных методах обучения;
  • разработка логических алгоритмов классификации с управляемой переобученностью логических закономерностей;
  • развитие понятия «плотности» семейства алгоритмов и изучение возможности аппроксимации «плотных» семейств их «разреженными» подсемействами малой мощности;
  • развитие понятия «комбинаторного отступа» и его использование для повышения обобщающей способности линейных классификаторов;
  • развитие понятия локальной радемахеровской сложности для более аккуратного учёта эффектов расслоения и сходства;
  • обобщение понятий расслоения и сходства алгоритмов для непрерывных функций потерь;
  • разработка эффективных метрических алгоритмов классификации на основе комбинаторных оценок полного скользящего контроля;
  • исследование связи профилей компактности с функциями конкурентного сходства;
  • разработка методики тестирования и анализа обобщающей способности для «Полигона алгоритмов классификации».

Публикации:

Лучшее изложение с добавлением последних результатов:

Ключевые слова: overfitting, generalization bounds, computational learning theory, Vapnik-Chervonenkis theory, local Rademacher complexity.

Комбинаторная (перестановочная) статистика

Основная статья: Слабая вероятностная аксиоматика

Это направление логично вытекает из предыдущего и является его обобщением. Оказывается, многие фундаментальные факты теории вероятностей и математической статистики можно переформулировать и доказать, не опираясь на колмогоровскую аксиоматику, то есть не используя теорию меры, и даже не употребляя само понятие вероятности. В задачах анализа данных мы всегда имеем дело с выборками конечной длины. Поэтому естественно ставить вопрос не «какова вероятность события?», а «какой может быть частота этого события на скрытых (пока еще не известных) данных?». Ответы на эти два вопроса, вообще говоря, различны, причем на выборках малой длины различие существенно. Вероятность события — абстрактная идеализированная величина. Частота события — это как раз то, что реально измеряется в эксперименте. Именно её и имеет смысл оценивать (предсказывать).

Слабая вероятностная аксиоматика основана на одной единственной аксиоме: рассматривается конечная выборка неслучайных объектов, которые появляются в случайном порядке, причём все перестановки равновероятны. Событие — это бинарная функция на множестве всех перестановок выборки. Вероятность события определяется как доля перестановок выборки, при которых эта бинарная функция принимает единичное значение (т.е. событие имеет место).

В слабой аксиоматике удаётся переформулировать значительную часть фундаментальных результатов теории вероятностей и математической статистики, оносящихся к конечным выборкам независимых наблюдений. В их числе: закон больших чисел, закон сходимости эмпирических распределений (критерий Смирнова), многие непараметрические, ранговые и перестановочные статические критерии, теория обобщающей способности, теория информации. Во многих случаях получаемые оценки являются точными, т.е. не асимптотическими и не завышенными. Многие результаты сильно упрощаются, освобождаясь от второстепенных технических усложнений, связанных с теорией меры. Например, отпадает необходимость введения различных типов сходимости.

Основные направления исследований:

  • выяснение границ применимости слабой вероятностной аксиоматики;
  • точные (комбинаторные) статистические тесты;
  • эффективные алгоритмы вычисления комбинаторных оценок;
  • исследование других вероятностных предположений, кроме равновероятности всех перестановок;
  • множественное тестирование статистических гипотез и его связь с проблемой переобучения.

Ключевые слова: exchangeability, permutational statistics, concentration of probability measure.

Анализ клиентских сред и коллабораций

Основная статья: Анализ клиентских сред

Анализ клиентских сред (АКС) является относительно новой и быстро развивающейся областью интеллектуального анализа данных (data mining). В современном бизнесе чрезвычайно востребовано решение следующей задачи, точнее даже группы задач.

Имеется некоторый набор ресурсов (товаров, услуг, предметов), которыми пользуется огромное количество клиентов. Все действия пользователей протоколируются в электронном виде. Эти данные содержат ценнейшую информацию, необходимую для повышения качества оказываемых услуг, однако извлечь её не так просто ввиду огромного объема данных. Какие ресурсы наиболее популярны, и среди каких групп клиентов? Возможно ли угадать интересы клиента и сформировать для него персональное предложение, от которого он с высокой вероятностью не откажется? Как выявить клиентов, собирающихся в ближайшее время отказаться от обслуживания? Эти и другие задачи решаются в системах управления взаимоотношениями с клиентами (client relationship management, CRM). Создание математического обеспечения для них является актуальной наукоемкой задачей.

Примеры клиентских сред — электронная библиотека, интернет-магазин, поисковая система. Технология АКС позволяет персонализировать поиск контента, ранжируя результаты поиска в таком порядке, чтобы клиенту было легче находить информацию, необходимую именно ему, именно в данный момент.

Основные направления исследований:

Ключевые слова: collaborative filtering, recommender systems, personalization, web mining, web usage mining, client relationship management, matrix factorization, probabilistic latent semantic indexing.

Адаптивное обучение

Основная статья: Адаптивное обучение

В реальных приложениях всё чаще возникает потребность в алгоритмах классификации и прогнозирования, динамически адаптирующихся к потоку поступающих данных. Если в классической постановке задачи обучающая выборка предполагается фиксированной, независимой, взятой из не меняющегося распределения, то в задачах адаптивного (динамического, оналайнового) обучения объекты поступают в некотором порядке, изменить который нельзя, при этом независимости может не быть, а распределение может меняться со временем. В этих условиях также хотелось бы иметь адекватную теорию обобщающей способности. Однако на практике, как правило, ограничиваются эмпирическими оценками.

Основные направления исследований:

  • адаптивные алгоритмы классификации и прогнозирования;
  • исследование возможности переноса комбинаторной теории переобучения на случай адаптивного обучения;
  • интеллектуальная автоматизация обработки текстовой информации при участии эксперта.
  • онлайновые логические алгоритмы классификации;
  • динамическая оптимизация инвестиционного портфеля;

Ключевые слова: online learning, incremental learning, adaptive learning, reinforcement learning.

Алгоритмические композиции

Основная статья: Композиция алгоритмов

Алгоритмические композиции применяются в сложных задачах, когда имеющиеся базовые алгоритмы не дают желаемого качества обучения. В таких случаях строят композиции алгоритмов, стараясь, чтобы ошибки различных алгоритмов скомпенсировали друг друга.

Самый простой пример композиции — усреднение ответов, выдаваемых базовыми алгоритмами. Можно усреднять с весами. Можно выделять области компетентности различных алгоритмов, и в каждой области использовать свое распределение весов. Можно строить композиции алгоритмов с помощью нелинейных операций. Какой из этих методов лучше? В каких задачах? Как обучать базовые алгоритмы, учитывая, что они будут работать не по-отдельности, а в составе композиции? Можно ли приспособить для этого стандартные методы обучения? Как оценивать и целенаправленно улучшать обобщающую способность композиции? Как при этом сделать число алгоритмов в композиции поменьше?

Идея алгоритмических композиций была выдвинута в середине 70-х годов в работах академика РАН Ю.И.Журавлева. В зарубежных исследованиях это тема стала чрезвычайно популярной в 90-е годы, после изобретения алгоритмов бустинга, бэггинга, смесей экспертов и других композитных конструкций.

Основные направления исследований:

Ключевые слова: multiple classifier systems, ensemble learning, classifier fusion, boosting, mixture of experts, rule learning, rule induction.

Прогнозирование объёмов продаж

Основная статья: Прогнозирование объёмов продаж

Задачи прогнозирования объёмов продаж в сетях супермаркетов характеризуются огромным количеством временных рядов, фактической невозможностью использования классических ресурсоёмких методов прогнозирования, несимметричностью функции потерь, разнородностью и нестационарностью временных рядов, наличием пропусков и неточностей в данных, возможностью привлечения дополнительной информации о структуре ассортимента, географии продаж, ценах, промо-акциях и поведении конкурентов.

Основные направления исследований:

  • адаптивные методы краткосрочного прогнозирования при несимметричной функции потерь;
  • адаптивные композиции алгоритмов прогнозирования при несимметричной функции потерь;
  • адаптивные методы прогнозирования плотности распределения;
  • адаптивные методы квантильной регрессии;
  • поиск взаимозаменяемых товаров, анализ и прогнозирование каннибализации брендов.

Ключевые слова: sales forecast, density forecast, forecasting under asymmetric loss, quantile regression.

Биоинформатика

Основная статья: Биоинформатика

Основные направления исследований:

  • обработка данных ДНК-микрочипов.
  • распознавание вторичной структуры белка по первичной;

Другие проекты

Публикации

Основное неустаревшее:

Всё остальное:

Софт

  • ChartLib — Библиотека деловой и научной графики. Страница: ChartLib. Документация: [1]

Удобный инструмент для аналитических исследований, генерации графиков в Internet, подготовки отчетов, выполнения курсовых и дипломных работ, встраивания графиков в приложения на Delphi и C#. Имеет собственный формат входных данных CHD (CHart Description), позволяющий описывать как таблицы данных, так и внешний вид графика. Поддерживается более 150 команд, более 50 свойств точек графика, имеется встроенный калькулятор арифметических выражений. Графики могут быть выведены в окно прикладной программы, на принтер, в буфер обмена, в файлы графических форматов BMP, EMF, PNG, JPEG, GIF. Имеется программа chdView.exe для просмотра CHD-файлов.

  • BigARTM — Открытая библиотека тематического моделирования. Страница: github.com/bigartm. Документация: bigartm.org

Параллельная распределённая реализация методов вероятностного тематического моделирования на основе аддитивной регуляризации. Реализация ядра библиотеки на С++, интерфейсы на C++, Python. Позволяет добавлять новые регуляризаторы и метрики качества. Разработкой руководит Александр Фрей.

Аспиранты и студенты

Аспиранты ФУПМ МФТИ ФИВТ МФТИ ВМК МГУ ВШЭ
  • Илья Жариков
  • Светлана Шишковец
  • Евгений Смирнов
  • Дмитрий Аникушин
  • Дмитрий Гронский
  • Кирилл Остапенко
  • Илья Ирхин
  • Виктор Булатов
  • Александр Кузьмин
  • Анастасия Янина
  • Роза Айсина
  • Владимир Полушин
  • Артём Попов
  • Дмитрий Шостко
  • Александра Кузнецова

Бакалаврские диссертации

  1. Дмитрий Иванцов. Новые методы технического анализа фьючерсных рынков. 2003. МФТИ.
  2. Рустем Таханов. Некоторые комбинаторные оценки качества обучения по прецедентам. 2004. МФТИ.
  3. Дмитрий Житлухин. О некоторых алгоритмах синтеза неэквивалентных матриц Адамара. 2005. МФТИ.
  4. Андрей Ивахненко. Исследование обобщающей способности логических алгоритмов классификации. 2005. МФТИ.
  5. Василий Лексин. Методы выявления взаимосогласованных структур сходства в системах взаимодействующих объектов. 2005. МФТИ.
  6. Фёдор Ульянов. Связь информативности и обобщающей способности в метрических алгоритмах классификации. 2005. МФТИ.
  7. Сергей Ументаев. Алгоритмы динамического обучения принятию решений в сильно зашумлённых временных рядах. 2005. МФТИ.
  8. Иван Гуз. Алгоритмические композиции с монотонными и выпуклыми корректирующими операциями. 2006. МФТИ.
  9. Александр Маценов. Методы обучения линейных композиций алгоритмов классификации. 2006. МФТИ.
  10. Никита Пустовойтов. Обучение композиций дипольных классификаторов на основе ЕМ-алгоритма. 2007. МФТИ.
  11. Александр Климов. Методы предсказания рейтингов в рекомендующих системах. 2007. МФТИ.
  12. Александр Орлов. Проблема переобучения при отборе признаков в линейной регрессии с фиксированными коэффициентами. 2007. МФТИ.
  13. Артур Коваль. Прогнозирование временных рядов с несимметричным функционалом потерь. 2007. МФТИ.
  14. Александр Ширяев. Выбор опорных множеств в алгоритмах типа вычисления оценок: нейросетевой подход. 2007. ВМК МГУ.
  15. Ирина Лебедева. Об одном методе статистически обоснованного сравнения временных рядов доходности паевых инвестиционных фондов. 2008. МФТИ.
  16. Александр Фрей. О дискретных аппроксимациях непрерывных вероятностных распределений. 2008. МФТИ.
  17. Кирилл Чувилин. Проблема переобучения при отборе признаков по внешним критериям в многомерной линейной регрессии. 2008. МФТИ.
  18. Пётр Цюрмасто. Влияние различности алгоритмов на обобщающую способность метода минимизации эмпирического риска. 2008. МФТИ.
  19. Андрей Бадзян. Комбинаторный аналог неравенства МакДиармида и обобщающая способность стабильных алгоритмов. 2008. МФТИ.
  20. Анастасия Зухба. Метрические алгоритмы классификации с отбором опорных объектов. 2009. МФТИ.
  21. Павел Минаев. Расширенная методика тестирования алгоритмов классификации. 2009. МФТИ.
  22. Алексей Романенко. Адаптивный выбор оптимальной модели временного ряда на основе множества статистических критериев. 2009. МФТИ.
  23. Алексей Куренной. Распознавание цитат в текстовых фрагментах. 2009. ВМК МГУ.
  24. Никита Спирин. Монотонные композиции алгоритмов ранжирования. 2010. МФТИ.
  25. Юрий Янович. Оценивание скрытого профиля компактности в задачах обучения методом ближайшего соседа. 2010. МФТИ.
  26. Алексей Островский. Эмпирическое исследование линейных и монотонных композиций алгоритмов ранжирования. 2010. МФТИ.
  27. Игорь Литвинов. Адаптивные методы квантильной регрессии для прогнозирования временных рядов. 2010. МФТИ.
  28. Евгений Зайцев. Прогнозирование средних скоростей движения в городской автотранспортной сети. 2011. МФТИ.
  29. Никита Животовский. Вероятность большого отклонения частоты ошибок на тестовой выборке от оценки скользящего контроля. 2011. МФТИ.
  30. Александр Мафусалов. Комбинаторные оценки вероятности переобучения пороговых классификаторов. 2011. МФТИ.
  31. Александр Фирстенко. Методы выделения терминов и тематической классификации текстовых документов. 2011. МФТИ.
  32. Михаил Кокшаров. Комбинаторные оценки обобщающей способности на основе попарного сравнения алгоритмов. 2012. МФТИ.
  33. Михаил Бурмистров. Методы оптимизации параметров вероятностных тематических моделей. 2012. МФТИ.
  34. Александр Романенко. Категоризация текстов на основе монотонного классификатора ближайшего соседа. 2012. МФТИ.
  35. Илья Ямщиков. Методы обучаемого ранжирования для поиска релевантных алгоритмов классификации. 2012. МФТИ.
  36. Ильдар Газизов. Проект информационно-аналитической системы для поддержки консультирования по функционально-ролевой модели бизнеса. 2012. МФТИ.
  37. Степан Лобастов. Построение тематической классификации коллекции документов с неизвестным числом тем, презентация. 2013. МФТИ.
  38. Влада Целых. Статистические критерии адекватности вероятностных тематических моделей коллекции текстовых документов, презентация. 2013. МФТИ.
  39. Светлана Цыганова. Выявление несогласованностей в иерархической тематической модели с фиксированной иерархией. 2013. МФТИ.
  40. Александр Бырдин. Классификация текстовых объявлений. 2014. МФТИ.
  41. Сергей Воронов. Фильтрация и тематическое моделирование коллекции научных документов. 2014. МФТИ.
  42. Олег Гринчук. Классификация нестационарного потока текстовых объявлений, презентация. 2014. МФТИ.
  43. Кирилл Неклюдов. Обнаружение аномалий в дискретных временных рядах, презентация. 2014. МФТИ.
  44. Мария Рыскина. Регуляризация вероятностных тематических моделей для повышения устойчивости и интерпретируемости. 2014. МФТИ.
  45. Даниил Яшков. Методы понижения размерности в задаче поиска аномалий в многомерных временных рядах, презентация. 2014. МФТИ.
  46. Андрей Шапулин. Регуляризация вероятностных тематических моделей для классификации символьных последовательностей. 2015. ВМК МГУ.
  47. Михаил Хальман. Методы персонализации показа объявлений в рекламной сети. 2015. ВМК МГУ.
  48. Никита Дойков. Адаптивная регуляризация вероятностных тематических моделей. 2015. ВМК МГУ.
  49. Мурат Апишев. Мультимодальные регуляризованные вероятностные тематические модели. 2015. ВМК МГУ.
  50. Александра Кузнецова. Методы регуляризации для отбора признаков в линейных классификаторах и их применение в банковской клиентской аналитике. 2015. ВШЭ.
  51. Алексей Гринчук. Использование контекстной документной кластеризации для улучшения качества тематических моделей. 2015. МФТИ.
  52. Ирина Ефимова. Формирование однородных обучающих выборок в задачах классификации. 2015. МФТИ.
  53. Андрей Игнатов. Deep Learning in information analysis of electrocardiogram signals for disease diagnostics. 2015. МФТИ.
  54. Анна Липатова. Выделение мультиграммных признаков в задачах классификации символьных последовательностей. 2015. МФТИ.
  55. Анастасия Макарова. Выделение информативных признаков заболеваний в информационном анализе электрокардиосигналов. 2015. МФТИ.
  56. Александр Плавин. Отбор тем в задачах тематического моделирования. 2015. МФТИ.
  57. Михаил Швец. Монотонные классификаторы для задач медицинской диагностики. 2015. МФТИ.
  58. Михаил Шинкевич. Применение коллаборативной фильтрации, активного обучения и навигационной корреляции в задаче выделения селекторов. 2015. МФТИ.

Магистерские диссертации

  1. Юрий Карпов. Имитационная модель торгов. 2003. МФТИ.
  2. Дмитрий Иванцов. Применение алгоритмов бустинга для построения комбинированных инвестиционных стратегий. 2005. МФТИ.
  3. Денис Кочедыков. Разработка, реализация и тестирование специализированной библиотеки логических алгоритмов классификации. 2005. ВМК МГУ.
  4. Александр Кругов. Поиск закономерностей и принятие решений по дискретным временным рядам. 2006. МФТИ.
  5. Дмитрий Житлухин. Персонализированная рубрикация текстовых сообщений. 2007. МФТИ.
  6. Андрей Ивахненко. Методы улучшения обобщающей способности логических алгоритмов классификации. 2007. МФТИ.
  7. Василий Лексин. Технология персонализации на основе выявления тематических профилей пользователей и ресурсов Интернет. 2007. МФТИ.
  8. Фёдор Ульянов. Оценивание обобщающей способности функций близости при оптимизации модели АВО. 2007. МФТИ.
  9. Сергей Ументаев. Проблема переобучения при отборе признаков в линейной регрессии с фиксированными коэффициентами. 2007. МФТИ.
  10. Иван Гуз. Проблема обобщающей способности и оптимизация профиля монотонности в композициях классификаторов. 2008. МФТИ.
  11. Александр Маценов. Профиль разделимости и обобщающая способность линейных композиций классификаторов. 2008. МФТИ.
  12. Геннадий Федонин. Композиции алгоритмов предсказания рейтингов в системах рекомендаций. 2008. МФТИ.
  13. Никита Пустовойтов. Поиск схожих пользователей социальных сетей методами коллаборативной фильтрации. 2009. МФТИ.
  14. Александр Орлов. Комбинаторные оценки вероятности переобучения для случая произвольной заданной матрицы ошибок. 2009. МФТИ.
  15. Артур Коваль. Построение адаптивных композиций алгоритмов прогнозирования при несимметричной функции потерь. 2009. МФТИ.
  16. Ирина Лебедева. Методы повышения обобщающей способности логических алгоритмов классификации. 2010. МФТИ.
  17. Александр Фрей. Точные оценки вероятности переобучения для рандомизированного метода минимизации эмпирического риска. 2010. МФТИ.
  18. Кирилл Чувилин. Проект интеллектуальной системы для автоматизации коррекции документов в формате LaTeX. 2010. МФТИ.
  19. Пётр Цюрмасто. Точные комбинаторные оценки вероятности переобучения для цепочек алгоритмов. 2010. МФТИ.
  20. Анастасия Зухба. Вычислительная сложность задачи отбора опорных объектов в методе ближайших соседей. 2011. МФТИ.
  21. Павел Минаев. Методика тестирования алгоритмов классификации в системе Полигон и её обоснования. 2011. МФТИ.
  22. Алексей Романенко. Методы агрегирования адаптивных алгоритмов прогнозирования. 2011. МФТИ.
  23. Игорь Литвинов. Методы уточнения карты дорог по данным GPS-сигналов автомобилей. 2012. МФТИ.
  24. Никита Спирин. Структурированный поиск с числовыми и логическими ограничениями в неструктурированных Веб-коллекциях. 2012. МФТИ.
  25. Никита Животовский. Концентрация меры в комбинаторных оценках обобщающей способности. 2013. МФТИ.
  26. Виталий Глушаченков. Устойчивость матричных разложений в задачах тематического моделирования. 2013. МФТИ.
  27. Александр Мафусалов. Оценивание вероятности успеха в серии испытаний Бернулли по другой серии при наличии зависимости между вероятностями успеха. 2013. МФТИ.
  28. Николай Савинов. Классификация эмоциональной окраски сообщений в социальных сетях. 2013. МФТИ.
  29. Андрей Романов. Методы упрощения композиций, получаемых при градиентном бустинге. 2013. МФТИ.
  30. Александр Романенко. Применение условных случайных полей в задачах обработки текстов на естественном языке. 2014. МФТИ.
  31. Илья Ямщиков. Математические методы диагностики ишемической болезни по электрокардиограмме сверхвысокого разрешения. 2014. МФТИ.
  32. Влада Целых. Статистические обоснования информационного анализа электрокардиосигналов для диагностики заболеваний внутренних органов. 2015. МФТИ.
  33. Светлана Цыганова. Применение тематической модели классификации в информационном анализе электрокардиосигналов. 2015. МФТИ.
  34. Василий Бунаков. Методы нечёткого кодирования в информационном анализе электрокардиосигналов. 2015. МФТИ.
  35. Сергей Стенин. Мультиграммные аддитивно регулязированные тематические модели. 2015. МФТИ
  36. Дмитрий Аникушин. Использование вероятностных тематических моделей для персонализации показов рекламы. 2015. ФИВТ МФТИ.
  37. Дмитрий Гронский. Аддитивная регуляризация тематических моделей для задачи классификации символьных последовательностей. 2015. ФИВТ МФТИ.
  38. Корилл Остапенко. Выявление случаев мошенничества в онлайн-играх методами машинно-го обучения. 2015. ФИВТ МФТИ.

Дипломные работы

  1. Максим Янпольский. Идентификация инвестиционных стратегий участников биржевых торгов. 2002. ВМК МГУ.
  2. Александр Киселев. Классификация участников биржевого рынка по близости к стратегиям технического анализа. 2003. ВМК МГУ.
  3. Андрей Липасти. Метрические алгоритмы анализа биржевых стратегий и поведения участников торгов. 2003. ВМК МГУ.
  4. Денис Старых. Алгоритмы генерации сигналов в потоке торговых данных. 2003. ВМК МГУ.
  5. Денис Якубенков. Применение методов распознавания при построении и настройке имитационной модели биржевых торгов. 2003. ВМК МГУ.
  6. Екатерина Егорова. Сравнительный анализ методов алгебраической коррекции для одного класса алгоритмов прогнозирования. 2005. ВМК МГУ.
  7. Даниил Каневский. Генетические алгоритмы синтеза локальных базисов в алгебраическом подходе к проблеме распознавания. 2005. ВМК МГУ.
  8. Алексей Колосков. Применение комбинаторных оценок обобщающей способности для повышения качества метрических алгоритмов классификации. 2005. ВМК МГУ.
  9. Дмитрий Соколов. Сравнительный анализ обобщающей способности логических алгоритмов классификации. 2005. ВМК МГУ.
  10. Людмила Романюха. Логические алгоритмы классификации в задачах кредитного скоринга и оценка риска кредитного портфеля банка. 2006. ВМК МГУ.
  11. Ирек Ахуньянов. Применение модифицированного метода опорных векторов для построения метрических классификаторов. 2008. ВМК МГУ.
  12. Андрей Венжега. Отбор информативных признаков на выборках небольшой длины в задаче линейной регрессии с фиксированными ко-эффициентами. 2009. ВМК МГУ.
  13. Максим Иванов. Эффективные метрические алгоритмы классификации на основе оптимизации профиля компактности. 2009. ВМК МГУ.
  14. Алексей Медведев. Обобщающая способность логических закономерностей. 2009. ВМК МГУ.
  15. Варвара Цурко. Логические алгоритмы классификации: проблема переобучения и применение в задачах медицинской диагностики. 2009. ВМК МГУ.
  16. Григорий Чижик. Распознавание скрытых профилей пользователей и ресурсов в анализе клиентских сред. 2009. ВМК МГУ.
  17. Алексей Гуков. Оценки вероятности переобучения для некоторых связных семейств алгоритмов. 2010. ВМК МГУ.
  18. Алина Карпинская. Методы построения неполносвязных нейронных сетей и их приложения в задачах прогнозирования. 2010. ВМК МГУ.
  19. Василий Ломакин. Поиск взаимосвязей во временных рядах продаж. 2010. ВМК МГУ.
  20. Илья Решетняк. Комбинаторные оценки вероятности переобучения, учитывающие эффекты расслоения и связности в семействах алгоритмов. 2010. ВМК МГУ.
  21. Илья Толстихин. Оценки обобщающей способности и применение логических алгоритмов классификации в задаче распознавания вторичной структуры белка. 2010. ВМК МГУ.
  22. Александр Ерошенко. Применение оценок обобщающей способности в алгоритмах построения решающих деревьев. 2011. ВМК МГУ.
  23. Мария Когадеева. Математическая модель данных микрочипов ДНК и методы оценки её параметров. 2011. ВМК МГУ.
  24. Жанна Кожахметова. Построение карты дорог по данным о треках автотранспортных средств. 2011. ВМК МГУ.
  25. Юрий Логачёв. Методы ранжирования в задаче текстовой релевантности. 2011. ВМК МГУ.
  26. Елена Полежаева. Инкрементные матричные разложения в задачах коллаборативной фильтрации. 2011. ВМК МГУ.
  27. Алёна Шевцова. Отбор информативных признаков в задачах медицинской диагностики. 2011. ВМК МГУ.
  28. Александр Колесников. Прогнозирование вероятности кликов на новые рекламные объявления. 2012. ВМК МГУ.
  29. Дмитрий Солодкин. Выявление закономерностей научного цитирования на основе вероятностных тематических моделей. 2012. ВМК МГУ.
  30. Марина Дударенко. Методы предсказания информативности логических закономерностей. 2012. ВМК МГУ.
  31. Ольга Исупова. Выявление тематических связей между документами методами латентного семантического анализа. 2012. ВМК МГУ.
  32. Шаура Ишкина. Вероятность переобучения прямых цепей алгоритмов классификации. 2013. Мехмат МГУ.
  33. Мария Василевская. Алгоритмы построения разреженных тематических моделей. 2013. Мехмат МГУ.
  34. Кирилл Гаврилюк. Методы построения иерархических тематических моделей коллекции текстовых документов. 2013. ВМК МГУ.
  35. Валентин Полежаев. Обучаемые методы извлечения наукометрической информации из коллекций научных публикаций. 2013. ВМК МГУ.
  36. Евгений Соколов. Комбинаторные оценки обобщающей способности и их применение для построения композиций линейных классификаторов. 2013. ВМК МГУ.
  37. Иван Шанин. Методы анализа электрокардиограмм для ранней диагностики ишемической болезни. 2013. ВМК МГУ.
  38. Анна Потапенко. Лингвистическая регуляризация вероятностных тематических моделей. 2014. ВМК МГУ.
  39. Андрей Шадриков. Алгоритмы неотрицательных матричных разложений для тематического моделирования. 2015. ВМК МГУ.

Кандидатские диссертации

  1. Андрей Ивахненко. Комбинаторные оценки вероятности переобучения и их применение в логических алгоритмах классификации. МФТИ. 2010.
  2. Иван Гуз. Комбинаторные оценки полного скользящего контроля и методы обучения монотонных классификаторов. ВЦ РАН. 2011.
  3. Денис Кочедыков. Оценки обобщающей способности на основе характеристик расслоения и связности семейств функций. ВЦ РАН. 2011.
  4. Павел Ботов. Оценки вероятности переобучения многомерных семейств алгоритмов классификации. ВЦ РАН. 2011.
  5. Василий Лексин. Вероятностные модели в анализе клиентских сред. ВЦ РАН. 2011.
  6. Павел Кудинов. Адаптивные методы извлечения информации из статистических таблиц, представленных в текстовом виде. ВЦ РАН. 2012.
  7. Кирилл Чувилин. Автоматический синтез правил коррекции текстовых документов формата LaTeX. ВЦ РАН. 2013.
  8. Александр Фрей. Теоретико-групповой подход в комбинаторной теории переобучения. ВЦ РАН. 2013.
  9. Илья Толстихин. Неравенства концентрации вероятностной меры в трансдуктивном обучении и PAC-Байесовском анализе. ВЦ РАН. 2014.
  10. Евгений Рябенко. Выбор функций потерь в задачах неотрицательного матричного разложения. ВЦ РАН. 2014.

Cсылки

Мои подстраницы

Vokov/CVVokov/Publications
Vokov/Вики-ресурс MachineLearning.RU: концепция и перспективы
Vokov/Иллюзия простоты выбораVokov/Интервью для InTalent.proVokov/Интервью для Кота Шрёдингера 2017-10-04
Vokov/Интервью для Новой газеты 2019-02-25Vokov/Интервью для ПостНауки 2017-09-27Vokov/Интервью для РИА Новости 2020-05-25
Vokov/Комбинаторная статистика
Vokov/НаучпопVokov/Некоторые задачи интеллектуального анализа данных (лекция)
Vokov/ПесочницаVokov/Планы по развитию MachineLearning.RUVokov/Публикации

Написать письмо К.В.Воронцову.

Источник — «http://machinelearning.ru/wiki/index.php?title=%D0%A3%D1%87%D0%B0%D1%81%D1%82%D0%BD%D0%B8%D0%BA:Vokov»
Личные инструменты