Участник:Vokov

Материал из MachineLearning.

Версия 12:11, 8 октября 2011

Воронцов Константин Вячеславович д.ф.-м.н. Зам. директора по науке ЗАО «Форексис», www.forecsys.ru. С.н.с. Вычислительного центра РАН. Зам. зав. каф. «Интеллектуальные системы» ФУПМ МФТИ. Доц. каф. «Математические методы прогнозирования» ВМиК МГУ. Преподаватель Школы анализа данных Яндекс. Один из идеологов и Администраторов ресурса MachineLearning.RU. Прочие подробности — на подстранице Curriculum vitæ. Мне можно написать письмо.

Учебные материалы

Курсы лекций

• Математические методы обучения по прецедентам (машинное обучение) — годовой курс, кафедра «Интеллектуальные системы» ФУПМ МФТИ и кафедра ММП ВМиК МГУ.
• Теория надёжности обучения по прецедентам — спецкурс, кафедра ММП ВМиК МГУ.
• Прикладной статистический анализ данных — семестровый курс, кафедра ММП ВМиК МГУ; альтернативный семестровый курс, ФУПМ МФТИ.

Семинары

• Задачи анализа данных в бизнес-аналитике (семинар К. В. Воронцова)
• Семинар К. В. Рудакова — регулярный не виртуальный семинар (следите за объявлениями!)
• Расслоение и сходство алгоритмов (виртуальный семинар)
• Анализ клиентских сред и коллаборативная фильтрация (виртуальный семинар)

Рекомендации для студентов и аспирантов

• Научно-исследовательская работа (рекомендации)
• Написание отчётов и статей (рекомендации)
• Подготовка презентаций (рекомендации)
• Защита выпускной квалификационной работы (рекомендации)
• Требования к кандидатской диссертации
• Обзорные статьи на английском языке — рекомендуется студентам младших курсов в качестве текстов по специальности

Методические рекомендации для преподавателей

• MachineLearning:Учебный процесс
• Преподавание машинного обучения
• Коллекция учебных задач

Выступления на конференциях и семинарах

• 12 сентября 2011. Комбинаторная теория переобучения и поиск логических закономерностей. Доклад на конференции ММРО-15, Петрозаводск. (PDF, 1403 КБ).
• 27,29 июня 2011. Recent Advances on Generalization Bounds. Tutorial. International conference PReMI-2011 Part 1 (PDF, 1.0 MБ), Part 2 (PDF, 1.5 MБ). Tight Combinatorial Generalization Bounds for Threshold Conjunction Rules (PDF, 0.6 MБ, на английском).
• 12 января 2011. Интеллектуальный анализ данных и объектно-ориентированное программирование. Лекция на Зимней компьютерной школе 2011, МФТИ. (PDF, 960 КБ).
• 7 ноября 2010. Generalization bounds based on the splitting and connectivity properties of a set of classifiers. International conference PRIA-10 (PDF, 1.4 MБ, на английском).
• 20 октября 2010. Точные комбинаторные оценки обобщающей способности онлайнового обучения. Конференция ИОИ-8 (PDF, 400 KБ).
• 18 октября 2010. Комбинаторный подход к выводу точных оценок вероятности переобучения. Конференция ИОИ-8 (PDF, 1.2 MБ).
• 22 апреля 2010. Комбинаторная теория надёжности обучения по прецедентам. Защита докторской диссертации. (PDF, 1760 КБ). Учёный совет квалифицировал работу как новое направление в теории статистического обучения.
• 3 марта 2010. Интеллектуальный анализ данных и распознавание образов. Теоретические и практические проблемы. Доклад на семинаре «Глобальные изменения климата» (руководители академик Г.И.Марчук, академик В.П.Дымников), Москва, ИВМ. (PDF, 828 КБ).
• 13 января 2010. Задачи и методы машинного обучения. Лекция на Зимней компьютерной школе 2010, МФТИ. (PDF, 1023 КБ).
• 22 сентября 2009. Комбинаторный подход к проблеме переобучения. Доклад на конференции ММРО-14, Суздаль. (PDF, 1106 КБ).
• 27 июля 2009. Методы машинного обучения, основанные на индукции правил (логические методы классификации). Доклад на семинаре Знания и онтологии ELSEWHERE, Москва, ВШЭ. (PDF, 1202 КБ).
• 10 ноября 2008. Методы коллаборативной фильтрации и их применение. Выступление на семинаре Б.Г.Миркина, ВШЭ. (PDF, 1083 КБ).
• 17 сентября 2008. Пути повышения точности оценок обобщающей способности (комбинаторный подход). Пленарный доклад на международной конференции РОАИ-9-2008, Нижний Новгород. Презентация на английском (PDF, 846 КБ), на русском (PDF, 844 КБ), тезисы доклада на русском (PDF, 243 КБ).
• 17 сентября 2008. Презентация ресурса www.MachineLearning.ru в рамках международной конференции РОАИ-9-2008, Нижний Новгород. (PDF, 285 КБ, на английском).
• 13 июня 2008. Вики-ресурс MachineLearning.RU: концепция и перспективы, круглый стол в рамках конференции ИОИ-2008, Крым, Алушта. (PDF, 198 КБ).
• 12 июня 2008. Слабая вероятностная аксиоматика, оценки надёжности эмпирических предсказаний, расслоение и различность алгоритмов. Конференция ИОИ-2008, Крым, Алушта. (PDF, 950 КБ)
• 28 апреля 2008. О некоторых задачах интеллектуального анализа данных — одна лекция в рамках курса «Современные проблемы прикладной математики» для студентов 5 курса ВМиК МГУ. (PDF, 764Кб).
• 28 апреля 2008. Ломоносовские чтения 2008. Оценки надёжности эмпирических предсказаний (комбинаторный подход). (PDF, 804 КБ).
• 20 august 2007. 7th Open German/Russian Workshop (OGRW-7) on Pattern Recognition and Image Understanding, Ettlingen, Germany. Combinatorial Approach to Generalization Bounds Tightening. (PDF, 1895 KБ, на английском).
• 5 ноября 2005. ММРО-12. Измерение локальной эффективной функции роста в задачах поиска логических закономерностей. (PDF, 285 КБ), вместе с речью — (PDF, 308 КБ).

Научные интересы

Всё, что скрывается за терминами «интеллектуальный анализ данных» (data mining) и «машинное обучение» (machine learning): распознавание образов, прогнозирование, математическая статистика, дискретная математика, численные методы оптимизации, а также практический анализ данных в разнообразных областях (экономика, медицина, техника, биоинформатика, интернет).

Теория обобщающей способности

Основная статья: Комбинаторная теория переобучения

Проблема обобщающей способности является ключевой и в то же время наиболее сложной в машинном обучении. Её даже выделяют в отдельную дисциплину — теорию вычислительного обучения. Если алгоритм, восстанавливающий некоторую неизвестную зависимость, построен по конечной обучающей выборке прецедентов, то как предсказать качество его работы на контрольной выборке, состоящей из новых прецедентов? Почему это вообще возможно? Как надо обучать алгоритм, чтобы он редко ошибался на новых данных?

Активное исследование этих вопросов началось в конце 60-х, когда В.Н.Вапник и А.Я.Червоненкис предложили статистическую теорию восстановления зависимостей по эмпирическим данным (VC theory) и получили верхние оценки вероятности ошибки обученного алгоритма (VC-bounds). Эти оценки позволили обосновать давно замеченный эмпирический факт: по мере увеличения сложности используемого семейства алгоритмов качество обучения сначала улучшается, затем начинает ухудшаться. Ухудшение связано с эффектом переобучения. Если алгоритм имеет избыточное число параметров («степеней свободы»), то он может слишком точно настроиться на конкретную обучающую выборку в ущерб качеству восстановления зависимости в целом. В теории Вапника-Червоненкиса разработан метод структурной минимизации риска (СМР), позволяющий автоматически находить модель оптимальной сложности. К сожалению, оценки вероятности ошибки чрезвычайно завышены (осторожны, пессимистичны), что может приводить к переупрощению модели в методе СМР. Несмотря на 40-летние усилия многих ученых и существенное усложнение математического аппарата, точные оценки до сих пор не были получены.

Комбинаторная теория переобучения — это принципиально новый подход, основанный на слабой вероятностной аксиоматике, впервые позволивший получить точные (не завышенные, не асимптотические) комбинаторные оценки вероятности переобучения и показать ключевую роль эффектов расслоения и сходства в семействах алгоритмов. Пока что точные оценки получены лишь для ряда модельных семейств алгоритмов, обладающих некоторой регулярной структурой. Для реальных смейств удалось получить верхние оценки расслоения-связности — SC-оценки (splitting and connectivity bounds). Они завышены в разы, тогда как VC-оценки завышены на 5–8 порядков. Для некоторых модельных семейств SC-оценки являются точными. Тем не менее, проблемы остаются, и дело не только в завышенности оценок. Во-первых, SC-оценки могут быть ненаблюдаемыми, то есть в них могут входить некоторые функции от скрытых контрольных данных. Эти функции вполне можно оценивать по наблюдаемым обучающим данным, но это дополнительная работа. Во-вторых, SC-оценки могут быть вычислительно неэффективными и требовать неадекватно больших затрат памяти и времени. Получение приближённых или асимптотических SC-оценок гарантированной точности также является отдельной работой.

Пока имеется лишь два примера практического применения комбинаторных оценок обобщающей способности:

• Модификация критериев информативности для уменьшения переобучения конъюнктивных закономерностей в логических алгоритмах классификации (Андрей Ивахненко).
• Эффективный алгоритм отбора эталонных объектов в методе ближайших соседей (Максим Иванов).

Основная цель дальнейших исследований — доведение комбинаторной теории переобучения до уровня практической применимости.

Основные направления дальнейших исследований:

• разработка математической техники для перехода от ненаблюдаемых оценок к наблюдаемым (возможно, как на основе комбинаторики, так и на основе теории концентрации вероятностной меры);
• исследование комбинаторно-статистических свойств графа расслоения-связности модельных и реальных семейств алгоритмов.
• получение оценок вероятности переобучения через наблюдаемый профиль расслоения-связности;
• разработка эффективных методов оценивания нижних слоёв профиля расслоения-связности в конкретных методах обучения;
• разработка логических алгоритмов классификации с управляемой переобученностью логических закономерностей;
• развитие понятия «плотности» семейства алгоритмов и изучение возможности аппроксимации «плотных» семейств их «разреженными» подсемействами малой мощности;
• развитие понятия «комбинаторного отступа» и его использование для повышения обобщающей способности линейных классификаторов;
• развитие понятия локальной радемахеровской сложности для более аккуратного учёта эффектов расслоения и сходства;
• обобщение понятий расслоения и сходства алгоритмов для непрерывных функций потерь;
• разработка эффективных метрических алгоритмов классификации на основе комбинаторных оценок полного скользящего контроля;
• исследование связи профилей компактности с функциями конкурентного сходства;
• разработка методики тестирования и анализа обобщающей способности для «Полигона алгоритмов классификации».

'Публикации:

• Воронцов, К. В. Комбинаторная теория надёжности обучения по прецедентам: Дис. док. физ.-мат. наук: 05-13-17. — Вычислительный центр РАН, 2010. — 271 с.  (подробнее)

Лучшее изложение с добавлением последних результатов:

• Воронцов К. В. Теория надёжности обучения по прецедентам. Курс лекций ВМК МГУ и МФТИ. 2011.

Ключевые слова: overfitting, generalization bounds, computational learning theory, Vapnik-Chervonenkis theory, local Rademacher complexity.

Комбинаторная (перестановочная) статистика

Основная статья: Слабая вероятностная аксиоматика

Это направление логично вытекает из предыдущего и является его обобщением. Оказывается, многие фундаментальные факты теории вероятностей и математической статистики можно переформулировать и доказать, не опираясь на колмогоровскую аксиоматику, то есть не используя теорию меры, и даже не употребляя само понятие вероятности. В задачах анализа данных мы всегда имеем дело с выборками конечной длины. Поэтому естественно ставить вопрос не «какова вероятность события?», а «какой может быть частота этого события на скрытых (пока еще не известных) данных?». Ответы на эти два вопроса, вообще говоря, различны, причем на выборках малой длины различие существенно. Вероятность события — абстрактная идеализированная величина. Частота события — это как раз то, что реально измеряется в эксперименте. Именно её и имеет смысл оценивать (предсказывать).

Слабая вероятностная аксиоматика основана на одной единственной аксиоме: рассматривается конечная выборка неслучайных объектов, которые появляются в случайном порядке, причём все перестановки равновероятны. Событие — это бинарная функция на множестве всех перестановок выборки. Вероятность события определяется как доля перестановок выборки, при которых эта бинарная функция принимает единичное значение (т.е. событие имеет место).

В слабой аксиоматике удаётся переформулировать значительную часть фундаментальных результатов теории вероятностей и математической статистики, оносящихся к конечным выборкам независимых наблюдений. В их числе: закон больших чисел, закон сходимости эмпирических распределений (критерий Смирнова), многие непараметрические, ранговые и перестановочные статические критерии, теория обобщающей способности, теория информации. Во многих случаях получаемые оценки являются точными, т.е. не асимптотическими и не завышенными. Многие результаты сильно упрощаются, освобождаясь от второстепенных технических усложнений, связанных с теорией меры. Например, отпадает необходимость введения различных типов сходимости.

Основные направления исследований:

• выяснение границ применимости слабой вероятностной аксиоматики;
• точные (комбинаторные) статистические тесты;
• эффективные алгоритмы вычисления комбинаторных оценок;
• исследование других вероятностных предположений, кроме равновероятности всех перестановок;
• множественное тестирование статистических гипотез и его связь с проблемой переобучения.

Ключевые слова: exchangeability, permutational statistics, concentration of probability measure.

Алгоритмические композиции

Основная статья: Композиция алгоритмов

Алгоритмические композиции применяются в сложных задачах, когда имеющиеся базовые алгоритмы не дают желаемого качества обучения. В таких случаях строят композиции алгоритмов, стараясь, чтобы ошибки различных алгоритмов скомпенсировали друг друга.

Самый простой пример композиции — усреднение ответов, выдаваемых базовыми алгоритмами. Можно усреднять с весами. Можно выделять области компетентности различных алгоритмов, и в каждой области использовать свое распределение весов. Можно строить композиции алгоритмов с помощью нелинейных операций. Какой из этих методов лучше? В каких задачах? Как обучать базовые алгоритмы, учитывая, что они будут работать не по-отдельности, а в составе композиции? Можно ли приспособить для этого стандартные методы обучения? Как оценивать и целенаправленно улучшать обобщающую способность композиции? Как при этом сделать число алгоритмов в композиции поменьше?

Идея алгоритмических композиций была выдвинута в середине 70-х годов в работах академика РАН Ю.И.Журавлева. В зарубежных исследованиях это тема стала чрезвычайно популярной в 90-е годы, после изобретения алгоритмов бустинга, бэггинга, смесей экспертов и других композитных конструкций.

Основные направления исследований:

• разработка эффективных алгоритмов построения композиций;
• повышение обобщающей способности композиций;
• композиции логических закономерностей;
• монотонная коррекция классификаторов на основе комбинаторных оценок полного скользящего контроля.
• композиции алгоритмов ранжирования;
• композиции алгоритмов прогнозирования;
• сравнительный анализ различных методов построения композиций.

Ключевые слова: multiple classifier systems, ensemble learning, classifier fusion, mixture of experts.

Анализ клиентских сред и коллаборативная фильтрация

Основная статья: Анализ клиентских сред

Анализ клиентских сред (АКС) является относительно новой и быстро развивающейся областью интеллектуального анализа данных (data mining). В современном бизнесе чрезвычайно востребовано решение следующей задачи, точнее даже группы задач.

Имеется некоторый набор ресурсов (товаров, услуг, предметов), которыми пользуется огромное количество клиентов. Все действия пользователей протоколируются в электронном виде. Эти данные содержат ценнейшую информацию, необходимую для повышения качества оказываемых услуг, однако извлечь её не так просто ввиду огромного объема данных. Какие ресурсы наиболее популярны, и среди каких групп клиентов? Возможно ли угадать интересы клиента и сформировать для него персональное предложение, от которого он с высокой вероятностью не откажется? Как выявить клиентов, собирающихся в ближайшее время отказаться от обслуживания? Эти и другие задачи решаются в системах управления взаимоотношениями с клиентами (client relationship management, CRM). Создание математического обеспечения для них является актуальной наукоемкой задачей.

Один из типичных примеров клиентской среды — интернет-портал, предоставляющий доступ к большому количеству ресурсов, скажем, интернет-магазин или поисковый сервер. Технология АКС позволяет решать задачи персонализации контента — когда результаты поиска, информационные каталоги, предложения товаров и услуг, и т.д. выстраиваются в таком порядке, чтобы пользователю легче было находить информацию, необходимую именно ему, именно в данный момент.

Основные направления исследований:

• создание полигона алгоритмов коллаборативной фильтрации;
• разработка эффективных алгоритмов АКС и коллаборативной фильтрации, позволяющих строить иерархические, разреженные, интерпретируемые профили клиентов и ресурсов в условиях динамичного потока исходных данных;
• обобщающая способность алгоритмов матричного разложения;
• решение задач персонализации;
• разработка рекомендующих систем.

Ключевые слова: collaborative filtering, recommender systems, personalization, web mining, web usage mining, client relationship management, matrix factorization, probabilistic latent semantic indexing.

Адаптивное обучение

Основная статья: Адаптивное обучение

В реальных приложениях всё чаще возникает потребность в алгоритмах классификации и прогнозирования, динамически адаптирующихся к потоку поступающих данных. Если в классической постановке задачи обучающая выборка предполагается фиксированной, независимой, взятой из не меняющегося распределения, то в задачах адаптивного (динамического, оналайнового) обучения объекты поступают в некотором порядке, изменить который нельзя, при этом независимости может не быть, а распределение может меняться со временем. В этих условиях также хотелось бы иметь адекватную теорию обобщающей способности. Однако на практике, как правило, ограничиваются эмпирическими оценками.

Основные направления исследований:

• адаптивные алгоритмы классификации и прогнозирования;
• исследование возможности переноса комбинаторной теории переобучения на случай адаптивного обучения;
• интеллектуальная автоматизация обработки текстовой информации при участии эксперта.
• онлайновые логические алгоритмы классификации;
• динамическая оптимизация инвестиционного портфеля;

Ключевые слова: online learning, incremental learning, adaptive learning, reinforcement learning.

Прогнозирование объёмов продаж

Основная статья: Прогнозирование объёмов продаж

Задачи прогнозирования объёмов продаж в сетях супермаркетов характеризуются огромным количеством временных рядов, фактической невозможностью использования классических ресурсоёмких методов прогнозирования, несимметричностью функции потерь, разнородностью и нестационарностью временных рядов, наличием пропусков и неточностей в данных, возможностью привлечения дополнительной информации о структуре ассортимента, географии продаж, ценах, промо-акциях и поведении конкурентов.

Основные направления исследований:

• адаптивные методы краткосрочного прогнозирования при несимметричной функции потерь;
• адаптивные композиции алгоритмов прогнозирования при несимметричной функции потерь;
• адаптивные методы прогнозирования плотности распределения;
• адаптивные методы квантильной регрессии;
• поиск взаимозаменяемых товаров, анализ и прогнозирование каннибализации брендов.

Ключевые слова: sales forecast, density forecast, forecasting under asymmetric loss.

Биоинформатика

Основная статья: Биоинформатика

Основные направления исследований:

• сравнение и кластеризация белков;
• распознавание вторичной структуры белка по первичной;
• обработка данных ДНК-микрочипов.

Другие проекты

• Полигон алгоритмов классификации
• Полигон алгоритмов коллаборативной фильтрации
• Similarity Miner (виртуальный семинар)
• Улучшение сканированного текста (виртуальный семинар)
• Оценивание дискретных распределений при дополнительных ограничениях на вероятности некоторых событий (виртуальный семинар)

Публикации

Только неустаревшее:

• Воронцов К. В. LaTeX2e в примерах. — 2005. — 56 c.
• Воронцов К. В. Теория обучения машин. Первый семестр. Курс лекций ВМК МГУ и МФТИ. 2011.
• Воронцов К. В. Теория надёжности обучения по прецедентам. Курс лекций ВМК МГУ и МФТИ. 2011.

Всё остальное:

• Список публикаций, более полный, но реже обновляемый.

Софт

• ChartLib — ChartLib (документация)

Библиотека деловой и научной графики. Удобный инструмент для аналитических исследований, генерации графиков в Internet, подготовки отчетов, выполнения курсовых и дипломных работ, встраивания графиков в приложения на Delphi и C#. Имеет собственный формат входных данных CHD (CHart Description), позволяющий описывать как таблицы данных, так и внешний вид графика. Поддерживается более 150 команд, более 50 свойств точек графика, имеется встроенный калькулятор арифметических выражений. Графики могут быть выведены в окно прикладной программы, на принтер, в буфер обмена, в файлы графических форматов BMP, EMF, PNG, JPEG, GIF. Имеется программа chdView.exe для просмотра CHD-файлов.

Планы по развитию MachineLearning.RU

Сильно недописанные статьи

• Интеллектуальный анализ данных
• Решающее дерево
• Переобучение
• Выборка
• Коллаборативная фильтрация
• Прогнозирование плотности

Немного недописанные статьи

• Обучение с учителем
• Машинное обучение
• Модель зависимости
• Алгоритм обучения = Метод обучения
• Классификация
• Скользящий контроль = Кросс-валидация = CV
• Теория Вапника-Червоненкиса
• Наивный байесовский классификатор
• Линейный классификатор
• Логическая закономерность
• LaTeX
• BibTeX

Статьи, нуждающиеся в доработке

• Персептрон

Базовые понятия

• Категория:Машинное обучение и статья Машинное обучение
• Обучение по прецедентам = Машинное обучение
• Обучение с учителем
• Обучение без учителя
• Категория:Классификация
• Классификация = Дискриминантный анализ
• Объект = Прецедент
• Признак
• Признаковое описание
• Шкала измерения
• Выборка = Обучающая выборка
• Алгоритм обучения = Метод обучения
• Модель алгоритмов = Модель зависимости
• Корректный алгоритм
• Функция потерь
• Эмпирический риск = Минимизация эмпирического риска = ERM
• Максимум правдоподобия = Метод максимума правдоподобия = Максимизация правдоподобия = Правдоподобие

Статистика

• Категория:Прикладная статистика
• Категория:Статистические тесты
• Категория:Параметрические статистические тесты
• Категория:Непараметрические статистические тесты
• Прикладная статистика
• Проверка статистических гипотез
• Статистика (функция выборки)
• Статистический критерий = Статистический тест
• Уровень значимости = Значимость
• Нулевая гипотеза
• P-Value = пи-величина = пи-значение
• Квантиль
• Критерий Стьюдента
• Вариационный ряд
• Критерий Уилкоксона-Манна-Уитни = Критерий Манна-Уитни = Критерий Уилкоксона = Критерий Вилкоксона
• Критерий знаков
• Коэффициент эксцесса
• Коэффициент асимметрии
• Критерий однородности
• Критерий согласия
• Критерий Колмогорова-Смирнова
• Критерий хи-квадрат
• Точный тест Фишера

Теория вычислительного обучения

• Категория:Теория вычислительного обучения
• Теория статистического обучения = Теория вычислительного обучения = COLT
• Контрольная выборка
• Тестовая выборка
• Эмпирическое предсказание
• Обобщающая способность = Переобучение = Переподгонка = Оверфиттинг = Overfitting
• Теория Вапника-Червоненкиса
• Функция роста = Коэффициент разнообразия = Shattering
• Ёмкость = Размерность Вапника-Червоненкиса = VC-dimension = VCdim
• Структурная минимизация риска
• Минимум длины описания = MDL
• Сложность выборки
• Скользящий контроль = Кросс-валидация = CV
• Информационный критерий Акаике = Критерий Акаике = AIC
• Байесовский информационный критерий = BIC

Байесовская теория классификации

• Категория:Байесовская теория классификации
• Байесовский классификатор = Оптимальный байесовский классификатор
• Восстановление распределения вероятностей
• Наивный байесовский классификатор
• Линейный дискриминант Фишера
• Смесь вероятностных распределений = Разделение смеси распределений = Расщепление смеси распределений
• EM-алгоритм
• Метод радиальных базисных функций = Сеть радиальных базисных функций = RBF
• Метод парзеновского окна = Парзеновское окно = Окно Парзена

Классификация на основе сходства

• Категория:Метрические алгоритмы классификации (классификация на основе сходства, similarity-based classification)
• Гипотеза компактности
• Матрица расстояний
• Метрика = Функция расстояния = Сходство
• Метод ближайших соседей = kNN
• Метод потенциальных функций
• Метод радиальных базисных функций = Сеть радиальных базисных функций = RBF
• Метод парзеновского окна = Парзеновское окно = Окно Парзена
• Проклятие размерности
• CBR = Case based reasoning = Рассуждение на основе прецедентов (?)
• Алгоритм STOLP
• Алгоритм FRiS-STOLP, функция конкурентного сходства

Классификация на основе разделимости

• Линейный классификатор, Категория:Линейные классификаторы
• Машина опорных векторов = Метод опорных векторов = SVM
• Логистическая регрессия
• Ядро
• Отступ = Зазор
• Распределение отступов

Байесовский вывод

• Категория:Байесовский вывод
• Байесовский вывод
• Метод релевантных векторов = RVM
• Байесовская сеть

Нейронные сети

• Категория:Нейронные сети
• Нейронная сеть = ANN
• Модель МакКаллока-Питтса
• Персептрон = Перцептрон = Персептрон Розенблатта = Перцептрон Розенблатта
• Задача XOR
• Однослойный персептрон = Однослойный перцептрон
• Многослойный персептрон = Многослойный перцептрон
• Метод стохастического градиента
• Метод обратного распространения ошибки = Backpropagation = Backprop
• Сокращение весов = Редукция весов(?) = Weight decay
• Проблема паралича = Паралич сети
• Оптимальное прореживание нейронных сетей = OBD = Оптимальное усечение сети(?) = Оптимальное упрощение сети(?)
• Оптимальная хирургия мозга(?) = OBS (??)
• Конкурентное обучение
• Нейронная сеть Кохонена = Сеть Кохонена
• Самоорганизующаяся карта Кохонена = Карта Кохонена = SOM
• Сеть встречного распространения
• Ассоциативная память
• Сеть Гроссберга
• Сеть Хопфилда
• Сеть Хэмминга

Логические алгоритмы классификации

• Категория:Логические алгоритмы классификации
• Логическая закономерность
• Статистическая закономерность
• Информативность
• Индукция правил
• Ассоциативные правила = правила ассоциации
• Решающий список
• Решающее дерево
• Дерево регрессии
• Критерий ветвления
• Решающий лес
• Редукция решающего дерева = Постредукция = Предредукция
• Алгоритм вычисления оценок
• Тестовый алгоритм
• Принцип частичной прецедентности

Кластерный анализ

• Категория:Кластеризация
• Кластеризация = Кластерный анализ
• Кластер
• Графовые алгоритмы кластеризации
• Кратчайший незамкнутый путь = Минимальное остовное дерево
• Статистические алгоритмы кластеризации
• Алгоритм ФОРЕЛЬ
• Алгоритм k средних = k-means
• Иерархическая кластеризация
• Таксономия
• Дендрограмма
• Нейронная сеть Кохонена = Сеть Кохонена
• Ансамбль кластеризаторов
• Многомерное шкалирование = MDS
• Диаграмма Шеппарда
• Карта сходства
• Сегментация

Корреляционный анализ и регрессия

• Категория:Регрессия
• Регрессия = Регрессионный анализ
• Линейная регрессия
• Шаговая регрессия
• Криволинейная регрессия
• Корреляция
• Ранговая корреляция
• Корреляционный анализ
• Метод наименьших квадратов
• Мультиколлинеарность
• Обобщенная линейная модель = GLM
• Коррелограмма

Прогнозирование

• Категория:Прогнозирование
• Прогнозирование
• Временной ряд
• Авторегрессия
• Скользящее среднее
• ARIMA
• ARMA
• GARCH

Сокращение размерности

• Категория:Сокращение размерности
• Селекция признаков
• Синтез признаков = Извлечение признаков
• Метод главных компонент = PCA
• Метод независимых компонент = ICA
• Шаговая регрессия = AddDel = Add-Del
• Лассо
• LARS
• Метод группового учета аргументов = МГУА
• Самоорганизация моделей
• Внутренний критерий
• Внешний критерий
• Генетический алгоритм
• Эволюционный алгоритм
• Случайный поиск
• Стохастический локальный поиск = Локальный стохастический поиск = Локальный случайный поиск = Случайный локальный поиск = SLS
• Случайный поиск с адаптацией = СПА
• Комбинаторный взрыв

Алгоритмические композиции

• Категория:Композиции алгоритмов = Алгоритмические композиции
• Композиция алгоритмов = Алгоритмическая композиция
• Ансамбль алгоритмов
• Базовый алгоритм
• Метод комитетов
• Бустинг
• Бэггинг
• Метод случайных подпространств = RSM
• Смесь экспертов = Смесь алгоритмов = ME
• Область компетентности
• Алгебраический подход к проблеме распознавания
• Теория универсальных и локальных ограничений
• Алгоритмический оператор
• Корректирующая операция
• Решающее правило

Предварительный анализ данных

• Категория:Предварительный анализ данных
• Предварительный анализ данных = Разведочный анализ данных
• Нормальзация данных
• Визуализация данных
• Понимание данных

Projection pursuit

Интеллектуальный анализ данных

• Категория:Интеллектуальный анализ данных и статья Интеллектуальный анализ данных
• Интеллектуальный анализ данных = Data Mining
• Анализ текста = Text Mining
• Анализ веба = Web Mining
• Анализ контента = Web Content Mining
• Анализ структуры веба = Web Structure Mining
• Анализ посещаемости = Web Usage Mining
• Коллаборативная фильтрация
• Анализ клиентских сред
• Рекомендующие системы
• Персонализация
• Управление взаимоотношениями с клиентами = CRM
• Анализ рыночных корзин

Теории, научные школы

• Теория возможности
• Теория нечётких множеств

Предметные области

• Медицинская диагностика
• Техническая диагностика
• Дифференциальная диагностика
• Кредитный скоринг
• Предсказание ухода клиентов
• Обнаружение мошенничества
• Прогнозирование продаж
• Персонализация

Внутренняя кухня MachineLearning.ru

Служебные страницы

• MachineLearning:Концепция ресурса
• MachineLearning:Инструктаж
• MachineLearning:Правила именования статей — порядок выбора названий страниц при их создании.
• MachineLearning:Категоризация — порядок создания категорий.
• MachineLearning:Публикации и библиографии — порядок создания страниц о публикациях.
• MachineLearning:Авторское право — некоторые юридические аспекты работы с Ресурсом.
• MachineLearning:Политика конфиденциальности — некоторые аспекты информационной безопасности.
• MachineLearning:Учебный процесс — рекомендации студентам и преподавателям.
• Категория:MachineLearning:Руководства — всё выше перечисленное и, быть может, ещё что-то.
• MachineLearning:Справка
• MachineLearning:ЧаВО
• MachineLearning:Портал сообщества
• MachineLearning:Вниманию участников
• Шаблон:Новости и Новости
• Категория:Научные направления

Интересные спецстраницы

• Некатегоризованные страницы — зайти и категоризировать!
• Некатегоризованные категории — аналогично!
• Популярные страницы — их качество доводить до блеска!
• Требуемые страницы — писать или искать писателей!
• Категория:Незавершённые статьи — дописывать или искать дописывателей!
• Список участников — кто у нас новенький? у кого страничка появилась?
• Статистика — сколько нас, сколько мы уже накатали, и что из этого чаще читают?
• Динамика — как быстро мы растём?
• MediaWiki:Edittools — панель «Быстрая вставка» под окном редактирования
• MediaWiki:NewUserMessage — приветственное сообщение новому пользователю

Шаблоны

• Все доступные шаблоны
• Шаблон:Заглавная страница Основные категории

Мои шаблоны

• Шаблон:eqno, Шаблон:eqref — нумерации формул справа и ссылка на нумерованную формулу
• Шаблон:tip, Шаблон:stop, Шаблон:UnderConstruction,Шаблон:well, Шаблон:notice — объявления разных цветов с галочкой
• Шаблон:ins, Шаблон:del, Шаблон:rem — эмуляция режима правки MS Word
• Шаблон:todo, Шаблон:TodoEndList — для оформления MachineLearning:ToDo и любых других списков планов
• Шаблон:Врезка — врезка справа, как в Википедии
• Шаблон:Задание — предупреждение, что статья является непроверенной учебной работой
• Шаблон:ЗаданиеВыполнено — предупреждение, что статья была сделана в рамках учебной работы

Основные шаблоны для библиографий:

• Шаблон:Монография
• Шаблон:Статья
• Шаблон:Тезисы
• Шаблон:Диссертация
• Шаблон:ВКР
• Шаблон:Учебник
• Шаблон:Отчёт
• Шаблон:Документ
• Шаблон:Публикация

Вспомогательные шаблоны для библиографий:

• Шаблон:книга — оформление библиографической записи, из Википедии
• Шаблон:биб.статья — оформление библиографической записи, из Википедии
• Шаблон:переводы — одно и то же на всех языках, пример: {{переводы|{{{язык}}}|Т|Vol}}
• Шаблон:russian, Шаблон:english — позволяют сократить синтаксис: {{{{{язык}}}|Т|Vol}}
• Шаблон:ВсеАвторы — формирование списка авторов в библиографических записях
• Шаблон:BibtexAuthors — формирование списка авторов в BibTeX-записях
• Шаблон:Подробнее — формирование ссылки на страницу с описанием публикации
• Википедия:Проект:Библиография — у Большого Брата проблема оформления библиографий тоже пока не решена...

Программирование в шаблонах:

• Справка по условным функциям
• Волшебные слова

Литература (страницы публикаций)

1. Вапник В. Н., Червоненкис А. Я. Теория распознавания образов. — М.: Наука, 1974. — 416 с.  (подробнее)
2. Вапник В. Н. Восстановление зависимостей по эмпирическим данным. — М.: Наука, 1979. — 448 с.  (подробнее)
3. Журавлёв, Ю. И. Об алгебраическом подходе к решению задач распознавания или классификации // Проблемы кибернетики: Вып.33. — 1978. — С. 5–68.  (подробнее)
4. Журавлёв, Ю. И., Рязанов, В. В., Сенько, О. В. «Распознавание». Математические методы. Программная система. Практические применения. — М.: ФАЗИС, 2006. — 176 с.  (подробнее)
5. Загоруйко Н. Г. Прикладные методы анализа данных и знаний. — Новосибирск: ИМ СО РАН, 1999. — 270 с. — ISBN 5-86134-060-9  (подробнее)
6. Зиновьев, А. Ю. Визуализация многомерных данных. — Издательство Красноярского государственного технического университета, 2000. — 180 с.  (подробнее)
7. Рудаков, К. В. Алгебраическая теория универсальных и локальных ограничений для алгоритмов распознавания: Дис. док. физ.-мат. наук: 05-13-17. — Вычислительный центр АН СССР, 1992. — 274 с.  (подробнее)
8. Hastie, T., Tibshirani, R., Friedman, J. The Elements of Statistical Learning, 2nd edition. — Springer, 2009. — 533 p.  (подробнее)

Аспиранты и студенты

Выпускники:

• 2007: Фёдор Ульянов, Сергей Ументаев, Дмитрий Житлухин
• 2008: Геннадий Федонин, Ирек Ахуньянов
• 2009: Александр Орлов, Артур Коваль, Андрей Венжега, Варвара Цурко, Алексей Куренной
• 2010: Пётр Цюрмасто, Ирина Лебедева, Алина Карпинская, Василий Ломакин, Алексей Гуков
• 2011: Павел Минаев, Елена Полежаева, Юрий Логачёв, Алёна Шевцова, Александр Ерошенко, Жанна Кожахметова

Кандидаты наук:

• 2010: Андрей Ивахненко

Cсылки

• Домашняя страница К. В. Воронцова на сайте ВЦ РАН.
• K.Vorontsov homepage — то же, там же, но на английском.
• К. В. Воронцов — страница на математическом портале Math-Net.ru.
• K.Vorontsov — то же, там же, но на английском.
• FRC.
• Forecsys.

Мои подстраницы

Написать письмо К.В.Воронцову.