Участник:Vokov

'''Воронцов Константин Вячеславович'''

к.ф.-м.н.

Зам. директора по науке [http://www.forecsys.ru ЗАО Форексис].

Научный сотрудник [[Вычислительный центр РАН|Вычислительного центра РАН]].

Зам. зав. каф. «[[Интеллектуальные системы (кафедра МФТИ)|Интеллектуальные системы]]» [[ФУПМ]] [[МФТИ]].

Доц. каф. «[[Математические методы прогнозирования (кафедра ВМиК МГУ)|Математические методы прогнозирования]]» [[ВМиК МГУ]].

Один из идеологов и [[ML:АДМ|Администраторов]] ресурса '''MachineLearning.RU'''.

Прочие подробности — на подстранице '''[[Участник:Vokov/CV|Curriculum vitæ]]'''.

-->

== Учебные курсы ==

* [[Машинное обучение (курс лекций, К.В.Воронцов)|Математические методы обучения по прецедентам (машинное обучение)]], годовой курс, [[Интеллектуальные системы (кафедра МФТИ)|кафедра «Интеллектуальные системы»]] [[ФУПМ]] [[МФТИ]] и [[Математические методы прогнозирования (кафедра ВМиК МГУ)|кафедра ММП]] [[ВМиК МГУ]].

* [[Теория надёжности обучения по прецедентам (курс лекций, К.В.Воронцов)|Теория надёжности обучения по прецедентам]], спецкурс, [[Математические методы прогнозирования (кафедра ВМиК МГУ)|кафедра ММП]] [[ВМиК МГУ]].

* [[Статистический анализ данных (курс лекций, К.В.Воронцов)|Прикладной статистический анализ данных]], семестровый курс, [[Математические методы прогнозирования (кафедра ВМиК МГУ)|кафедра ММП]] [[ВМиК МГУ]].

== Лекции, выступления ==

Всё, что скрывается за терминами «[[интеллектуальный анализ данных]]» (data mining) и «[[машинное обучение]]» (machine learning):

[[Методы оптимизации|численные методы оптимизации]].

Практический анализ данных в разнообразных областях

([[Приложения в экономике|экономика]],

[[Приложения в медицине|медицина]],

Проблема [[обобщающая способность|обобщающей способности]] является ключевой и в то же время наиболее сложной в машинном обучении.

Если алгоритм обучен по конечной [[выборка|выборке]] [[прецедент]]ов, то как предсказать качество его работы на новых прецедентах?

Активное исследование этих вопросов началось в конце 60-х, когда В.Н.Вапник и А.Я.Червоненкис предложили [[теория Вапника-Червоненкиса|статистическую теорию восстановления зависимостей по эмпирическим данным]].

Они получили верхние оценки вероятности ошибок обученного алгоритма, позволившие обосновать давно замеченный эмпирический факт:

Чрезмерно сложные алгоритмы имеют избыточное число свободных параметров.

При обучении этих параметров по выборке алгоритм настраивается не только на восстановление зависимости, но и на воспроизведение разного рода погрешностей.

Погрешности в реальных задачах присутствуют всегда:

во-вторых, что гораздо существеннее, это невязка между используемой моделью и неизвестной истинной зависимостью.

К сожалению, статистические оценки чрезвычайно сильно завышены.

В методе СМР это часто влечет переупрощение модели.

Несмотря на 40-летние усилия многих ученых, точные оценки качества обучения до сих пор не получены.

* комбинаторная теория обобщающей способности;

* уточнение оценок обобщающей способности для различных частных случаев;

* разработка новых алгоритмов обучения на их основе.

generalization ability, computational learning theory, Vapnik-Chervonenkis theory.

=== Комбинаторная статистика ===

{{S|В задачах}} анализа данных мы всегда имеем дело с выборками конечной длины.

Именно её и имеет смысл предсказывать.

рассматривается конечная выборка ''неслучайных объектов'', которые появляются в ''случайном порядке''.

''Событие'' — это бинарная функция на множестве разбиений.

В слабой аксиоматике удаётся переформулировать закон больших чисел, закон сходимости эмпирических распределений (критерий Смирнова), многие статические критерии, в первую очередь, ранговые критерии, теорию обобщающей способности, теорию информации. Во многих случаях получаемые оценки являются точными, т.е. не асимптотическими и не завышенными. Однако для их вычисления может потребоваться разработка специальных эффективных алгоритмов.

Основные направления исследований:

* точные (комбинаторные) [[статистический тест|статистические критерии]];

* эффективные алгоритмы вычисления комбинаторных оценок.

Самый простой пример композиции — усреднение ответов, выдаваемых базовыми алгоритмами.

Можно выделять [[область компетентности|области компетентности]] различных алгоритмов, и в каждой области использовать свое распределение весов.

Как обучать базовые алгоритмы, учитывая, что они будут работать не по-отдельности, а в составе композиции?

Как оценивать и целенаправленно улучшать обобщающую способность композиции?

{{S|В зарубежных}} исследованиях это тема стала чрезвычайно популярной в 90-е годы, после изобретения алгоритмов [[бустинг]]а, [[бэггинг]]а, [[смесь экспертов|смесей экспертов]] и других композитных конструкций.

Основные направления исследований:

* разработка эффективных алгоритмов построения композиций;

* композиции [[логическая закономерность|логических закономерностей]];

* сравнительный анализ различных методов построения композиций.

 

 

[[Анализ клиентских сред]] (АКС) является относительно новой и быстро развивающейся областью [[интеллектуальный анализ данных|интеллектуального анализа данных]] (data mining).

{{S|В современном}} бизнесе чрезвычайно востребовано решение следующей задачи, точнее даже группы задач.

Создание математического обеспечения для них является актуальной и наукоемкой задачей.

Один из типичных примеров клиентской среды — интернет-портал, предоставляющий доступ к большому количеству ресурсов, скажем, интернет-магазин или поисковый сервер.

Технология АКС позволяет решать задачи персонализации контента — когда результаты поиска, информационные каталоги, предложения товаров и услуг, и т.д. выстраиваются в таком порядке, чтобы пользователю легче было находить информацию, необходимую именно ему, именно в данный момент.

Основные направления исследований:

* разработка эффективных алгоритмов АКС и [[коллаборативная фильтрация|коллаборативной фильтрации]];

* решение задач [[персонализация|персонализации]];

Ключевые слова:

client relationship management, web mining, web usage mining, collaborative filtering, recommender systems.

== Публикации ==

[http://www.ccas.ru/voron/bib-voron.html Список публикаций]

* [[ChartLib]] — [http://www.ccas.ru/voron/chartlib.html ChartLib]([http://www.ccas.ru/frc/chartlive/intro.html документация])

Библиотека деловой и научной графики.

Удобный инструмент для аналитических исследований, генерации графиков в Internet, подготовки отчетов, выполнения курсовых и дипломных работ, встраивания графиков в приложения на Delphi и C#.

Имеет собственный формат входных данных CHD (CHart Description), позволяющий описывать как таблицы данных, так и внешний вид графика. Поддерживается более 150 команд, более 50 свойств точек графика, имеется встроенный калькулятор арифметических выражений.

Графики могут быть выведены в окно прикладной программы, на принтер, в буфер обмена, в файлы графических форматов BMP, EMF, PNG, JPEG, GIF. Имеется программа chdView.exe для просмотра CHD-файлов.

* [http://www.ccas.ru/voron Домашняя страница К. В. Воронцова].

* [http://www.ccas.ru/frc FRC].

* [http://www.forecsys.ru Forecsys].

== Ссылки внутри MachineLearning.RU ==

=== Служебные страницы ===

* [[MachineLearning:ЧаВО]] — пора улучшить, многое отсюда давно уже перенесено в [[MachineLearning:Инструктаж]]

* [[MachineLearning:Портал сообщества]] — здесь надо бы что-то написать

* [[MachineLearning:Публикации и библиографии]] и [[Обсуждение MachineLearning:Публикации и библиографии|Обсуждение]]

* [[MediaWiki:Edittools]]

* [[Special:Uncategorizedpages|Некатегоризованные страницы]] — зайти и категоризировать!

* [[Special:Uncategorizedcategories|Некатегоризованные категории]] — аналогично!

* [[Special:Popularpages|Популярные страницы]] — их качество доводить до блеска!

* [[Special:Wantedpages|Требуемые страницы]] — писать или искать писателей!

* [[Special:Listusers|Список участников]] — кто у нас новенький? у кого страничка появилась?

* [[Special:Statistics|Статистика]] — как растём?

* [[Special:Allpages/Шаблон:|'''Все доступные шаблоны''']]

* [[Шаблон:Заглавная страница Основные категории]]

* [[Шаблон:Врезка]]

* [http://meta.wikimedia.org/wiki/ParserFunctions Справка по условным функциям]

* [http://meta.wikimedia.org/wiki/Help:Magic_words Волшебные слова]

* [[:Категория:Машинное обучение]] и статья [[Машинное обучение]]

* [[:Категория:Интеллектуальный анализ данных]] и статья [[Интеллектуальный анализ данных]]

* [[:Категория:Научные направления]]

* [[:Категория:Теория вычислительного обучения]] и статья [[Теория вычислительного обучения]]

== Планы по развитию MachineLearning.RU ==

*[[Решающее дерево]]

*[[Переобучение]]

*[[Теория надёжности обучения по прецедентам (курс лекций, К.В.Воронцов)/Расслоение семейства алгоритмов]]

=== Немного недописанные статьи ===

*[[Обучение с учителем]]

*[[Скользящий контроль]] = [[Кросс-валидация]] = [[CV]]

=== Статьи, нуждающиеся в доработке ===

*[[Персептрон]]

*[[Обучение по прецедентам]] = [[Машинное обучение]]

*[[Максимум правдоподобия]] = [[Метод максимума правдоподобия]] = [[Максимизация правдоподобия]] = [[Правдоподобие]]

*[[:Категория:Прикладная статистика]]

*[[:Категория:Статистические критерии]]

*[[Статистический критерий]] = [[Статистический тест]]

*[[Критерий однородности]]

*[[Критерий согласия]]

*[[Точный тест Фишера]]

*[[:Категория:Теория вычислительного обучения]]

*[[Байесовский информационный критерий]] = [[BIC]]

*[[:Категория:Байесовская теория классификации]]

*[[Байесовский классификатор]] = [[Оптимальный байесовский классификатор]]

*[[Восстановление распределения вероятностей]]

*[[EM-алгоритм]]

*[[Метод парзеновского окна]] = [[Парзеновское окно]] = [[Окно Парзена]]

*[[:Категория:Метрические алгоритмы классификации]] (классификация на основе сходства, similarity-based classification)

*[[CBR]] = [[Case based reasoning]] = [[Рассуждение на основе прецедентов]] (?)

=== Байесовский вывод ===

*[[:Категория:Байесовский вывод]]

*[[Байесовский вывод]]

*[[Метод релевантных векторов]] = [[RVM]]

*[[Байесовская сеть]]

=== Нейронные сети ===

*[[:Категория:Нейронные сети]]

*[[Нейронная сеть]] = [[ANN]]

*[[Модель МакКаллока-Питтса]]

*[[Персептрон]] = [[Персептрон Розенблатта]]

*[[Задача XOR]]

*[[Однослойный персептрон]]

*[[Многослойный персептрон]]

*[[Метод стохастического градиента]]

*[[Метод обратного распространения ошибки]] = [[Backpropagation]] = [[Backprop]]

*[[Оптимальное усечение сети]] = [[Оптимальное упрощение сети]] = [[Оптимальное повреждение сети]] = [[OBD]] (??)

*[[Оптимальная хирургия мозга]] = [[OBS]] (??)

*[[Конкурентное обучение]]

*[[Нейронная сеть Кохонена]] = [[Сеть Кохонена]]

*[[Самоорганизующаяся карта Кохонена]] = [[Карта Кохонена]] = [[SOM]]

*[[Ассоциативная память]]

*[[Сеть Гроссберга]]

*[[Сеть Хопфилда]]

*[[Сеть Хэмминга]]

=== Дискретные (логические) алгоритмы классификации ===

*[[:Категория:Логические алгоритмы классификации]]

*[[Логическая закономерность]]

*[[Статистическая закономерность]]

*[[Информативность]]

*[[Индукция правил]]

*[[Ассоциативные правила]] = [[правила ассоциации]]

*[[Решающий список]]

*[[Решающее дерево]]

*[[Дерево регрессии]]

*[[Критерий ветвления]]

*[[Решающий лес]]

*[[Редукция решающего дерева]] = [[Постредукция]] = [[Предредукция]]

*[[Алгоритм вычисления оценок]]

*[[Тестовый алгоритм]]

*[[Принцип частичной прецедентности]]

=== Кластерный анализ ===

*[[:Категория:Кластеризация]]

*[[Кластеризация]] = [[Кластерный анализ]]

*[[Кластер]]

*[[Графовые алгоритмы кластеризации]]

*[[Кратчайший незамкнутый путь]] = [[Минимальное остовное дерево]]

*[[Статистические алгоритмы кластеризации]]

*[[Алгоритм ФОРЕЛЬ]]

*[[Алгоритм k средних]] = [[k-means]]

*[[Иерархическая кластеризация]]

*[[Таксономия]]

*[[Дендрограмма]]

*[[Нейронная сеть Кохонена]] = [[Сеть Кохонена]]

*[[Ансамбль кластеризаторов]]

*[[Многомерное шкалирование]] = [[MDS]]

*[[Диаграмма Шеппарда]]