Нестатистические методы анализа данных и классификации (курс лекций, В.В.Рязанов)

Материал из MachineLearning.

Текущая версия

Основная цель спецкурса состоит в изложении основанных на оптимизационных, дискретных и эвристических подходах методов анализа данных. Рассматриваются логические модели распознавания (классификации с учителем) и анализа разнотипных многомерных данных, методы оптимизации моделей распознавания, алгоритмы поиска скрытых логических закономерностей и связей по признаковым описаниям, методы создания качественных моделей объектов, ситуаций, явлений или процессов. Рассматриваются практические численные методы решения данных задач, и их применения в медицине, бизнесе, химии, технике и других областях.

Автор курса: доц. каф. ММП, д.ф.-м.н. Рязанов Владимир Васильевич.

Программа курса

Осенний семестр

1. Задача распознавания (классификации) по прецедентам. Тупиковые тесты и их вычисление, случаи вещественных признаков, стохастический тестовый алгоритм.
2. Логические модели распознавания для разнотипных признаков (алгоритмы вычисления оценок, алгоритм «Кора», модели с представительными наборами, практические реализации).
3. Эффективное вычисление оценок для различных типов признаков.
4. Оптимизация моделей распознавания. Релаксационный и комбинаторный алгоритмы поиска максимальной совместной подсистемы системы линейных неравенств.
5. Логические закономерности классов, эвристический критерий качества логических закономерностей.
6. Сведение задачи поиска логических закономерностей классов к задаче целочисленного линейного программирования.
7. Логические закономерности классов, стандартный критерий качества логических закономерностей и его оптимизация.
8. Генетические методы поиска, генетический алгоритм поиска логических закономерностей классов.
9. Веса признаков и прецедентов, логические корреляции. Минимизация признакового пространства.
10. Логические описания классов. Обработка множеств логических закономерностей. Минимальные и кратчайшие описания классов.
11. Алгоритмы распознавания, основанные на голосовании по системам логических закономерностей, построение устойчивых на обучении оценок.
12. Построение минимальных по сложности логических закономерностей классов.
13. Бинарные решающие деревья. Допустимые разбиения единичного куба.
14. Алгоритм построения допустимого разбиения, представление допустимого разбиения бинарным решающим деревом.
15. Прямые методы построения бинарных решающих деревьев, критерии ветвления.

Весенний семестр

1. Задачи кластерного анализа, меры близости, функции подобия.
2. Критерии качества кластеризации при заданном числе кластеров: дисперсионный и родственные критерии, основанные на матрицах рассеяния, след в качестве критерия, основанные на матрицах рассеяния, определитель матрицы внутригруппового рассеяния.
3. Критерии кластеризации при неизвестном числе кластеров, меры концентрации.
4. Итеративная оптимизация критериев кластеризации на примере дисперсионного критерия.
5. Алгоритмы иерархической группировки.
6. Критерии устойчивости кластеризаций и их вычисление
7. Алгоритмы кластеризации, основанные на поиске центров сгущений (алгоритмы к-средних, нечетких к-средних, ФОРЕЛЬ, построения оптимальных покрытий).
8. Эвристические алгоритмы кластеризации, алгоритмы «к-эталонов» и «взаимного поглощения».
9. Восстановление компонент смеси по заданной обучающей выборке.
10. Нейросетевые алгоритмы обучения и самообучения. Метод встречного распространения, сеть Хопфильда, алгоритмы Хэбба.
11. Логические корректоры для решения задач классификации.
12. Решение задач кластерного анализа коллективами алгоритмов, метод коллективных к-средних.
13. Комитетный синтез коллективных кластеризаций, критерии качества коллективных кластеризаций.
14. Нахождение оптимальных коллективных решений задачи кластерного анализа.
15. Эвристические методы построения коллективных кластеризаций и практические алгоритмы
16. Методы восстановления регрессионных зависимостей по прецедентам, основанные на решении задач распознавания и дискретной оптимизации

Литература

1. Журавлев Ю.И. Избранные научные труды. М.: Магистр. 1998.
2. Журавлев Ю.И. Об алгебраическом подходе к решению задач распознавания или классификации. Проблемы кибернетики. М.: Наука. 1978. Вып. 33. С.5-68.
3. Донской В.И., Башта А.И. Дискретные модели принятия решений при неполной информации. Симферополь: Таврия. 1992.
4. Рязанов В.В. Логические закономерности в задачах распознавания (параметрический подход) // Журнал вычислительной математики и математической физики. Т.47, № 10. 2007. С. 1793-1808.
5. Ковшов Н.В., Моисеев В.Л., Рязанов В.В. Алгоритмы поиска логических за-кономерностей в задачах распознавания // Журнал вычислительной математи-ки и математической физики. 2008. Т.48, № 2. С. 329-344.

См. также

Спецсеминар «Прикладные методы прогнозирования и анализа данных».