Нестатистические методы анализа данных и классификации (курс лекций, В.В.Рязанов)
Материал из MachineLearning.
В спецкурсе рассматриваются проблемы и методы кластерного анализа (подходы и алгоритмы кластеризации с известным и неизвестным числом кластеров, критерии кластеризации, вопросы устойчивости, построение оптимальных коллективных решений), новые подходы в регрессионном анализе, поиск зависимостей по прецедентам, практические применения в медицине, бизнесе и технике.
Автор курса: доц. каф. ММП, д.ф.-м.н. Рязанов Владимир Васильевич.
Программа курса
Осенний семестр
- Задача распознавания (классификации) по прецедентам. Тупиковые тесты и их вычисление, случаи вещественных признаков.
- Логические модели распознавания (тестовый алгоритм, алгоритмы вычисления оценок, алгоритм «Кора», модели с представительными наборами, практические реализации).
- Формулы эффективного вычисления оценок.
- Оптимизация моделей распознавания. Релаксационный, комбинаторный и эвристические алгоритмы поиска максимальной совместной подсистемы системы линейных неравенств.
- Логические закономерности классов, эвристический критерий качества логических закономерностей.
- Сведение задачи поиска логических закономерностей классов к задаче целочисленного линейного программирования.
- Логические закономерности классов, стандартный критерий качества логических закономерностей и его оптимизация.
- Генетические методы поиска, генетический алгоритм поиска логических закономерностей классов.
- Веса признаков и прецедентов, логические корреляции. Минимизация признакового пространства.
- Логические описания классов. Минимальные и кратчайшие описания классов.
- Алгоритмы распознавания, основанные на голосовании по системам логических закономерностей, построение устойчивых на обучении оценок.
- Построение минимальных по сложности логических закономерностей классов.
- Гладкие аппроксимации логических закономерностей.
- Бинарные решающие деревья. Допустимые разбиения единичного куба.
- Алгоритм построения допустимого разбиения, представление допустимого разбиения бинарным решающим деревом.
- Прямые методы построения бинарных решающих деревьев, критерии ветвления.
Весенний семестр
- Задачи кластерного анализа, меры близости, функции подобия.
- Критерии качества кластеризации при заданном числе кластеров: дисперсионный и родственные критерии, основанные на матрицах рассеяния, след в качестве критерия, основанные на матрицах рассеяния, определитель матрицы внутригруппового рассеяния.
- Критерии кластеризации при неизвестном числе кластеров, меры концентрации.
- Итеративная оптимизация критериев кластеризации на примере дисперсионного критерия.
- Алгоритмы иерархической группировки.
- Критерии устойчивости кластеризаций и их вычисление
- Алгоритмы кластеризации, основанные на поиске центров сгущений (алгоритмы к-средних, нечетких к-средних, ФОРЕЛЬ, построения оптимальных покрытий).
- Эвристические алгоритмы кластеризации, алгоритмы «к-эталонов» и «взаимного поглощения».
- Восстановление компонент смеси по заданной обучающей выборке.
- Нейросетевые алгоритмы обучения и самообучения. Метод встречного распространения, сеть Хопфильда, алгоритмы Хэбба.
- Логические корректоры для решения задач классификации.
- Решение задач кластерного анализа коллективами алгоритмов, метод коллективных к-средних.
- Комитетный синтез коллективных кластеризаций, критерии качества коллективных кластеризаций.
- Нахождение оптимальных коллективных решений задачи кластерного анализа.
- Эвристические методы построения коллективных кластеризаций и практические алгоритмы
- Методы восстановления регрессионных зависимостей по прецедентам, основанные на решении задач распознавания и дискретной оптимизации
Литература
- Журавлев Ю.И. Избранные научные труды. М.: Магистр. 1998.
- Журавлев Ю.И. Об алгебраическом подходе к решению задач распознавания или классификации. Проблемы кибернетики. М.: Наука. 1978. Вып. 33. С.5-68.
- Донской В.И., Башта А.И. Дискретные модели принятия решений при неполной информации. Симферополь: Таврия. 1992.
- Рязанов В.В. Логические закономерности в задачах распознавания (параметрический подход) // Журнал вычислительной математики и математической физики. Т.47, № 10. 2007. С. 1793-1808.
- Ковшов Н.В., Моисеев В.Л., Рязанов В.В. Алгоритмы поиска логических за-кономерностей в задачах распознавания // Журнал вычислительной математи-ки и математической физики. 2008. Т.48, № 2. С. 329-344.
См. также
Спецсеминар «Прикладные методы прогнозирования и анализа данных».