Нестатистические методы анализа данных и классификации (курс лекций, В.В.Рязанов)
Материал из MachineLearning.
(+ литература к курсу) |
(обновление программы осеннего семестра) |
||
Строка 1: | Строка 1: | ||
- | В спецкурсе рассматриваются проблемы и методы кластерного анализа (подходы и алгоритмы кластеризации с известным и неизвестным числом кластеров, критерии кластеризации, вопросы устойчивости, построение оптимальных коллективных решений), новые подходы в регрессионном анализе, поиск зависимостей по прецедентам, практические применения в медицине, бизнесе и технике. | + | Основная цель спецкурса состоит в изложении основанных на оптимизационных, дискретных и эвристических подходах методов анализа данных. Рассматриваются логические модели распознавания (классификации с учителем) и анализа разнотипных многомерных данных, методы оптимизации моделей распознавания, алгоритмы поиска скрытых логических закономерностей и связей по признаковым описаниям, методы создания качественных моделей объектов, ситуаций, явлений или процессов. Рассматриваются практические численные методы решения данных задач, и их применения в медицине, бизнесе, химии, технике и других областях. |
+ | |||
+ | <!--В спецкурсе рассматриваются проблемы и методы кластерного анализа (подходы и алгоритмы кластеризации с известным и неизвестным числом кластеров, критерии кластеризации, вопросы устойчивости, построение оптимальных коллективных решений), новые подходы в регрессионном анализе, поиск зависимостей по прецедентам, практические применения в медицине, бизнесе и технике.--> | ||
Автор курса: доц. каф. [[ММП]], д.ф.-м.н. [[Участник:Rvv|Рязанов Владимир Васильевич]]. | Автор курса: доц. каф. [[ММП]], д.ф.-м.н. [[Участник:Rvv|Рязанов Владимир Васильевич]]. | ||
Строка 6: | Строка 8: | ||
'''Осенний семестр''' | '''Осенний семестр''' | ||
- | # Задача распознавания (классификации) по прецедентам. [[Тупиковые тесты]] и их вычисление, случаи вещественных признаков. | + | # [[Классификация|Задача распознавания]] (классификации) по прецедентам. [[Тупиковые тесты]] и их вычисление, случаи вещественных признаков, стохастический тестовый алгоритм. |
- | # Логические модели распознавания ( | + | # Логические модели распознавания для разнотипных признаков ([[алгоритмы вычисления оценок]], алгоритм «Кора», модели с представительными наборами, практические реализации). |
- | # | + | # Эффективное вычисление оценок для различных типов признаков. |
- | # Оптимизация моделей распознавания. Релаксационный | + | # Оптимизация моделей распознавания. Релаксационный и комбинаторный алгоритмы поиска максимальной совместной подсистемы системы линейных неравенств. |
# Логические закономерности классов, эвристический критерий качества логических закономерностей. | # Логические закономерности классов, эвристический критерий качества логических закономерностей. | ||
# Сведение задачи поиска логических закономерностей классов к задаче целочисленного линейного программирования. | # Сведение задачи поиска логических закономерностей классов к задаче целочисленного линейного программирования. | ||
Строка 15: | Строка 17: | ||
# Генетические методы поиска, генетический алгоритм поиска логических закономерностей классов. | # Генетические методы поиска, генетический алгоритм поиска логических закономерностей классов. | ||
# Веса признаков и прецедентов, логические корреляции. Минимизация признакового пространства. | # Веса признаков и прецедентов, логические корреляции. Минимизация признакового пространства. | ||
- | # Логические описания классов. Минимальные и кратчайшие описания классов. | + | # Логические описания классов. Обработка множеств логических закономерностей. Минимальные и кратчайшие описания классов. |
# Алгоритмы распознавания, основанные на голосовании по системам логических закономерностей, построение устойчивых на обучении оценок. | # Алгоритмы распознавания, основанные на голосовании по системам логических закономерностей, построение устойчивых на обучении оценок. | ||
# Построение минимальных по сложности логических закономерностей классов. | # Построение минимальных по сложности логических закономерностей классов. | ||
- | |||
# [[Решающее дерево|Бинарные решающие деревья]]. Допустимые разбиения единичного куба. | # [[Решающее дерево|Бинарные решающие деревья]]. Допустимые разбиения единичного куба. | ||
# Алгоритм построения допустимого разбиения, представление допустимого разбиения бинарным решающим деревом. | # Алгоритм построения допустимого разбиения, представление допустимого разбиения бинарным решающим деревом. |
Текущая версия
Основная цель спецкурса состоит в изложении основанных на оптимизационных, дискретных и эвристических подходах методов анализа данных. Рассматриваются логические модели распознавания (классификации с учителем) и анализа разнотипных многомерных данных, методы оптимизации моделей распознавания, алгоритмы поиска скрытых логических закономерностей и связей по признаковым описаниям, методы создания качественных моделей объектов, ситуаций, явлений или процессов. Рассматриваются практические численные методы решения данных задач, и их применения в медицине, бизнесе, химии, технике и других областях.
Автор курса: доц. каф. ММП, д.ф.-м.н. Рязанов Владимир Васильевич.
Программа курса
Осенний семестр
- Задача распознавания (классификации) по прецедентам. Тупиковые тесты и их вычисление, случаи вещественных признаков, стохастический тестовый алгоритм.
- Логические модели распознавания для разнотипных признаков (алгоритмы вычисления оценок, алгоритм «Кора», модели с представительными наборами, практические реализации).
- Эффективное вычисление оценок для различных типов признаков.
- Оптимизация моделей распознавания. Релаксационный и комбинаторный алгоритмы поиска максимальной совместной подсистемы системы линейных неравенств.
- Логические закономерности классов, эвристический критерий качества логических закономерностей.
- Сведение задачи поиска логических закономерностей классов к задаче целочисленного линейного программирования.
- Логические закономерности классов, стандартный критерий качества логических закономерностей и его оптимизация.
- Генетические методы поиска, генетический алгоритм поиска логических закономерностей классов.
- Веса признаков и прецедентов, логические корреляции. Минимизация признакового пространства.
- Логические описания классов. Обработка множеств логических закономерностей. Минимальные и кратчайшие описания классов.
- Алгоритмы распознавания, основанные на голосовании по системам логических закономерностей, построение устойчивых на обучении оценок.
- Построение минимальных по сложности логических закономерностей классов.
- Бинарные решающие деревья. Допустимые разбиения единичного куба.
- Алгоритм построения допустимого разбиения, представление допустимого разбиения бинарным решающим деревом.
- Прямые методы построения бинарных решающих деревьев, критерии ветвления.
Весенний семестр
- Задачи кластерного анализа, меры близости, функции подобия.
- Критерии качества кластеризации при заданном числе кластеров: дисперсионный и родственные критерии, основанные на матрицах рассеяния, след в качестве критерия, основанные на матрицах рассеяния, определитель матрицы внутригруппового рассеяния.
- Критерии кластеризации при неизвестном числе кластеров, меры концентрации.
- Итеративная оптимизация критериев кластеризации на примере дисперсионного критерия.
- Алгоритмы иерархической группировки.
- Критерии устойчивости кластеризаций и их вычисление
- Алгоритмы кластеризации, основанные на поиске центров сгущений (алгоритмы к-средних, нечетких к-средних, ФОРЕЛЬ, построения оптимальных покрытий).
- Эвристические алгоритмы кластеризации, алгоритмы «к-эталонов» и «взаимного поглощения».
- Восстановление компонент смеси по заданной обучающей выборке.
- Нейросетевые алгоритмы обучения и самообучения. Метод встречного распространения, сеть Хопфильда, алгоритмы Хэбба.
- Логические корректоры для решения задач классификации.
- Решение задач кластерного анализа коллективами алгоритмов, метод коллективных к-средних.
- Комитетный синтез коллективных кластеризаций, критерии качества коллективных кластеризаций.
- Нахождение оптимальных коллективных решений задачи кластерного анализа.
- Эвристические методы построения коллективных кластеризаций и практические алгоритмы
- Методы восстановления регрессионных зависимостей по прецедентам, основанные на решении задач распознавания и дискретной оптимизации
Литература
- Журавлев Ю.И. Избранные научные труды. М.: Магистр. 1998.
- Журавлев Ю.И. Об алгебраическом подходе к решению задач распознавания или классификации. Проблемы кибернетики. М.: Наука. 1978. Вып. 33. С.5-68.
- Донской В.И., Башта А.И. Дискретные модели принятия решений при неполной информации. Симферополь: Таврия. 1992.
- Рязанов В.В. Логические закономерности в задачах распознавания (параметрический подход) // Журнал вычислительной математики и математической физики. Т.47, № 10. 2007. С. 1793-1808.
- Ковшов Н.В., Моисеев В.Л., Рязанов В.В. Алгоритмы поиска логических за-кономерностей в задачах распознавания // Журнал вычислительной математи-ки и математической физики. 2008. Т.48, № 2. С. 329-344.
См. также
Спецсеминар «Прикладные методы прогнозирования и анализа данных».