Обсуждение:Проклятие размерности
Материал из MachineLearning.
(Различия между версиями)
Версия 23:26, 5 января 2010
В целом статья принимается, но надо ещё кое-что подправить — К.В.Воронцов 21:54, 5 января 2010 (MSK)
Замечания
- Не опомянуты очень важные вещи:
- В метрических классификаторах проклятие размерности выражается в том, что расстояния во всех парах объектов стремятся к одному и тому же пределу. Это происходит из-за того, что обычно расстояния вычисляются путём усреднения модулей разностей по всем признакам. А сумма n слагаемых стремится к фиксированному пределу, когда n стремится к бесконечности (согласно закону больших чисел). В результате расстояния становятся неинформативными — все примерно одинаковыми. Чтобы этого не происходило, можно делать отбор признаков, или вычислять много разных расстояний по небольшим подмножествам признаков, а потом устраивать голосование — так устроен алгоритм вычисления оценок.
- В линейных алгоритмах классификации и регрессии увеличение числа признаков неизбежно ведёт к мультиколлинеарности и переобучению
- Общие пожелания (почти ко всем студентам):
- желательно расставлять больше внутренних ссылок (пусть некоторые из них окажутся красными) на те понятия, которые достойны быть отдельными статьями
- больше внешних ссылок на полезные ресурсы (начните с английской Википедии: Machine Learning)
- не забывайте про категоризацию!!!
- исправить тире в предложениях на —
- исправить кавычки на «ёлочки»
- словечко «бороться» я употреблял в лекциях как жаргон, для оживления изложения :) есть много других более подходящих слов: избегать, устранять, предотвращать
- НЕ УВЛЕКАЙТЕСЬ ОСОБО, ОСТАВЬТЕ ВРЕМЯ НА ПОДГОТОВКУ К ЭКЗАМЕНУ!!!
— К.В.Воронцов 21:54, 5 января 2010 (MSK)
