Статистический анализ данных (курс лекций, К.В.Воронцов)

Материал из MachineLearning.

Содержание 1 Программа курса 1.1 Введение 1.2 Параметрическая проверка гипотез 1.3 Непараметрическая проверка гипотез 1.4 Анализ таблиц сопряженности (кросстабуляции) 1.5 Последовательный анализ Вальда 1.6 Дисперсионный анализ (ANOVA) 1.7 Корреляционный анализ 1.8 Линейный регрессионный анализ 1.9 Анализ регрессионных моделей 1.10 Анализ регрессионных остатков 1.11 Непараметрическая регрессия 1.12 Логистическая регрессия 1.13 Анализ временных рядов 1.14 Адаптивные методы прогнозирования 1.15 Множественная проверка гипотез 2 Литература 3 Ссылки 4 Подстраницы

Курс знакомит студентов с основными задачами и методами прикладной статистики.

Цели курса — связать теорию и практику, научить студентов «видеть» статистические задачи в различных предметных областях и правильно применять методы прикладной статистики, показать на практических примерах возможности и ограничения статистических методов. Курс имеет скорее методологическую, чем математическую направленность и не содержит доказательств теорем.

Каждый метод описывается по единой схеме:

• постановка задачи;
• примеры прикладных задач из области экономики, социологии, производства, медицины;
• базовые предположения и границы применимости;
• описание метода (для методов проверки статистических гипотез: нулевая гипотеза и альтернативы, статистика, её функция распределения с эскизом графика, критическая область);
• достоинства, недостатки, ограничения, «подводные камни»;
• сравнение с другими методами.

Курс читается студентам 5 курса кафедры Математические методы прогнозирования ВМиК МГУ, начиная с 2007 года. Предполагается, что студенты уже прослушали курсы теории вероятностей и математической статистики, знакомы с элементами дискриминантного, факторного и кластерного анализа (по кафедральному курсу «Математические методы распознавания образов»), регрессионного анализа и анализа временных рядов (по кафедральному курсу ММП).

Программа курса

Введение

Обзор необходимых сведений из теории вероятностей и математической статистики.

• Понятия простой выборки и статистики. Примеры статистик: моменты, асимметрия и эксцесс, вариационный ряд и порядковые статистики, эмпирическое распределение.
• Проверка статистических гипотез, основные понятия: уровень значимости, пи-величина (p-value), критическая область, критическая функция, ошибки I и II рода. Односторонние и двусторонние критические области.
• Свойства критериев: несмещённость, состоятельность, равномерная мощность.
• Статистические точечные оценки и их свойства: несмещённость, состоятельность, эффективность, достаточность, робастность.
• Интервальные оценки, понятия доверительного интервала и коэффициента доверия. Доверительное оценивание по вариационному ряду. Доверительные интервалы для среднего и медианы [Лапач, 104].

Материалы семинара по теме

Параметрическая проверка гипотез

• Нормальные параметрические критерии для проверки гипотез: гипотезы о положении, гипотезы о рассеивании [Лапач, §3.2]. Примеры прикладных задач из областей медицины, агрономии, маркетинга.
• Систематизация критериев.
• Гипотеза о равенстве средних: критерий Стьюдента для одной и двух выборок, связанные выборки, гипотеза сдвига, метод множественных сравнений Шеффе, метод LSD. Пример: задача формирования ценовых коридоров.
• Гипотеза о равенстве дисперсий: критерий Фишера, критерий Кокрена, критерий Бартлета.
• Критерии нормальности: Критерий Шапиро-Уилка, критерий Колмогорова-Смирнова, критерий омега-квадрат фон Мизеса, критерий хи-квадрат (Пирсона). Исторический пример: проверка закона Менделя А.Н.Колмогоровым [Тюрин, 306]. Упрощённые проверки нормальности по асимметрии и эксцессу. Эмпирические подтверждения ненормальности реальных измерений [Орлов, стр. 71–77].
• Гипотезы о значениях параметра биномиального распределения: сравнение значения параметра с заданным, сравнение двух значений параметра.

Материалы семинара по теме

Непараметрическая проверка гипотез

• Непараметрические ранговые критерии для проверки гипотез: Критерий Уилкоксона-Манна-Уитни, гипотезы о положении, гипотезы о рассеивании [Лапач, §3.3].
• Элементы теории измерений: номинальные, порядковые и количественные переменные; инварианты. Разновидности средних: по Коши, по Колмогорову, мода, медиана. Среднее в порядковой шкале [Орлов, гл. 3]. Пример: маркетинговое исследование привлекательности продуктов (образовательных услуг); важность постановки вопросов при формировании анкет [Орлов, 229].
• Вариационный ряд, ранги и связки.
• Ранговые критерии: критерий Уилкоксона-Манна-Уитни, критерий знаков, критерий Уилкоксона двухвыборочный, критерий Уилкоксона для связных выборок, критерий Краскела-Уоллиса, критерий Зигеля-Тьюки, медианный критерий: одновыборочный и двухвыборочный.
• Доверительные интервалы для медианы (Уилкоксона-Мозеса) и сдвига (Уилкоксона-Тьюки).
• Множественные сравнения на основе рангов Фридмана.

Материалы семинара по теме

Анализ таблиц сопряженности (кросстабуляции)

[Лапач, 204, 316, Лагутин, Т2:174, Кулаичев, 162].

• Критерий согласия Пирсона: простая гипотеза, сложная гипотеза.
• Таблица сопряженности: K×L и 2×2.
• Парадокс хи-квадрат [Лагутин, Т2:84].
• Точный тест Фишера.
• Понятие закономерности в алгоритмах классификации, статистические и логические закономерности. Примеры: посещаемость сайтов пользователями Интернет, анализ результатов голосования, маркетинговые исследования.

Материалы семинара по теме

Последовательный анализ Вальда

[Вальд]

• Применение в задачах проверки гипотез о значениях параметра биномиального распределения: сравнение значения с заданным, сравнение двух значений.
• Применение в задачах проверки гипотез о значениях параметров нормального распределения: сравнение значения среднего с заданными (симметричный и несимметричный варианты), сравнение значения дисперсии с заданным.

Конспект лекции

Дисперсионный анализ (ANOVA)

[Лапач, 193, Кулаичев, 170].

• Модели факторного эксперимента. Примеры: факторы, влияющие на успешность решения математических задач; факторы, влияющие на объёмы продаж.
• Однофакторная параметрическая модель: метод Шеффе.
• Однофакторная непараметрическая модель: критерий Краскела-Уоллиса, критерий Джонкхиера.
• Общий случай модели с постоянными факторами, теорема Кокрена.
• Двухфакторная непараметрическая модель: критерий Фридмана [Лапач, 203], критерий Пейджа. Примеры: сравнение эффективности методов производства, агротехнических приёмов.
• Двухфакторный нормальный анализ.

Материалы семинара по теме

Корреляционный анализ

[Лапач, 174].

• Корреляция Пирсона, значимость коэффициента корреляции (критерий Стьюдента).
• Частная корреляция, значимость коэффициента частной корреляции.
• Множественная корреляция, значимость коэффициента множественной корреляции.
• Ранговая корреляция, коэффициент корреляции Спирмена, коэффициент корреляции Кенделла.
• Конкордация Кенделла.

Материалы семинара по теме

Линейный регрессионный анализ

[Дрейпер]

• Многомерная линейная регрессия. Примеры прикладных задач. Метод наименьших квадратов.
• МНК-решение и его запись через сингулярное разложение. Остаточная сумма квадратов (RSS).
• Основные предположения многомерной линейной регрессии. Статистические свойства МНК-оценок без предположения нормальности.
• Статистические свойства МНК-оценок при предположении нормальности. Доверительные интервалы для дисперсии шума, коэффициентов регрессии, прогнозного значения отклика.

Анализ регрессионных моделей

• Анализ структуры линейной регрессионной модели. Значимость коэффициентов линейной регрессии (проверка равенства коэффициентов нулю), вложенные модели линейной регрессии, критерий Фишера. Шаговая регрессия.
• Проверка адекватности модели. Выборочный коэффициент детерминации. Дисперсия остатков.
• Проблема мультиколлинеарности. Методы понижения размерности: ридж-регрессия, лассо Тибширани. Выбор параметра регуляризации.

Анализ регрессионных остатков

• Анализ регрессионных остатков: визуальный анализ.
• Непараметрические тесты: критерий Уилкоксона-Манна-Уитни, критерий Зигеля-Тьюки, критерий знаков, критерий серий, критерий экстремумов.
• Проверка нормальности остатков: Критерий Шапиро-Уилка, критерий Колмогорова-Смирнова, критерий омега-квадрат фон Мизеса, критерий хи-квадрат Пирсона, критерии асимметрии и эксцесса.
• Тест на корреляцию остатков, статистика Дарбина-Уотсона.

Материалы семинаров по темам: часть 1, часть 2.

Непараметрическая регрессия

• Непараметрическая регрессия: ядерное сглаживание, формула Надарая-Ватсона. Разложение ошибки на вариацию и смещение. Выбор ядра и ширины окна. Окна переменной ширины. Доверительный интервал прогнозного значения отклика. Проблема выбросов, Алгоритм LOWESS.
• Совмещение многомерной линейной регрессии и одномерного сглаживания: метод настройки с возвращениями (backfitting).
• Примеры прикладных задач: анализ стиля управления инвестиционным портфелем, анализ деятельности паевых инвестиционных фондов.
• Регуляризация коэффициентов регрессии, медленно изменяющихся во времени.

Логистическая регрессия

[Hosmer]

• Постановка задачи логистической регрессии. Логит, его интерпретация. Интерпретация коэффициентов логистической регрессии.
• Анализ модели логистической регрессии: оценка значимости коэффициентов, проверка адекватности модели, анализ остатков, признаки мультиколлинеарности.
• Классификация на основе логистической регрессии: чувствительность, специфичность, выбор порога.

Материалы семинара по логистической регрессии

Анализ временных рядов

[Лукашин]

• Временной ряд. Примеры: прогнозирование объёмов грузоперевозок, объёмов продаж, спроса и цен на электроэнергию.
• Основные компоненты эконометрических временных рядов: тренд, сезонность, календарные эффекты. Аддитивная модель временного ряда. Постановка линейной регрессионной задачи и МНК. Регуляризация сезонного профиля на временных рядах с малым числом периодов.
• Статистические тесты для проверки гипотезы тренда: критерий Аббе-Линника, критерий Кокса-Стюарта, критерий Фостера-Стюарта.
• Автокорреляционная функция. Коррелограмма и её интерпретация. Проверка гипотезы о равенстве нулю автокорреляции.

Материалы семинаров по теме

Адаптивные методы прогнозирования

[Лукашин]

• Модель Брауна — экспоненциальное сглаживание.
• Модель Хольта — линейный тренд без сезонности.
• Модель Хольта-Уинтерса — мультипликативный тренд и сезонность.
• Модель Тейла-Вейджа — аддитивный тренд и сезонность.
• Анализ адекватности адаптивных моделей, скользящий контрольный сигнал.
• Адаптация параметров адаптации. Модель Тригга-Лича.
• Обнаружение структурных изменений. Критерий Чоу.
• Адаптивная селекция моделей прогнозирования.
• Адаптивная композиция моделей прогнозирования.

Множественная проверка гипотез

• Множественная проверка гипотез. Примеры задач. Меры числа ошибок первого рода.
• FWER, поправка Бонферрони.
• Нисходящие процедуры множественной проверки: общий вид, метод Холма.
• Процедуры множественной проверки гипотез при наличии дополнительной информации о признаках: независимость, положительная регрессионная зависимость, subset pivotality.
• FDR, методы Бенджамини, двухэтапные модификации.

Материалы семинара по теме

Литература

1. Лапач С. Н. , Чубенко А. В., Бабич П. Н. Статистика в науке и бизнесе. — Киев: Морион, 2002.
2. Лагутин М. Б. Наглядная математическая статистика. В двух томах. — М.: П-центр, 2003.
3. Лукашин Ю. П. Адаптивные методы краткосрочного прогнозирования временных рядов. — М.: Финансы и статистика, 2003.
4. Магнус Я. Р., Катышев П. К., Пересецкий А. А. Эконометрика. Начальный курс: Учеб. — 7-е изд., испр. — М.: Дело, 2005.
5. Кобзарь А. И. Прикладная математическая статистика. — М.: Физматлит, 2006.
6. Орлов А. И. Эконометрика. — М.: Экзамен, 2003.
7. Айвазян С. А., Мхитарян В. С. Прикладная статистика. Том 1. Теория вероятностей и прикладная статистика. — М.: Юнити, 2001.
8. Айвазян С. А. Прикладная статистика. Том 2. Основы эконометрики. — М.: Юнити, 2001.
9. Кулаичев А. П. Методы и средства комплексного анализа данных. — М.: Форум–Инфра-М, 2006.
10. Тюрин Ю. Н., Макаров А. А. Анализ данных на компьютере. — М.: Инфра-М, 2003.
11. Вучков И., Бояджиева А., Солаков Е. Прикладной линейный регрессионный анализ. — М.: Финансы и статистика, 1987.
12. Hastie, T., Tibshirani, R., Friedman, J. The Elements of Statistical Learning, 2nd edition. — Springer, 2009. — 533 p.  (подробнее)
13. Дрейпер Н. Р., Смит Г. Прикладной регрессионный анализ. М.: Издательский дом "Вильямс", 2007.
14. Hosmer D. W., Lemeshow S. Applied Logistic Regression. - New York: John Wiley & Sons, 2000.
15. Вальд А. Последовательный анализ. - М.: Физматлит, 1960.

Ссылки

• Википедия: Проверка статистических гипотез
• Википедия: Статистический критерий
• Статистический Портал StatSoft
• Электронный статистический словарь StatSoft

Подстраницы

• Список студентов каф.ММП ВМК (2008 год)
• Практические задания для студентов каф.ММП ВМК (2009 год)
• Практические задания для студентов каф.ММП ВМК (2010 год)
• Практические задания для студентов ФУПМ МФТИ (2011 год)
• Практические задания для студентов каф.ММП ВМК (2011 год)
• Практические задания для студентов ФУПМ МФТИ (2012 год)