Статистический анализ данных (курс лекций, К.В.Воронцов)

Материал из MachineLearning.

Содержание 1 Программа курса 1.1 Введение 1.2 Параметрическая проверка гипотез 1.3 Непараметрическая проверка гипотез 1.4 Дисперсионный анализ (ANOVA) 1.5 Корреляционный анализ 1.6 Анализ таблиц сопряженности (кросстабуляции) 1.7 Линейный регрессионный анализ 1.8 Анализ регрессионных моделей 1.9 Непараметрическая, нелинейная, устойчивая регрессия 1.10 Анализ временных рядов 1.11 Анализ рисков. Пробит- и логит-анализ 1.12 Выборочный анализ 1.13 Построение интегральных индикаторов 1.14 Панельные исследования 2 Литература 3 Ссылки 4 Подстраницы

Курс знакомит студентов с основными задачами и методами прикладной статистики.

Цели курса — связать теорию и практику, научить студентов «видеть» статистические задачи в различных предметных областях и правильно применять методы прикладной статистики, показать на практических примерах возможности и ограничения статистических методов. Курс имеет скорее методологическую, чем математическую направленность и не содержит доказательств теорем.

Каждый метод описывается по единой схеме:

• постановка задачи;
• примеры прикладных задач из области экономики, социологии, производства, медицины;
• базовые предположения и границы применимости;
• описание метода (для методов проверки статистических гипотез: нулевая гипотеза и альтернативы, статистика, её функция распределения с эскизом графика, критическая область);
• достоинства, недостатки, ограничения, «подводные камни»;
• сравнение с другими методами.

Курс читается студентам 5 курса кафедры Математические методы прогнозирования ВМиК МГУ, начиная с 2007 года. Предполагается, что студенты уже прослушали курсы теории вероятностей и математической статистики, знакомы с элементами дискриминантного, факторного и кластерного анализа (по кафедральному курсу «Математические методы распознавания образов»), регрессионного анализа и анализа временных рядов (по кафедральному курсу ММП).

Программа курса

Введение

Обзор необходимых сведений из теории вероятностей и математической статистики.

• Понятия простой выборки и статистики. Примеры статистик: моменты, асимметрия и эксцесс, вариационный ряд и порядковые статистики, эмпирическое распределение.
• Проверка статистических гипотез, основные понятия: уровень значимости, пи-величина (p-value), критическая область, критическая функция, ошибки I и II рода. Односторонние и двусторонние критические области.
• Свойства критериев: несмещённость, состоятельность, равномерная мощность.
• Статистические точечные оценки и их свойства: несмещённость, состоятельность, эффективность, достаточность, робастность.
• Интервальные оценки, понятия доверительного интервала и коэффициента доверия. Доверительное оценивание по вариационному ряду. Доверительные интервалы для среднего и медианы [Лапач, 104].

• Метод доверительных интервалов Неймана.
• Понятия параметрических, непараметрических и робастных методов. Структура прикладной статистики.

Параметрическая проверка гипотез

• Нормальные параметрические критерии для проверки гипотез: гипотезы о положении, гипотезы о рассеивании [Лапач, §3.2]. Примеры прикладных задач из областей медицины, агрономии, маркетинга.
• Систематизация критериев.
• Гипотеза о равенстве средних: критерий Стьюдента для одной и двух выборок, связанные выборки, гипотеза сдвига, метод множественных сравнений Шеффе, метод LSD. Пример: задача формирования ценовых коридоров.
• Гипотеза о равенстве дисперсий: критерий Фишера, критерий Кокрена, критерий Бартлета.
• Критерии нормальности: Критерий Шапиро-Уилка, критерий Колмогорова-Смирнова, критерий омега-квадрат фон Мизеса, критерий хи-квадрат (Пирсона). Исторический пример: проверка закона Менделя А.Н.Колмогоровым [Тюрин, 306]. Упрощённые проверки нормальности по асимметрии и эксцессу. Эмпирические подтверждения ненормальности реальных измерений [Орлов, стр. 71–77].

Непараметрическая проверка гипотез

• Непараметрические ранговые критерии для проверки гипотез: Критерий Уилкоксона-Манна-Уитни, гипотезы о положении, гипотезы о рассеивании [Лапач, §3.3].
• Элементы теории измерений: номинальные, порядковые и количественные переменные; инварианты. Разновидности средних: по Коши, по Колмогорову, мода, медиана. Среднее в порядковой шкале [Орлов, гл. 3]. Пример: маркетинговое исследование привлекательности продуктов (образовательных услуг); важность постановки вопросов при формировании анкет [Орлов, 229].
• Вариационный ряд, ранги и связки.
• Ранговые критерии: критерий Уилкоксона-Манна-Уитни, критерий знаков, критерий Уилкоксона двухвыборочный, критерий Уилкоксона для связных выборок, критерий Краскела-Уоллиса, критерий Зигеля-Тьюки, медианный критерий: одновыборочный и двухвыборочный.
• Доверительные интервалы для медианы (Уилкоксона-Мозеса) и сдвига (Уилкоксона-Тьюки).
• Множественные сравнения на основе рангов Фридмана.

Дисперсионный анализ (ANOVA)

[Лапач, 193, Кулаичев, 170].

• Модели факторного эксперимента. Примеры: факторы, влияющие на успешность решения математических задач; факторы, влияющие на объёмы продаж.
• Однофакторная параметрическая модель: метод Шеффе.
• Однофакторная непараметрическая модель: критерий Краскела-Уоллиса, критерий Джонкхиера.
• Общий случай модели с постоянными факторами, теорема Кокрена.
• Двухфакторная непараметрическая модель: критерий Фридмана [Лапач, 203], критерий Пейджа. Примеры: сравнение эффективности методов производства, агротехнических приёмов.
• Двухфакторный нормальный анализ.
• Ковариационный анализ (постановка задачи).

Корреляционный анализ

[Лапач, 174].

• Корреляция Пирсона, значимость коэффициента корреляции (критерий Стьюдента).
• Частная корреляция.
• Ранговая корреляция, коэффициент корреляции Спирмена, коэффициент корреляции Кенделла.
• Конкордация Кенделла.

Анализ таблиц сопряженности (кросстабуляции)

[Лапач, 204, 316, Лагутин, Т2:174, Кулаичев, 162].

• Критерий согласия Пирсона: простая гипотеза, сложная гипотеза.
• Таблица сопряженности: K×L и 2×2.
• Парадокс хи-квадрат [Лагутин, Т2:84].
• Точный тест Фишера.
• Понятие закономерности в алгоритмах классификации, статистические и логические закономерности. Примеры: посещаемость сайтов пользователями Интернет, анализ результатов голосования, маркетинговые исследования.

Линейный регрессионный анализ

• Многомерная линейная регрессия. Примеры прикладных задач. Метод наименьших квадратов.
• МНК-решение и его запись через сингулярное разложение.
• Основные предположения многомерной линейной регрессии. Статистические свойства МНК-оценок (без предположения нормальности).
• Статистические свойства МНК-оценок при предположении нормальности. Доверительные интервалы для дисперсии шума, коэффициентов регрессии, прогнозного значения отклика.

Анализ регрессионных моделей

• Проверка значимости (не равенства нулю) коэффициентов линейной регрессионной модели, вложенные модели, критерий Фишера. Шаговая регрессия.
• Проверка адекватности модели. Выборочный коэффициент детерминации. Дисперсия остатков.
• Анализ регрессионных остатков: критерий знаков, визуальный анализ, непараметрические тесты: критерий Уилкоксона-Манна-Уитни, критерий Зигеля-Тьюки, критерий серий.
• Проверка нормальности остатков: Критерий Шапиро-Уилка, критерий Колмогорова-Смирнова, критерий омега-квадрат фон Мизеса, критерий хи-квадрат Пирсона, критерии асимметрии и эксцесса.

Непараметрическая, нелинейная, устойчивая регрессия

• Непараметрическая регрессия: ядерное сглаживание, формула Надарая-Ватсона. Выбор ядра и ширины окна.
• Совмещение многомерной линейной регрессии и одномерного сглаживания: метод настройки с возвращениями (backfitting).
• Нелинейная регрессия. Методы Ньютона-Раффсона и Ньютона-Гаусса.
• Проблема мультиколлинеарности. Методы понижения размерности. Ридж-регрессия. Лассо Тибширани. Методы отбора признаков: шаговая регрессия, метод группового учёта аргументов. Внешние и внутренние критерии.
• Проблема выбросов и робастная регрессия. M-оценки, метод наименьших модулей. L-оценки, винзоризация выборки [Вучков].

Анализ временных рядов

• Временной ряд. Стационарность и эргодичность.
• Основные компоненты эконометрических временных рядов: тренд, сезонность, шумы, циклические колебания, календарные эффекты. Структурные модели временного ряда [Айвазян, том 2, Лукашин].
• Прогнозирование временных рядов. Простейшие методы прогнозирования. Экспоненциальное сглаживание, модель Брауна, модель Хольта-Уинтерса, модель Тейла-Вейджа.
• Процесс авторегрессии и проинтегрированного скользящего среднего (ARIMA) [Лукашин].

Анализ рисков. Пробит- и логит-анализ

[Лапач, 387].

• Пробит-анализ и логит-анализ. Приложения в токсикологии, страховании, эконометрике (оценивание спроса). Оценивание апостериорных вероятностей в задачах классификации. Анализ кредитных рисков: оценивание вероятности дефолта, имитационное моделирование.
• Анализ выживаемости. Функция выживаемости и функция интенсивности рисков. Процедура Каплана-Мейера. Доверительный интервал выживаемости.
• Сравнение двух функций выживаемости: логранговый критерий, критерий Гехана.
• Случайные блуждания, задача о разорении игрока.

Выборочный анализ

• Простой случайный выбор. Приложения в социологии, маркетинге [Лапач, 312, Орлов].
• Пропорциональный выбор и преимущества стратификации. Оценки достаточной длины выборки [Лапач, 361]. Другие методы выбора: квотированный, кластерный, многоступенчатый кластерный.
• Выборочный контроль качества [Лапач, 351]. Одноступенчатый и двухступенчатый план контроля. Оперативная характеристика плана контроля. Парадоксы выборочного контроля.

Построение интегральных индикаторов

• Интегральный индикатор. Примеры прикладных задач. Линейные и ранговые шкалы. Методы построения интегрального индикатора «без учителя» [Strijov, 2003]. Устойчивые интегральные индикаторы [Стрижов, 2007].
• Экспертные оценки [Литвак, Лапач, 353]. Матрица парных сравнений. Экспертно-статистический метод [Айвазян, том 2]. Согласование экспертных оценок [Стрижов, 2006].

Панельные исследования

Литература

1. Лапач С. Н. , Чубенко А. В., Бабич П. Н. Статистика в науке и бизнесе. — Киев: Морион, 2002.
2. Орлов А. И. Эконометрика. — М.: Экзамен, 2003.
3. Лагутин М. Б. Наглядная математическая статистика. В двух томах. — М.: П-центр, 2003.
4. Кобзарь А. И. Прикладная математическая статистика. — М.: Физматлит, 2006.
5. Айвазян С. А., Мхитарян В. С. Прикладная статистика. Том 1. Теория вероятностей и прикладная статистика. — М.: Юнити, 2001.
6. Айвазян С. А. Прикладная статистика. Том 2. Основы эконометрики. — М.: Юнити, 2001.
7. Кулаичев А. П. Методы и средства комплексного анализа данных. — М.: Форум–Инфра-М, 2006.
8. Тюрин Ю. Н., Макаров А. А. Анализ данных на компьютере. — М.: Инфра-М, 2003.
9. Вучков И., Бояджиева А., Солаков Е. Прикладной линейный регрессионный анализ. — М.: Финансы и статистика, 1987.
10. Лукашин Ю. П. Адаптивные методы краткосрочного прогнозирования временных рядов. — М.: Финансы и статистика, 2003.
11. Friedman R., Hastie T., Tibshirani J. The elements of statistical learning. – Springer, 2001.
12. Strijov, V., Shakin, V. Index construction: the expert-statistical method. // Environmental research, engineering and management 2003. No.4 (26), P.51-55.
13. Стрижов В. В., Казакова Т. В. Устойчивые интегральные индикаторы с выбором опорного множества описаний. // Заводская лаборатория. Диагностика материалов. 2007 (7). C. 72-76.
14. Литвак Б. Г. Экспертная информация: Методы получения и анализа. – М.: Радио и связь, 1982. – 184 с.
15. Стрижов В. В. Уточнение экспертных оценок с помощью измеряемых данных. // Заводская лаборатория. Диагностика материалов. 2006 (7). С.59-64.
16. Вуколов Э. А. Основы статистического анализа. Практикум по статистическим методам и исследованиею операций STATISTA и EXCEL / 2-е изд., испр. и доп.: Учеб. пособие. — М.:ФОРУМ, 2008. — 463 с. — ISBN 978-5-91134-231-9.

Ссылки

• Википедия: Проверка статистических гипотез
• Википедия: Статистический критерий
• Статистический Портал StatSoft
• Электронный статистический словарь StatSoft

Подстраницы

• Список студентов каф.ММП ВМиК (2008 год)