Статистический анализ данных (курс лекций, К.В.Воронцов)
Материал из MachineLearning.
(Различия между версиями)
м |
м |
||
| Строка 12: | Строка 12: | ||
* сравнение с другими методами. | * сравнение с другими методами. | ||
| - | Курс читается студентам 5 курса кафедры [[Математические методы прогнозирования (кафедра ВМиК МГУ)| | + | Курс читается студентам 5 курса кафедры [[Математические методы прогнозирования (кафедра ВМиК МГУ)|математических методов прогнозирования ВМиК МГУ]] с 2007 года и студентам 4 курса [[Факультет управления и прикладной математики МФТИ|факультета управления и прикладной математики МФТИ]] с 2011 года. Предполагается, что студенты уже прослушали курсы теории вероятностей и математической статистики<!---, знакомы с элементами дискриминантного, факторного и кластерного анализа (по кафедральному курсу [[Машинное обучение (курс лекций, К.В.Воронцов)|«Математические методы распознавания образов»]]), регрессионного анализа и анализа временных рядов (по кафедральному курсу ММП)--->. |
== Программа курса == | == Программа курса == | ||
| - | |||
=== Введение === | === Введение === | ||
Обзор необходимых сведений из теории вероятностей и математической статистики. | Обзор необходимых сведений из теории вероятностей и математической статистики. | ||
| - | * Понятия [[Простая выборка|простой выборки]] и [[статистика (функция выборки)|статистики]]. Примеры статистик: [[момент]]ы, [[асимметрия]] и [[эксцесс]], [[вариационный ряд]] и | + | * Понятия [[Простая выборка|простой выборки]] и [[статистика (функция выборки)|статистики]]. Примеры статистик: [[момент]]ы, [[асимметрия]] и [[эксцесс]], [[вариационный ряд]] и порядковые статистики, [[эмпирическое распределение]]. |
* Статистические [[точечная оценка|точечные оценки]] и их свойства: [[несмещённость]], [[состоятельность]], [[оптимальность]], [[робастность]]. | * Статистические [[точечная оценка|точечные оценки]] и их свойства: [[несмещённость]], [[состоятельность]], [[оптимальность]], [[робастность]]. | ||
* [[Интервальная оценка|Интервальные оценки]], понятия [[Доверительный интервал|доверительного интервала]] и [[Коэффициент доверия|уровня доверия]]. Доверительное оценивание по вариационному ряду. Доверительные интервалы для среднего и медианы. | * [[Интервальная оценка|Интервальные оценки]], понятия [[Доверительный интервал|доверительного интервала]] и [[Коэффициент доверия|уровня доверия]]. Доверительное оценивание по вариационному ряду. Доверительные интервалы для среднего и медианы. | ||
| Строка 180: | Строка 179: | ||
* Проблема выбора модели: F-тест Фишера, [[критерий множителей Лагранжа]], [[критерий Хаусмана]]. | * Проблема выбора модели: F-тест Фишера, [[критерий множителей Лагранжа]], [[критерий Хаусмана]]. | ||
* [[Ротационная панель]]. | * [[Ротационная панель]]. | ||
| - | |||
<!--- | <!--- | ||
| Строка 210: | Строка 208: | ||
== Литература == | == Литература == | ||
<!---# ''Лапач С.Н. , Чубенко А.В., Бабич П.Н.'' Статистика в науке и бизнесе. — Киев: Морион, 2002. ---> | <!---# ''Лапач С.Н. , Чубенко А.В., Бабич П.Н.'' Статистика в науке и бизнесе. — Киев: Морион, 2002. ---> | ||
| - | # ''Вальд А.'' Последовательный анализ. — М.: Физматлит, 1960. | + | # ''Вальд, А.'' Последовательный анализ. — М.: Физматлит, 1960. |
| - | # ''Дрейпер Н.Р., Смит Г.'' Прикладной регрессионный анализ. — М.: Издательский дом "Вильямс", 2007. | + | # ''Дрейпер, Н.Р., Смит Г.'' Прикладной регрессионный анализ. — М.: Издательский дом "Вильямс", 2007. |
| - | # ''Лагутин М.Б.'' Наглядная математическая статистика. В двух томах. — М.: П-центр, 2003. | + | # ''Лагутин, М.Б.'' Наглядная математическая статистика. В двух томах. — М.: П-центр, 2003. |
| - | # ''Лукашин Ю.П.'' Адаптивные методы краткосрочного прогнозирования временных рядов. — М.: Финансы и статистика, 2003. | + | # ''Лукашин, Ю.П.'' Адаптивные методы краткосрочного прогнозирования временных рядов. — М.: Финансы и статистика, 2003. |
| - | # ''Кобзарь А.И.'' Прикладная математическая статистика. — М.: Физматлит, 2006. | + | # ''Кобзарь, А.И.'' Прикладная математическая статистика. — М.: Физматлит, 2006. |
| - | # ''Магнус Я. Р., Катышев П. К., Пересецкий А. А.'' Эконометрика. Начальный курс: Учеб. — 7-е изд., испр. — М.: Дело, 2005. | + | # ''Магнус, Я.Р., Катышев, П.К., Пересецкий, А.А.'' Эконометрика. Начальный курс: Учеб. — 7-е изд., испр. — М.: Дело, 2005. |
| - | # ''Bretz F., Hothorn T., Westfall P.'' Multiple Comparisons Using R. — Boca Raton: Chapman and Hall/CRC, 2010. | + | # ''Bretz, F., Hothorn, T., Westfall, P.'' Multiple Comparisons Using R. — Boca Raton: Chapman and Hall/CRC, 2010. |
| - | # ''Good P.'' Permutation, Parametric and Bootstrap Tests of Hypotheses: A Practical Guide to Resampling Methods for Testing Hypotheses. — New York: Springer, 2005. | + | # ''Good, P.'' Permutation, Parametric and Bootstrap Tests of Hypotheses: A Practical Guide to Resampling Methods for Testing Hypotheses. — New York: Springer, 2005. |
# {{Публикация:Hastie 2001 The Elements of Statistical Learning}} | # {{Публикация:Hastie 2001 The Elements of Statistical Learning}} | ||
| - | # ''Hosmer D.W., Lemeshow S.'' Applied Logistic Regression. — Hoboken: John Wiley & Sons, 2013. | + | # ''Hosmer, D.W., Lemeshow S.'' Applied Logistic Regression. — Hoboken: John Wiley & Sons, 2013. |
| - | # ''Hyndman R.J., Koehler A.B., Ord J.K., Snyder R.D.'' Forecasting with Exponential Smoothing: The State Space Approach. — Berlin: Springer, 2008. | + | # ''Hyndman, R.J., Koehler, A.B., Ord, J.K., Snyder, R.D.'' Forecasting with Exponential Smoothing: The State Space Approach. — Berlin: Springer, 2008. |
| - | # ''Kanji G.K.'' 100 statistical tests. — London: SAGE Publications, 2006. | + | # ''Kanji, G.K.'' 100 statistical tests. — London: SAGE Publications, 2006. |
| - | # ''Kirchgassner G., Wolters J., Hassler U.'' Introduction to modern time series analysis. — Heidelberg: Springer, 2013. | + | # ''Kirchgassner, G., Wolters, J., Hassler, U.'' Introduction to modern time series analysis. — Heidelberg: Springer, 2013. |
| - | # ''Mukhopadhyay N., de Silva B. M.'' Sequential methods and their applications. — Boca Raton: Chapman and Hall/CRC, 2009. | + | # ''Mukhopadhyay, N., de Silva, B. M.'' Sequential methods and their applications. — Boca Raton: Chapman and Hall/CRC, 2009. |
| - | # ''Shumway R.H, Stoffer D.S.'' Time Series Analysis and Its Applications with R Examples. — New York: Springer, 2011. | + | # ''Shumway, R.H, Stoffer, D.S.'' Time Series Analysis and Its Applications with R Examples. — New York: Springer, 2011. |
| - | # ''Tabachnick B.G., Fidell L.S.'' Using Multivariate Statistics. — Boston: Pearson Education, 2012. | + | # ''Tabachnick, B.G., Fidell, L.S.'' Using Multivariate Statistics. — Boston: Pearson Education, 2012. |
| - | # ''Wilcox R.R.'' Introduction to Robust Estimation and Hypothesis Testing. — Academic Press, 2012. | + | # ''Wilcox, R.R.'' Introduction to Robust Estimation and Hypothesis Testing. — Academic Press, 2012. |
| - | # ''Wooldridge J.'' Introductory Econometrics: A Modern Approach. — Mason: South-Western Cengage Learning, 2013. | + | # ''Wooldridge, J.'' Introductory Econometrics: A Modern Approach. — Mason: South-Western Cengage Learning, 2013. |
<!--- | <!--- | ||
# ''Орлов А. И.'' Эконометрика. — М.: Экзамен, 2003. | # ''Орлов А. И.'' Эконометрика. — М.: Экзамен, 2003. | ||
| Строка 238: | Строка 236: | ||
#''Стрижов В. В.'' [http://strijov.com/papers/strijov06precise.pdf Уточнение экспертных оценок с помощью измеряемых данных]. // Заводская лаборатория. Диагностика материалов. 2006 (7). С.59-64. | #''Стрижов В. В.'' [http://strijov.com/papers/strijov06precise.pdf Уточнение экспертных оценок с помощью измеряемых данных]. // Заводская лаборатория. Диагностика материалов. 2006 (7). С.59-64. | ||
# ''Тюрин Ю. Н., Макаров А. А.'' Анализ данных на компьютере. — М.: Инфра-М, 2003. | # ''Тюрин Ю. Н., Макаров А. А.'' Анализ данных на компьютере. — М.: Инфра-М, 2003. | ||
| - | |||
== Ссылки == | == Ссылки == | ||
| Строка 245: | Строка 242: | ||
* [http://www.statsoft.ru/home/portal/default.asp Статистический Портал StatSoft] | * [http://www.statsoft.ru/home/portal/default.asp Статистический Портал StatSoft] | ||
* [http://www.statsoft.ru/home/textbook/glossary Электронный статистический словарь StatSoft] | * [http://www.statsoft.ru/home/textbook/glossary Электронный статистический словарь StatSoft] | ||
| - | + | ---> | |
== Подстраницы == | == Подстраницы == | ||
<!---* [[Статистический анализ данных (курс лекций, К.В.Воронцов)/2008|Список студентов каф. ММП ВМК (2008 год)]] | <!---* [[Статистический анализ данных (курс лекций, К.В.Воронцов)/2008|Список студентов каф. ММП ВМК (2008 год)]] | ||
Версия 12:54, 18 марта 2014
Курс знакомит студентов с основными задачами и методами прикладной статистики.
Цели курса — связать теорию и практику, научить студентов «видеть» статистические задачи в различных предметных областях и правильно применять методы прикладной статистики, показать на практических примерах возможности и ограничения статистических методов. Курс имеет скорее методологическую, чем математическую направленность и не содержит доказательств теорем.
Каждый метод описывается по единой схеме:
- постановка задачи;
- примеры прикладных задач из области экономики, социологии, производства, медицины;
- базовые предположения и границы применимости;
- описание метода (для методов проверки статистических гипотез: нулевая гипотеза и альтернативы, статистика, её функция распределения с эскизом графика, критическая область);
- достоинства, недостатки, ограничения, «подводные камни»;
- сравнение с другими методами.
Курс читается студентам 5 курса кафедры математических методов прогнозирования ВМиК МГУ с 2007 года и студентам 4 курса факультета управления и прикладной математики МФТИ с 2011 года. Предполагается, что студенты уже прослушали курсы теории вероятностей и математической статистики.
Программа курса
Введение
Обзор необходимых сведений из теории вероятностей и математической статистики.
- Понятия простой выборки и статистики. Примеры статистик: моменты, асимметрия и эксцесс, вариационный ряд и порядковые статистики, эмпирическое распределение.
- Статистические точечные оценки и их свойства: несмещённость, состоятельность, оптимальность, робастность.
- Интервальные оценки, понятия доверительного интервала и уровня доверия. Доверительное оценивание по вариационному ряду. Доверительные интервалы для среднего и медианы.
- Часто используемые распределения: нормальное, хи-квадрат, Фишера, Стьюдента, Бернулли, биномиальное, гипергеометрическое.
- Проверка статистических гипотез, основные понятия: уровень значимости, достигаемый уровень значимости (p-value), ошибки I и II рода. Односторонние и двусторонние альтернативы.
- Свойства достигаемых уровней значимости.
- Свойства критериев: несмещённость, состоятельность, равномерная мощность.
Параметрическая проверка гипотез
[Kanji, Кобзарь]
- Критерии нормальности: критерий хи-квадрат (Пирсона), Критерий Шапиро-Уилка, критерии, основанные на различиях между эмпирической и теоретической функциями распределения, критерий Колмогорова-Смирнова (Лиллиефорса). Упрощённая проверка нормальности по асимметрии и эксцессу: критерий Жарка-Бера.
- Нормальные параметрические критерии для проверки гипотез: гипотезы о положении, гипотезы о рассеивании [Лапач, §3.2]. Примеры прикладных задач.
- Гипотеза о равенстве средних: критерий Стьюдента для одной и двух выборок, Z-критерий для одной и двух выборок, связанные выборки
- Гипотеза о равенстве дисперсий: критерий Фишера.
- Гипотезы о значениях параметра распределения Бернулли: сравнение значения параметра с заданным, сравнение параметров распределений двух выборок (случаи парных и независимых выборок).
- Доверительный интервал для параметра распределения Бернулли: Вальда, Уилсона. Доверительные интервалы Уилсона для разности параметров двух выборок.
Непараметрическая проверка гипотез
[Кобзарь, Good, Wilcox]
- Критерии знаков: одновыборочный, для связных выборок.
- Вариационный ряд, ранги и связки.
- Ранговые критерии: критерий Уилкоксона-Манна-Уитни, критерий Уилкоксона двухвыборочный, критерий Уилкоксона для связных выборок, критерий Зигеля-Тьюки, WM-критерий.
- Перестановочные критерии. Проверка гипотез о положении (одновыборочный, для связных выборок, для независимых выборок), проверка гипотезы о рассеивании.
- Двухвыборочные критерии согласия: Колмогорова-Смирнова, Крамера-фон Мизеса (Андерсона).
- Функция сдвига и доверительная лента для неё.
Множественная проверка гипотез
[Bretz]
- Множественная проверка гипотез. Примеры задач. Меры числа ошибок первого рода.
- FWER, поправка Бонферрони.
- Нисходящие процедуры множественной проверки: общий вид, метод Холма.
- Процедуры множественной проверки гипотез при наличии дополнительной информации о признаках: независимость, subset pivotality, positive orthant dependence.
- Оценка числа верных нулевых гипотез и её применение.
- FDR, восходящие процедуры, методы Бенджамини-Хохберга и Бенджамини-Иекутиели.
Дисперсионный анализ (ANOVA)
[Tabachnick, Лагутин, Кобзарь].
- Однофакторная модель. Независимые выборки: критерии Фишера, Краскела-Уоллиса, Джонкхиера. Связные выборки: критерии Фишера, Фридмана и Пейджа
- Модель со случайным эффектом, разделение дисперсии.
- Модель с фиксированным эффектом, уточнение различий: методы LSD и HSD, критерий Неменьи.
- Проверка гипотезы о равенстве дисперсий: критерии Бартлета и квадратов рангов.
- Двухфакторная модель. Взаимодействие факторов, его интерпретация. Двухфакторный нормальный анализ. Иерархический дизайн.
Анализ зависимостей
[Лапач, 174, 204, 316, Лагутин, Т2:174].
- Корреляция Пирсона. Значимость коэффициента корреляции: критерий Стьюдента, перестановочный критерий.
- Ранговая корреляция: коэффициент корреляции Спирмена, коэффициент корреляции Кенделла, их значимость. Связь коэффициентов корреляции.
- Частная корреляция, значимость коэффициента частной корреляции (критерий Стьюдента).
- Множественная корреляция, значимость коэффициента множественной корреляции (критерий Фишера).
- Таблица сопряженности 2×2. Проверка гипотезы независимости бинарных величин: критерий хи-квадрат, точный критерий Фишера, критерий Мак-Нимара. Корреляция Мэтьюса.
- Парадокс хи-квадрат.
Линейный регрессионный анализ
[Дрейпер, Wooldridge]
- Многомерная линейная регрессия. Примеры прикладных задач. Метод наименьших квадратов.
- Несимметричность решения задачи одномерной регрессии относительно признака и отклика, связь с коэффициентом корреляции. Остаточная сумма квадратов (RSS). Коэффициент детерминации
- Предположения Гаусса-Маркова. Статистические свойства МНК-оценок в отсутствие предположения нормальности.
- Факторы, влияющие на дисперсию оценок коэффициентов модели. Мультиколлинеарность.
- Кодирование нечисловых признаков, фиктивные переменные. Dummy- и deviation-кодирование.
- Статистические свойства МНК-оценок при добавлении предположения нормальности. Доверительные интервалы для дисперсии шума, коэффициентов регрессии, прогнозируемого значения отклика.
- Анализ структуры линейной регрессионной модели. Значимость коэффициентов линейной регрессии: проверка равенства коэффициентов нулю и константе, вложенные модели линейной регрессии, критерий Фишера, запись критерия Фишера через коэффициент детерминации. Связь между критериями Фишера и Стьюдента. Пошаговая регрессия. Эксперимент Фридмана.
- Сравнение невложенных моделей: приведённый коэффициент детерминации, критерий Давидсона-Маккиннона.
- Анализ регрессионных остатков: визуальный анализ, проверка гипотез несмещённости, гомоскедастичности (критерии Бройша-Пагана), нормальности.
- Обработка пропусков и выбросов. Расстояние Кука.
- Метод Бокса-Кокса для преобразования отклика. Доверительный интервал для параметра метода.
- Проверка общей линейной гипотезы.
- Нелинейная регрессия. Построение совместной доверительной области для параметров модели. Приближённая проверка адекватности модели по чистой ошибке.
- Проблема мультиколлинеарности. Методы понижения размерности: ридж-регрессия, лассо Тибширани, эластичная сеть. Выбор параметра регуляризации.
Материалы занятий: часть 1, часть 2, часть 3, пример решения задачи.
Логистическая регрессия
[Hosmer]
- Постановка задачи логистической регрессии, повторяемый эксперимент с фиксированными уровнями фактора, неповторяемый эксперимент со случайными уровнями фактора. Логит, его интерпретация. Интерпретация коэффициентов логистической регрессии (бинарный, количественный признак).
- Оценка параметров модели методом максимального правдоподобия. Возможные причины отсутствия сходимости.
- Анализ модели логистической регрессии: оценка значимости коэффициентов (критерий Вальда), построение доверительных интервалов, остатки Пирсона, проверка линейности логита по признаку, признаки мультиколлинеарности.
- Классификация на основе логистической регрессии: чувствительность, специфичность, выбор порога.
Анализ временных рядов
[Shumway, Hyndman, Лукашин, Kirchgassner]
- Временной ряд. Основные компоненты эконометрических временных рядов: тренд, сезонность, календарные эффекты.
- Анализ остатков. Автокорреляционная функция. Коррелограмма и её интерпретация. Проверка гипотезы о равенстве нулю автокорреляции и группы автокорреляций (критерий Льюнга-Бокса). Проверка гипотезы стационарности (критерий KPSS).
- Модели AR, MA, ARMA. Частичная автокорреляция. Подбор параметров модели по коррелограммам. Переход к ряду разностей, модель ARIMA.
- Информационные критерии сравнения моделей.
- Сезонные эффекты и модели их учёта: SARMA, SARIMA.
- Учёт дополнительных признаков, модель regARIMA. Схема настройки параметров модели.
- Адаптивные алгоритмы краткосрочного прогнозирования. Модели тренда, сезонность. Запись с помощью пространства состояний. Оценка параметров модели.
- Обнаружение структурных изменений. Критерий Чоу.
- Меры качества прогнозов, примеры оценок. Информационные критерии. U-коэффициент Тейла.
- Сравнение качества двух прогнозов. Непараметрические критерии, критерий Диболда-Мариано, его модификация для маленьких выборок.
- Сравнение качества нескольких прогнозов. Reality check Уайта, модификация Романо-Вольфа.
- Причинность по Грейнджеру. Критерий Грейнджера (для двух рядов, для множества рядов).
- Адаптивная селекция моделей прогнозирования.
- Адаптивная композиция моделей прогнозирования.
Материалы занятий: часть 1, часть 3.
Последовательный анализ
[Вальд, Mukhopadhyay]
- Применение в задачах проверки гипотез о значениях параметра биномиального распределения: сравнение значения с заданным, сравнение двух значений.
- Применение в задачах проверки гипотез о значениях параметров нормального распределения: сравнение значения среднего с заданными (симметричный и несимметричный варианты), сравнение значения дисперсии с заданным.
- Последовательные доверительные интервалы для среднего нормальной совокупности с неизвестной дисперсией (двухэтапная, последовательная процедуры). Процедуры для разности средних двух нормальных совокупностей, случаи равных и неравных дисперсий.
- Непараметрические последовательные доверительные интервалы для среднего и медианы.
Анализ выживаемости
- Анализ выживаемости. Функция выживаемости и функция интенсивности рисков. Процедура Каплана-Мейера. Доверительный интервал выживаемости.
- Сравнение двух функций выживаемости: логранговый критерий, критерий Гехана.
Анализ панельных данных
[Магнус]
- Примеры эконометрических задач: анализ стран, фирм, домашних хозяйств, телезрителей.
- Объединённая модель панельных данных.
- Модель панельных данных с фиксированными эффектами.
- Модель панельных данных со случайными эффектами.
- Модель панельных данных с временны́ми эффектами.
- Модель несвязанных регрессий.
- Проблема выбора модели: F-тест Фишера, критерий множителей Лагранжа, критерий Хаусмана.
- Ротационная панель.
Литература
- Вальд, А. Последовательный анализ. — М.: Физматлит, 1960.
- Дрейпер, Н.Р., Смит Г. Прикладной регрессионный анализ. — М.: Издательский дом "Вильямс", 2007.
- Лагутин, М.Б. Наглядная математическая статистика. В двух томах. — М.: П-центр, 2003.
- Лукашин, Ю.П. Адаптивные методы краткосрочного прогнозирования временных рядов. — М.: Финансы и статистика, 2003.
- Кобзарь, А.И. Прикладная математическая статистика. — М.: Физматлит, 2006.
- Магнус, Я.Р., Катышев, П.К., Пересецкий, А.А. Эконометрика. Начальный курс: Учеб. — 7-е изд., испр. — М.: Дело, 2005.
- Bretz, F., Hothorn, T., Westfall, P. Multiple Comparisons Using R. — Boca Raton: Chapman and Hall/CRC, 2010.
- Good, P. Permutation, Parametric and Bootstrap Tests of Hypotheses: A Practical Guide to Resampling Methods for Testing Hypotheses. — New York: Springer, 2005.
- Hastie, T., Tibshirani, R., Friedman, J. The Elements of Statistical Learning, 2nd edition. — Springer, 2009. — 533 p. (подробнее)
- Hosmer, D.W., Lemeshow S. Applied Logistic Regression. — Hoboken: John Wiley & Sons, 2013.
- Hyndman, R.J., Koehler, A.B., Ord, J.K., Snyder, R.D. Forecasting with Exponential Smoothing: The State Space Approach. — Berlin: Springer, 2008.
- Kanji, G.K. 100 statistical tests. — London: SAGE Publications, 2006.
- Kirchgassner, G., Wolters, J., Hassler, U. Introduction to modern time series analysis. — Heidelberg: Springer, 2013.
- Mukhopadhyay, N., de Silva, B. M. Sequential methods and their applications. — Boca Raton: Chapman and Hall/CRC, 2009.
- Shumway, R.H, Stoffer, D.S. Time Series Analysis and Its Applications with R Examples. — New York: Springer, 2011.
- Tabachnick, B.G., Fidell, L.S. Using Multivariate Statistics. — Boston: Pearson Education, 2012.
- Wilcox, R.R. Introduction to Robust Estimation and Hypothesis Testing. — Academic Press, 2012.
- Wooldridge, J. Introductory Econometrics: A Modern Approach. — Mason: South-Western Cengage Learning, 2013.
