Статистический анализ данных (курс лекций, К.В.Воронцов)

Материал из MachineLearning.

(Различия между версиями)
Перейти к: навигация, поиск
м
м
Строка 12: Строка 12:
* сравнение с другими методами.
* сравнение с другими методами.
-
Курс читается студентам 5 курса кафедры [[Математические методы прогнозирования (кафедра ВМиК МГУ)|Математические методы прогнозирования ВМиК МГУ]], начиная с 2007 года. Предполагается, что студенты уже прослушали курсы теории вероятностей и математической статистики, знакомы с элементами дискриминантного, факторного и кластерного анализа (по кафедральному курсу [[Машинное обучение (курс лекций, К.В.Воронцов)|«Математические методы распознавания образов»]]), регрессионного анализа и анализа временных рядов (по кафедральному курсу ММП).
+
Курс читается студентам 5&nbsp;курса кафедры [[Математические методы прогнозирования (кафедра ВМиК МГУ)|математических методов прогнозирования ВМиК МГУ]] с 2007 года и студентам 4&nbsp;курса [[Факультет управления и прикладной математики МФТИ|факультета управления и прикладной математики МФТИ]] с 2011 года. Предполагается, что студенты уже прослушали курсы теории вероятностей и математической статистики<!---, знакомы с элементами дискриминантного, факторного и кластерного анализа (по кафедральному курсу [[Машинное обучение (курс лекций, К.В.Воронцов)|«Математические методы распознавания образов»]]), регрессионного анализа и анализа временных рядов (по кафедральному курсу ММП)--->.
== Программа курса ==
== Программа курса ==
-
 
=== Введение ===
=== Введение ===
Обзор необходимых сведений из теории вероятностей и математической статистики.
Обзор необходимых сведений из теории вероятностей и математической статистики.
-
* Понятия [[Простая выборка|простой выборки]] и [[статистика (функция выборки)|статистики]]. Примеры статистик: [[момент]]ы, [[асимметрия]] и [[эксцесс]], [[вариационный ряд]] и [[порядковые статистики]], [[эмпирическое распределение]].
+
* Понятия [[Простая выборка|простой выборки]] и [[статистика (функция выборки)|статистики]]. Примеры статистик: [[момент]]ы, [[асимметрия]] и [[эксцесс]], [[вариационный ряд]] и порядковые статистики, [[эмпирическое распределение]].
* Статистические [[точечная оценка|точечные оценки]] и их свойства: [[несмещённость]], [[состоятельность]], [[оптимальность]], [[робастность]].
* Статистические [[точечная оценка|точечные оценки]] и их свойства: [[несмещённость]], [[состоятельность]], [[оптимальность]], [[робастность]].
* [[Интервальная оценка|Интервальные оценки]], понятия [[Доверительный интервал|доверительного интервала]] и [[Коэффициент доверия|уровня доверия]]. Доверительное оценивание по вариационному ряду. Доверительные интервалы для среднего и медианы.
* [[Интервальная оценка|Интервальные оценки]], понятия [[Доверительный интервал|доверительного интервала]] и [[Коэффициент доверия|уровня доверия]]. Доверительное оценивание по вариационному ряду. Доверительные интервалы для среднего и медианы.
Строка 180: Строка 179:
* Проблема выбора модели: F-тест Фишера, [[критерий множителей Лагранжа]], [[критерий Хаусмана]].
* Проблема выбора модели: F-тест Фишера, [[критерий множителей Лагранжа]], [[критерий Хаусмана]].
* [[Ротационная панель]].
* [[Ротационная панель]].
-
 
<!---
<!---
Строка 210: Строка 208:
== Литература ==
== Литература ==
<!---# ''Лапач С.Н. , Чубенко А.В., Бабич П.Н.'' Статистика в науке и бизнесе. — Киев: Морион, 2002. --->
<!---# ''Лапач С.Н. , Чубенко А.В., Бабич П.Н.'' Статистика в науке и бизнесе. — Киев: Морион, 2002. --->
-
# ''Вальд А.'' Последовательный анализ. — М.: Физматлит, 1960.
+
# ''Вальд, А.'' Последовательный анализ. — М.: Физматлит, 1960.
-
# ''Дрейпер Н.Р., Смит Г.'' Прикладной регрессионный анализ. — М.: Издательский дом "Вильямс", 2007.
+
# ''Дрейпер, Н.Р., Смит Г.'' Прикладной регрессионный анализ. — М.: Издательский дом "Вильямс", 2007.
-
# ''Лагутин М.Б.'' Наглядная математическая статистика. В двух томах. — М.: П-центр, 2003.
+
# ''Лагутин, М.Б.'' Наглядная математическая статистика. В двух томах. — М.: П-центр, 2003.
-
# ''Лукашин Ю.П.'' Адаптивные методы краткосрочного прогнозирования временных рядов. — М.: Финансы и статистика, 2003.
+
# ''Лукашин, Ю.П.'' Адаптивные методы краткосрочного прогнозирования временных рядов. — М.: Финансы и статистика, 2003.
-
# ''Кобзарь А.И.'' Прикладная математическая статистика. — М.: Физматлит, 2006.
+
# ''Кобзарь, А.И.'' Прикладная математическая статистика. — М.: Физматлит, 2006.
-
# ''Магнус Я. Р., Катышев П. К., Пересецкий А. А.'' Эконометрика. Начальный курс: Учеб. — 7-е изд., испр. — М.: Дело, 2005.
+
# ''Магнус, Я.Р., Катышев, П.К., Пересецкий, А.А.'' Эконометрика. Начальный курс: Учеб. — 7-е изд., испр. — М.: Дело, 2005.
-
# ''Bretz F., Hothorn T., Westfall P.'' Multiple Comparisons Using R. — Boca Raton: Chapman and Hall/CRC, 2010.
+
# ''Bretz, F., Hothorn, T., Westfall, P.'' Multiple Comparisons Using R. — Boca Raton: Chapman and Hall/CRC, 2010.
-
# ''Good P.'' Permutation, Parametric and Bootstrap Tests of Hypotheses: A Practical Guide to Resampling Methods for Testing Hypotheses. — New York: Springer, 2005.
+
# ''Good, P.'' Permutation, Parametric and Bootstrap Tests of Hypotheses: A Practical Guide to Resampling Methods for Testing Hypotheses. — New York: Springer, 2005.
# {{Публикация:Hastie 2001 The Elements of Statistical Learning}}
# {{Публикация:Hastie 2001 The Elements of Statistical Learning}}
-
# ''Hosmer D.W., Lemeshow S.'' Applied Logistic Regression. — Hoboken: John Wiley & Sons, 2013.
+
# ''Hosmer, D.W., Lemeshow S.'' Applied Logistic Regression. — Hoboken: John Wiley & Sons, 2013.
-
# ''Hyndman R.J., Koehler A.B., Ord J.K., Snyder R.D.'' Forecasting with Exponential Smoothing: The State Space Approach. — Berlin: Springer, 2008.
+
# ''Hyndman, R.J., Koehler, A.B., Ord, J.K., Snyder, R.D.'' Forecasting with Exponential Smoothing: The State Space Approach. — Berlin: Springer, 2008.
-
# ''Kanji G.K.'' 100 statistical tests. — London: SAGE Publications, 2006.
+
# ''Kanji, G.K.'' 100 statistical tests. — London: SAGE Publications, 2006.
-
# ''Kirchgassner G., Wolters J., Hassler U.'' Introduction to modern time series analysis. — Heidelberg: Springer, 2013.
+
# ''Kirchgassner, G., Wolters, J., Hassler, U.'' Introduction to modern time series analysis. — Heidelberg: Springer, 2013.
-
# ''Mukhopadhyay N., de Silva B. M.'' Sequential methods and their applications. — Boca Raton: Chapman and Hall/CRC, 2009.
+
# ''Mukhopadhyay, N., de Silva, B. M.'' Sequential methods and their applications. — Boca Raton: Chapman and Hall/CRC, 2009.
-
# ''Shumway R.H, Stoffer D.S.'' Time Series Analysis and Its Applications with R Examples. — New York: Springer, 2011.
+
# ''Shumway, R.H, Stoffer, D.S.'' Time Series Analysis and Its Applications with R Examples. — New York: Springer, 2011.
-
# ''Tabachnick B.G., Fidell L.S.'' Using Multivariate Statistics. — Boston: Pearson Education, 2012.
+
# ''Tabachnick, B.G., Fidell, L.S.'' Using Multivariate Statistics. — Boston: Pearson Education, 2012.
-
# ''Wilcox R.R.'' Introduction to Robust Estimation and Hypothesis Testing. — Academic Press, 2012.
+
# ''Wilcox, R.R.'' Introduction to Robust Estimation and Hypothesis Testing. — Academic Press, 2012.
-
# ''Wooldridge J.'' Introductory Econometrics: A Modern Approach. — Mason: South-Western Cengage Learning, 2013.
+
# ''Wooldridge, J.'' Introductory Econometrics: A Modern Approach. — Mason: South-Western Cengage Learning, 2013.
<!---
<!---
# ''Орлов А. И.'' Эконометрика. — М.: Экзамен, 2003.
# ''Орлов А. И.'' Эконометрика. — М.: Экзамен, 2003.
Строка 238: Строка 236:
#''Стрижов В. В.'' [http://strijov.com/papers/strijov06precise.pdf Уточнение экспертных оценок с помощью измеряемых данных]. // Заводская лаборатория. Диагностика материалов. 2006 (7). С.59-64.
#''Стрижов В. В.'' [http://strijov.com/papers/strijov06precise.pdf Уточнение экспертных оценок с помощью измеряемых данных]. // Заводская лаборатория. Диагностика материалов. 2006 (7). С.59-64.
# ''Тюрин Ю. Н., Макаров А. А.'' Анализ данных на компьютере. — М.: Инфра-М, 2003.
# ''Тюрин Ю. Н., Макаров А. А.'' Анализ данных на компьютере. — М.: Инфра-М, 2003.
-
--->
 
== Ссылки ==
== Ссылки ==
Строка 245: Строка 242:
* [http://www.statsoft.ru/home/portal/default.asp Статистический Портал StatSoft]
* [http://www.statsoft.ru/home/portal/default.asp Статистический Портал StatSoft]
* [http://www.statsoft.ru/home/textbook/glossary Электронный статистический словарь StatSoft]
* [http://www.statsoft.ru/home/textbook/glossary Электронный статистический словарь StatSoft]
-
 
+
--->
== Подстраницы ==
== Подстраницы ==
<!---* [[Статистический анализ данных (курс лекций, К.В.Воронцов)/2008|Список студентов каф. ММП ВМК (2008 год)]]
<!---* [[Статистический анализ данных (курс лекций, К.В.Воронцов)/2008|Список студентов каф. ММП ВМК (2008 год)]]

Версия 12:54, 18 марта 2014

Содержание

Курс знакомит студентов с основными задачами и методами прикладной статистики.

Цели курса — связать теорию и практику, научить студентов «видеть» статистические задачи в различных предметных областях и правильно применять методы прикладной статистики, показать на практических примерах возможности и ограничения статистических методов. Курс имеет скорее методологическую, чем математическую направленность и не содержит доказательств теорем.

Каждый метод описывается по единой схеме:

  • постановка задачи;
  • примеры прикладных задач из области экономики, социологии, производства, медицины;
  • базовые предположения и границы применимости;
  • описание метода (для методов проверки статистических гипотез: нулевая гипотеза и альтернативы, статистика, её функция распределения с эскизом графика, критическая область);
  • достоинства, недостатки, ограничения, «подводные камни»;
  • сравнение с другими методами.

Курс читается студентам 5 курса кафедры математических методов прогнозирования ВМиК МГУ с 2007 года и студентам 4 курса факультета управления и прикладной математики МФТИ с 2011 года. Предполагается, что студенты уже прослушали курсы теории вероятностей и математической статистики.

Программа курса

Введение

Обзор необходимых сведений из теории вероятностей и математической статистики.

Материалы занятия

Параметрическая проверка гипотез

[Kanji, Кобзарь]

Материалы занятия

Непараметрическая проверка гипотез

[Кобзарь, Good, Wilcox]

Материалы занятия

Множественная проверка гипотез

[Bretz]

  • Множественная проверка гипотез. Примеры задач. Меры числа ошибок первого рода.
  • FWER, поправка Бонферрони.
  • Нисходящие процедуры множественной проверки: общий вид, метод Холма.
  • Процедуры множественной проверки гипотез при наличии дополнительной информации о признаках: независимость, subset pivotality, positive orthant dependence.
  • Оценка числа верных нулевых гипотез и её применение.
  • FDR, восходящие процедуры, методы Бенджамини-Хохберга и Бенджамини-Иекутиели.

Материалы занятия

Дисперсионный анализ (ANOVA)

[Tabachnick, Лагутин, Кобзарь].

Материалы занятия

Анализ зависимостей

[Лапач, 174, 204, 316, Лагутин, Т2:174].

Материалы занятия

Линейный регрессионный анализ

[Дрейпер, Wooldridge]

  • Многомерная линейная регрессия. Примеры прикладных задач. Метод наименьших квадратов.
  • Несимметричность решения задачи одномерной регрессии относительно признака и отклика, связь с коэффициентом корреляции. Остаточная сумма квадратов (RSS). Коэффициент детерминации
  • Предположения Гаусса-Маркова. Статистические свойства МНК-оценок в отсутствие предположения нормальности.
  • Факторы, влияющие на дисперсию оценок коэффициентов модели. Мультиколлинеарность.
  • Кодирование нечисловых признаков, фиктивные переменные. Dummy- и deviation-кодирование.
  • Статистические свойства МНК-оценок при добавлении предположения нормальности. Доверительные интервалы для дисперсии шума, коэффициентов регрессии, прогнозируемого значения отклика.
  • Анализ структуры линейной регрессионной модели. Значимость коэффициентов линейной регрессии: проверка равенства коэффициентов нулю и константе, вложенные модели линейной регрессии, критерий Фишера, запись критерия Фишера через коэффициент детерминации. Связь между критериями Фишера и Стьюдента. Пошаговая регрессия. Эксперимент Фридмана.
  • Сравнение невложенных моделей: приведённый коэффициент детерминации, критерий Давидсона-Маккиннона.
  • Анализ регрессионных остатков: визуальный анализ, проверка гипотез несмещённости, гомоскедастичности (критерии Бройша-Пагана), нормальности.
  • Обработка пропусков и выбросов. Расстояние Кука.
  • Метод Бокса-Кокса для преобразования отклика. Доверительный интервал для параметра метода.
  • Проверка общей линейной гипотезы.
  • Нелинейная регрессия. Построение совместной доверительной области для параметров модели. Приближённая проверка адекватности модели по чистой ошибке.
  • Проблема мультиколлинеарности. Методы понижения размерности: ридж-регрессия, лассо Тибширани, эластичная сеть. Выбор параметра регуляризации.

Материалы занятий: часть 1, часть 2, часть 3, пример решения задачи.

Логистическая регрессия

[Hosmer]

  • Постановка задачи логистической регрессии, повторяемый эксперимент с фиксированными уровнями фактора, неповторяемый эксперимент со случайными уровнями фактора. Логит, его интерпретация. Интерпретация коэффициентов логистической регрессии (бинарный, количественный признак).
  • Оценка параметров модели методом максимального правдоподобия. Возможные причины отсутствия сходимости.
  • Анализ модели логистической регрессии: оценка значимости коэффициентов (критерий Вальда), построение доверительных интервалов, остатки Пирсона, проверка линейности логита по признаку, признаки мультиколлинеарности.
  • Классификация на основе логистической регрессии: чувствительность, специфичность, выбор порога.

Материалы занятия

Анализ временных рядов

[Shumway, Hyndman, Лукашин, Kirchgassner]

Материалы занятий: часть 1, часть 3.

Последовательный анализ

[Вальд, Mukhopadhyay]

  • Применение в задачах проверки гипотез о значениях параметра биномиального распределения: сравнение значения с заданным, сравнение двух значений.
  • Применение в задачах проверки гипотез о значениях параметров нормального распределения: сравнение значения среднего с заданными (симметричный и несимметричный варианты), сравнение значения дисперсии с заданным.
  • Последовательные доверительные интервалы для среднего нормальной совокупности с неизвестной дисперсией (двухэтапная, последовательная процедуры). Процедуры для разности средних двух нормальных совокупностей, случаи равных и неравных дисперсий.
  • Непараметрические последовательные доверительные интервалы для среднего и медианы.

Материалы занятия

Анализ выживаемости

Анализ панельных данных

[Магнус]

Литература

  1. Вальд, А. Последовательный анализ. — М.: Физматлит, 1960.
  2. Дрейпер, Н.Р., Смит Г. Прикладной регрессионный анализ. — М.: Издательский дом "Вильямс", 2007.
  3. Лагутин, М.Б. Наглядная математическая статистика. В двух томах. — М.: П-центр, 2003.
  4. Лукашин, Ю.П. Адаптивные методы краткосрочного прогнозирования временных рядов. — М.: Финансы и статистика, 2003.
  5. Кобзарь, А.И. Прикладная математическая статистика. — М.: Физматлит, 2006.
  6. Магнус, Я.Р., Катышев, П.К., Пересецкий, А.А. Эконометрика. Начальный курс: Учеб. — 7-е изд., испр. — М.: Дело, 2005.
  7. Bretz, F., Hothorn, T., Westfall, P. Multiple Comparisons Using R. — Boca Raton: Chapman and Hall/CRC, 2010.
  8. Good, P. Permutation, Parametric and Bootstrap Tests of Hypotheses: A Practical Guide to Resampling Methods for Testing Hypotheses. — New York: Springer, 2005.
  9. Hastie, T., Tibshirani, R., Friedman, J. The Elements of Statistical Learning, 2nd edition. — Springer, 2009. — 533 p.  (подробнее)
  10. Hosmer, D.W., Lemeshow S. Applied Logistic Regression. — Hoboken: John Wiley & Sons, 2013.
  11. Hyndman, R.J., Koehler, A.B., Ord, J.K., Snyder, R.D. Forecasting with Exponential Smoothing: The State Space Approach. — Berlin: Springer, 2008.
  12. Kanji, G.K. 100 statistical tests. — London: SAGE Publications, 2006.
  13. Kirchgassner, G., Wolters, J., Hassler, U. Introduction to modern time series analysis. — Heidelberg: Springer, 2013.
  14. Mukhopadhyay, N., de Silva, B. M. Sequential methods and their applications. — Boca Raton: Chapman and Hall/CRC, 2009.
  15. Shumway, R.H, Stoffer, D.S. Time Series Analysis and Its Applications with R Examples. — New York: Springer, 2011.
  16. Tabachnick, B.G., Fidell, L.S. Using Multivariate Statistics. — Boston: Pearson Education, 2012.
  17. Wilcox, R.R. Introduction to Robust Estimation and Hypothesis Testing. — Academic Press, 2012.
  18. Wooldridge, J. Introductory Econometrics: A Modern Approach. — Mason: South-Western Cengage Learning, 2013.

Подстраницы

Личные инструменты