Статистический анализ данных (курс лекций, К.В.Воронцов)/2013, ФУПМ
Материал из MachineLearning.
м (→Оценки) |
м |
||
(34 промежуточные версии не показаны) | |||
Строка 2: | Строка 2: | ||
= Оценки = | = Оценки = | ||
{|class = "standard sortable" | {|class = "standard sortable" | ||
- | ! class="unsortable"| Студент !! #1 ( | + | ! class="unsortable"| Студент !! #1 (2 балла) !! #2 (3 балла) !! Рецензирование #2 (2 балла) !! #3 (3 балла) !! Участие в семинаре !! Сумма |
|- | |- | ||
- | | align="center"| Адуенко Александр || 2 || || (Иванова) || || 2 || | + | | align="center"| Адуенко Александр || 2 || 3 || 2 (Иванова) || 3 || 2 || 12 |
|- | |- | ||
- | | align="center"| Бочкарева Валерия || 1.9 || || (Смоляков) || || || | + | | align="center"| Бочкарева Валерия || 1.9 || 3 || 0 (Смоляков) || 2.9 || || 7.8 |
|- | |- | ||
- | | align="center"| Варфоломеева Анна || 1.9 || || (Стенин) || || || | + | | align="center"| Варфоломеева Анна || 1.9 || 2.7 || 0 (Стенин) || 3 || || 7.6 |
|- | |- | ||
- | | align="center"| Глебов Антон || 2 || || | + | | align="center"| Глебов Антон || 2 || 3 || 0 || || || 5 |
|- | |- | ||
- | | align="center"| Ефимов Кирилл || 2 || || (Целых) || || || | + | | align="center"| Ефимов Кирилл || 2 || 2.8 || 2 (Целых) || 2.7 || || 9.5 |
|- | |- | ||
- | | align="center"| Иванова Алина || 1.8 || || (Бочкарева) || || || | + | | align="center"| Иванова Алина || 1.8 || 3 || 2 (Бочкарева) || || || 6.8 |
|- | |- | ||
- | | align="center"| Клочков Егор || 0 || || || || || | + | | align="center"| Клочков Егор || 0 || 2.5 || 0 (Лобастов) || || || 2.5 |
|- | |- | ||
- | | align="center"| Кузьмин Арсентий || 2 || || (Медведникова) || || || | + | | align="center"| Кузьмин Арсентий || 2 || 3 || 2 (Медведникова) || 3 || || 10 |
|- | |- | ||
- | | align="center"| Лобастов Степан || 2 || || | + | | align="center"| Лобастов Степан || 2 || 3 || 0 (Клочков) || || || 5 |
|- | |- | ||
- | | align="center"| Медведникова Мария || 2 || || (Варфоломеева) || || || | + | | align="center"| Медведникова Мария || 2 || 3 || 2 (Варфоломеева) || 3 || || 10 |
|- | |- | ||
- | | align="center"| Стенин Сергей || 2 || || (Шпакова) || || || | + | | align="center"| Стенин Сергей || 2 || 3 || 2 (Шпакова) || 3 || || 10 |
|- | |- | ||
- | | align="center"| Смоляков Дмитрий || 0.4 || || (Цыганова) || || || | + | | align="center"| Смоляков Дмитрий || 0.4 || 2.6 || 0 (Цыганова) || 2.7 || || 5.7 |
|- | |- | ||
- | | align="center"| Целых Влада || 2 || || (Кузьмин) || || || | + | | align="center"| Целых Влада || 2 || 3 || 2 (Кузьмин) || 3 || || 10 |
|- | |- | ||
- | | align="center"| Цыганова Светлана || 2 || || (Ефимов) || || || | + | | align="center"| Цыганова Светлана || 2 || 3 || 0 (Ефимов) || 2.6 || || 7.6 |
|- | |- | ||
- | | align="center"| Шпакова Татьяна || 2 || || (Адуенко) || || || | + | | align="center"| Шпакова Татьяна || 2 || 3 || 2 (Адуенко) || 2.9 || || 9.9 |
|- | |- | ||
- | | align="center"| Шульга Александр || | + | | align="center"| Шульга Александр || 0 || || || || || |
|} | |} | ||
Строка 90: | Строка 90: | ||
Требуется исследовать поведение указанной пары статистических критериев, подходящих для решения одной и той же задачи, сравнить мощность и достигаемые уровни значимости и сделать выводы о границах применимости критериев. Необходимо для каждого из критериев построить графики зависимости достигаемых уровней значимости и оценок мощностей от параметров, и показать, в каких областях изменения параметров предпочтительнее использовать тот или иной критерий. Для получения более гладких графиков рекомендуется применять оба критерия к одним и тем же выборкам, а не генерировать их отдельно для каждого критерия. | Требуется исследовать поведение указанной пары статистических критериев, подходящих для решения одной и той же задачи, сравнить мощность и достигаемые уровни значимости и сделать выводы о границах применимости критериев. Необходимо для каждого из критериев построить графики зависимости достигаемых уровней значимости и оценок мощностей от параметров, и показать, в каких областях изменения параметров предпочтительнее использовать тот или иной критерий. Для получения более гладких графиков рекомендуется применять оба критерия к одним и тем же выборкам, а не генерировать их отдельно для каждого критерия. | ||
* <tex>X_1^n, \;\; X_{1i} \sim Ber(p_1),\;\;X_2^n, \;\; X_{2i} \sim Ber(p_2), \;\; corr(X_{1i}, X_{2i})=\rho;</tex> <br> <tex>H_0\,:</tex> выборки независимы, <tex>\;H_1\,:\,H_0</tex> неверна. <br> Чтобы сгенерировать коррелированные Бернуллиевские случайные величины, используется следующий метод<ref>Park, C., Park, T., & Shin, D. (1996). A simple method for generating correlated binary variates. The American Statistician, 50(4), 306–310.</ref>. Пусть <tex>t\left(\lambda\right)</tex> — случайная величина, имеющая распределение Пуассона с параметром <tex>\lambda</tex>. Обозначим <tex>\lambda_1 = -\log p_1, \;\; \lambda_2 = -\log p_2, \;\; \lambda_{12} = \log\left(1+\rho\sqrt{\frac{1-p_1}{p_1} \frac{1-p_2}{p_2} }\right).</tex> <br>Искомую пару случайных величин <tex>X_{1i},X_{2i}</tex> можно получить следующим образом:<br> <tex>X_{1i} = \left[t_1\left(\lambda_1-\lambda_{12}\right) + t_3\left(\lambda_{12}\right)\right], <br> X_{2i} = \left[t_2\left(\lambda_2-\lambda_{12}\right) + t_3\left(\lambda_{12}\right)\right],</tex><br> где квадратные скобки обозначают индикаторную функцию.<br> Метод работает при <tex>\rho\geq0;</tex> для случаев <tex>\rho<0</tex> генерируются выборки с корреляцией <tex>\left|\rho\right|,</tex> после чего одна из выборок инвертируется (нули и заменяются на единицы и наоборот). | * <tex>X_1^n, \;\; X_{1i} \sim Ber(p_1),\;\;X_2^n, \;\; X_{2i} \sim Ber(p_2), \;\; corr(X_{1i}, X_{2i})=\rho;</tex> <br> <tex>H_0\,:</tex> выборки независимы, <tex>\;H_1\,:\,H_0</tex> неверна. <br> Чтобы сгенерировать коррелированные Бернуллиевские случайные величины, используется следующий метод<ref>Park, C., Park, T., & Shin, D. (1996). A simple method for generating correlated binary variates. The American Statistician, 50(4), 306–310.</ref>. Пусть <tex>t\left(\lambda\right)</tex> — случайная величина, имеющая распределение Пуассона с параметром <tex>\lambda</tex>. Обозначим <tex>\lambda_1 = -\log p_1, \;\; \lambda_2 = -\log p_2, \;\; \lambda_{12} = \log\left(1+\rho\sqrt{\frac{1-p_1}{p_1} \frac{1-p_2}{p_2} }\right).</tex> <br>Искомую пару случайных величин <tex>X_{1i},X_{2i}</tex> можно получить следующим образом:<br> <tex>X_{1i} = \left[t_1\left(\lambda_1-\lambda_{12}\right) + t_3\left(\lambda_{12}\right)\right], <br> X_{2i} = \left[t_2\left(\lambda_2-\lambda_{12}\right) + t_3\left(\lambda_{12}\right)\right],</tex><br> где квадратные скобки обозначают индикаторную функцию.<br> Метод работает при <tex>\rho\geq0;</tex> для случаев <tex>\rho<0</tex> генерируются выборки с корреляцией <tex>\left|\rho\right|,</tex> после чего одна из выборок инвертируется (нули и заменяются на единицы и наоборот). | ||
- | :: | + | ::: <tex>p_1=\frac{1}{2}, \;\; p_2 = 0.01\,:\,0.01\,:\,0.99, \;\; \rho = -1\,:\,0.01\,:\,1, \;\; n = 30. </tex> Сравнить критерий хи-квадрат и точный критерий Фишера. |
- | :: | + | ::: <tex>p_1=\frac{1}{2}, \;\; p_2 = \frac{1}{2}, \;\; \rho = -1\,:\,0.01\,:\,1, \;\; n = 10\,:\,1\,:\,50. </tex> Сравнить G-критерий и точный критерий Фишера. |
- | :: | + | ::: <tex>p_1=0.01\,:\,0.01\,:\,0.99, \;\; p_2 = 0.01\,:\,0.01\,:\,0.99, \;\; \rho = 0.75, \;\; n = 30. </tex> Сравнить G-критерий и критерий хи-квадрат. |
* <tex>X^n, \;\; X_i\sim Ber(p); </tex><br> <tex>H_0\,:\, p=\frac{1}{2}, \;\; H_1\,:\, p\neq\frac{1}{2};</tex><br> <tex>p=0.01\,:\,0.01\,:\,0.99, \;\; n=5\,:\,1\,:\,50.</tex> | * <tex>X^n, \;\; X_i\sim Ber(p); </tex><br> <tex>H_0\,:\, p=\frac{1}{2}, \;\; H_1\,:\, p\neq\frac{1}{2};</tex><br> <tex>p=0.01\,:\,0.01\,:\,0.99, \;\; n=5\,:\,1\,:\,50.</tex> | ||
- | :: | + | ::: сравнить критерии, основанные на доверительных интервалах Вальда и Уилсона (нулевая гипотеза отвергается на уровне значимости 5%, если 95% доверительный интервал для параметра не содержит <tex>\frac{1}{2}</tex>). |
* <tex>X^n, \;\; X_i\sim N(\mu,\sigma); </tex><br> <tex>H_0\,:</tex> среднее значение <tex>X</tex> равно нулю, <tex>H_1\,:</tex> среднее значение <tex>X</tex> не равно нулю; <br> <tex>\mu=-2\,:\,0.01\,:\,2, \;\; \sigma=1, \;\; n=5\,:\,1\,:\,50.</tex> | * <tex>X^n, \;\; X_i\sim N(\mu,\sigma); </tex><br> <tex>H_0\,:</tex> среднее значение <tex>X</tex> равно нулю, <tex>H_1\,:</tex> среднее значение <tex>X</tex> не равно нулю; <br> <tex>\mu=-2\,:\,0.01\,:\,2, \;\; \sigma=1, \;\; n=5\,:\,1\,:\,50.</tex> | ||
- | :: | + | ::: сравнить одновыборочные T- и Z-критерии. |
- | :: | + | ::: сравнить одновыборочный T-критерий и критерий знаковых рангов Уилкоксона. |
- | :: | + | ::: сравнить одновыборочный перестановочный критерий и критерий знаковых рангов Уилкоксона. |
- | :: | + | ::: сравнить Z-критерий и одновыборочный перестановочный критерий для известной дисперсии. |
* <tex>X_1^n, \;\; X_{1i} \sim N(\mu_1, \sigma_1^2),\;\;X_2^m, \;\; X_{2i} \sim N(\mu_2, \sigma_2^2);</tex> <br> <tex>H_0\,:</tex> дисперсии выборок равны, <tex>H_1\,:</tex> дисперсии выборок не равны;<br><tex>\mu_1=0, \;\; \sigma_1=1.</tex> | * <tex>X_1^n, \;\; X_{1i} \sim N(\mu_1, \sigma_1^2),\;\;X_2^m, \;\; X_{2i} \sim N(\mu_2, \sigma_2^2);</tex> <br> <tex>H_0\,:</tex> дисперсии выборок равны, <tex>H_1\,:</tex> дисперсии выборок не равны;<br><tex>\mu_1=0, \;\; \sigma_1=1.</tex> | ||
- | :: | + | ::: <tex>\mu_2=0, \;\; \sigma_2 = 0.5\,:\,0.01\,:\,2, \;\; n=m=5\,:\,1\,:\,50.</tex> Сравнить критерий Фишера и WM-критерий. |
- | :: | + | ::: <tex>\mu_2=-5\,:\,0.05\,:\,5, \;\; \sigma_2 = 0.5\,:\,0.01\,:\,2, \;\; n=m=50.</tex> Сравнить WM-критерий и критерий Зигеля-Тьюки. |
- | :: | + | ::: <tex>\mu_2=1, \;\; \sigma_2 = 0.5\,:\,0.01\,:\,2, \;\; n=30, \;\; m=5\,:\,1\,:\,50.</tex> Сравнить критерий Фишера и критерий Зигеля-Тьюки. |
- | :: | + | ::: <tex>\mu_2=0, \;\; \sigma_2 = 0.5\,:\,0.01\,:\,2, \;\; n=m=5\,:\,1\,:\,50.</tex> Сравнить WM-критерий и перестановочный критерий. |
* <tex>X^n, \;\; X \sim p\cdot N(0,1)+ \left(1-p\right)\cdot U\left[-a,a\right]</tex> — выборка длины <tex>n</tex> из смеси стандартного нормального <tex>N(0,1)</tex> и равномерного <tex>U\left[-a,a\right]</tex> распределений с весами <tex>p</tex> и <tex>1-p</tex> соответственно (при генерации выборки используется случайный датчик — если его значение не превосходит <tex>p</tex>, то добавляем в выборку элемент, взятый из нормального распределения, иначе — элемент, взятый из равномерного). <br> <tex> H_0\,:</tex>распределение <tex>X</tex> нормально, <tex>H_1\,:\; H_0 </tex> неверна; <br> <tex> n=10\,:\,5\,:\,100.</tex> | * <tex>X^n, \;\; X \sim p\cdot N(0,1)+ \left(1-p\right)\cdot U\left[-a,a\right]</tex> — выборка длины <tex>n</tex> из смеси стандартного нормального <tex>N(0,1)</tex> и равномерного <tex>U\left[-a,a\right]</tex> распределений с весами <tex>p</tex> и <tex>1-p</tex> соответственно (при генерации выборки используется случайный датчик — если его значение не превосходит <tex>p</tex>, то добавляем в выборку элемент, взятый из нормального распределения, иначе — элемент, взятый из равномерного). <br> <tex> H_0\,:</tex>распределение <tex>X</tex> нормально, <tex>H_1\,:\; H_0 </tex> неверна; <br> <tex> n=10\,:\,5\,:\,100.</tex> | ||
- | :: | + | ::: <tex>a=1, \;\; p=0\,:\,0.02\,:\,1.</tex> Сравнить критерии Шапиро-Уилка и хи-квадрат. |
- | :: | + | ::: <tex>a=2, \;\; p=0\,:\,0.02\,:\,1.</tex> Сравнить критерии Жарка-Бера и Шапиро-Уилка. |
* <tex>X_1^{n_1}, \;\; X_{1i} \sim N(\mu_1, \sigma_1^2),\;\;X_2^{n_2}, \;\; X_{2i} \sim N(\mu_2, \sigma_2^2);</tex> <br> <tex>H_0\,:</tex> средние выборок равны, <tex>H_1\,:</tex> средние выборок не равны;<br><tex>\mu_1=0, \;\; \sigma_1=1.</tex> | * <tex>X_1^{n_1}, \;\; X_{1i} \sim N(\mu_1, \sigma_1^2),\;\;X_2^{n_2}, \;\; X_{2i} \sim N(\mu_2, \sigma_2^2);</tex> <br> <tex>H_0\,:</tex> средние выборок равны, <tex>H_1\,:</tex> средние выборок не равны;<br><tex>\mu_1=0, \;\; \sigma_1=1.</tex> | ||
- | :: | + | ::: <tex>\mu_2=-2\,:\,0.02,\:\,2, \;\; \sigma_2 = 0.5\,:\,0.01\,:\,2, \;\; n=m=30.</tex> Сравнить критерий Стьюдента для неизвестных равных дисперсий и двухвыборочный перестановочный критерий. |
- | :: | + | ::: <tex>\mu_2=-2\,:\,0.02,\:\,2, \;\; \sigma_2 = 1, \;\; n=m=5\,:\,1\,:\,50.</tex> Сравнить критерий Аспина-Уэлша и двухвыборочный перестановочный критерий. |
= Задание 2. Анализ реальных данных = | = Задание 2. Анализ реальных данных = | ||
Строка 124: | Строка 124: | ||
Предварительные версии отчётов принимаются до '''23:59 5.05''', финальные, по результатам работы с рецензентом — до '''23:59 15.05'''. | Предварительные версии отчётов принимаются до '''23:59 5.05''', финальные, по результатам работы с рецензентом — до '''23:59 15.05'''. | ||
== Задания == | == Задания == | ||
+ | === Клетки опухолей груди === | ||
+ | [[Изображение:92_6682.gif|200px|thumb|Гистохимия пунктата злокачественной опухоли.]] | ||
+ | 357 испытуемым с доброкачественными и 212 со злокачественными опухолями груди была сделана тонкоигольная аспирационная пункция с гистологическим исследованием пунктата. По полученным изображениям определялись следующие признаки опухолевых клеток: радиус, однородность текстуры, периметр, площадь, гладкость, компактность, степень вогнутости, доля вогнутых участков контура, симметричность, фрактальная размерность. Для каждого изображения были рассчитаны среднее значение каждого из этих признаков, стандартное отклонение и среднее по трём клеткам с максимальным значением признака. | ||
+ | ::: оценить вероятность того, что опухоль злокачественная, по набору рассчитанных по изображению признаков. Построить функции, дающие точечную оценку и границы 95% доверительного интервала. Подобрать порог на вероятность для классификации. | ||
+ | |||
=== Эффективность тромболитической терапии === | === Эффективность тромболитической терапии === | ||
Собраны данные по 206 пациентам второго кардиологического отделения московской городской клинической больницы №25. Имеются результаты 14 анализов, а также 8 дополнительных признаков, описывающих пациента (пол, возраст, курение, наличие диабета и т.д.) | Собраны данные по 206 пациентам второго кардиологического отделения московской городской клинической больницы №25. Имеются результаты 14 анализов, а также 8 дополнительных признаков, описывающих пациента (пол, возраст, курение, наличие диабета и т.д.) | ||
- | :: | + | ::: построить функцию, оценивающую вероятность выздоровления пациента в результате тромболитической терапии по приведённым 22 признакам. |
===Массовая доля жира в организме=== | ===Массовая доля жира в организме=== | ||
Массовая доля жира, важная характеристика здоровья, рассчитывается через плотность тела, измеряемую при помощи взвешивания в воде. Для 252 мужчин проведены такие расчёты. Имеются также данные антропометрии (возраст, рост, вес, обхват грудной клетки и т.д.) | Массовая доля жира, важная характеристика здоровья, рассчитывается через плотность тела, измеряемую при помощи взвешивания в воде. Для 252 мужчин проведены такие расчёты. Имеются также данные антропометрии (возраст, рост, вес, обхват грудной клетки и т.д.) | ||
- | :: | + | ::: построить функцию, оценивающую массовую долю жира по легко измеряемым антропометрическим признакам. |
- | :: | + | ::: построить функцию, оценивающую индекс ожирения без использования данных взвешивания. |
=== Надёжность шарикоподшипников === | === Надёжность шарикоподшипников === | ||
Строка 140: | Строка 145: | ||
[[Изображение:CHF1000 2 back horizontal.jpg|200px|thumb|Банкнота в 1000 швейцарских франков серии, действовавшей в период с 1911 по 1958. Красным обозначены измеренные величины.]] | [[Изображение:CHF1000 2 back horizontal.jpg|200px|thumb|Банкнота в 1000 швейцарских франков серии, действовавшей в период с 1911 по 1958. Красным обозначены измеренные величины.]] | ||
Имеются данные измерений двухсот швейцарских тысячефранковых банкнот, бывших в обращении в первой половине XX века. Сто из банкнот были настоящими, и сто — поддельными. Измерены следующие величины: <tex>X_1</tex> — длина банкноты, <tex>X_2</tex> — ширина банкноты с левой стороны, <tex>X_3</tex> — ширина банкноты с правой стороны, <tex>X_4</tex> — расстояние от нижнего края до рамки рисунка, <tex>X_5</tex> — расстояние от нижнего края до рамки рисунка, <tex>X_6</tex> — длина диагонали рисунка. | Имеются данные измерений двухсот швейцарских тысячефранковых банкнот, бывших в обращении в первой половине XX века. Сто из банкнот были настоящими, и сто — поддельными. Измерены следующие величины: <tex>X_1</tex> — длина банкноты, <tex>X_2</tex> — ширина банкноты с левой стороны, <tex>X_3</tex> — ширина банкноты с правой стороны, <tex>X_4</tex> — расстояние от нижнего края до рамки рисунка, <tex>X_5</tex> — расстояние от нижнего края до рамки рисунка, <tex>X_6</tex> — длина диагонали рисунка. | ||
- | :: | + | ::: построить функцию, оценивающую вероятность того, что имеющаяся банкнота фальшивая, и доверительный интервал для неё. Какие группы признаков необходимы для этого? Каков наименьший набор признаков, позволяющий достаточно надёжно выявить фальшивую купюру? |
===Летальность пациентов с сепсисом=== | ===Летальность пациентов с сепсисом=== | ||
По 454 пациентам с сепсисом (лихорадка, тахикардия, тахипноэ и острая недостаточность по крайней мере одной системы органов) имеются следующие данные: оценка начального состояния по шкале APACHE острых и хронических функциональных изменений, факт наступления смерти в течение 30 дней после начала исследования (для каждого значения APACHE score приведены общее число пациентов в таком состоянии и соответствующее число пациентов, умерших в течение 30 дней). | По 454 пациентам с сепсисом (лихорадка, тахикардия, тахипноэ и острая недостаточность по крайней мере одной системы органов) имеются следующие данные: оценка начального состояния по шкале APACHE острых и хронических функциональных изменений, факт наступления смерти в течение 30 дней после начала исследования (для каждого значения APACHE score приведены общее число пациентов в таком состоянии и соответствующее число пациентов, умерших в течение 30 дней). | ||
- | :: | + | ::: оценить вероятность наступления в 30-дневный срок летального исхода в зависимости от исходного состояния. Построить функции, дающие точечную оценку и границы 95% доверительного интервала. |
=== Продолжительность жизни и активность размножения самцов дрозофилы === | === Продолжительность жизни и активность размножения самцов дрозофилы === | ||
Для изучения влияния активности размножения самцов дрозофилы на продолжительность их жизни был организован следующий эксперимент. По 25 самцов в пяти группах содержались в одинаковых условиях, за исключением одного отличия: в первой группе к каждому самцу ежедневно подсаживалась готовая к размножению самка, во второй – восемь готовых к размножению самок, в третьей и четвёртой - соответственно, одна и восемь беременных самок, не готовых к размножению, наконец, к самцам четвёртой группы не подсаживали никого. Для каждого самца измерена продолжительность жизни, длина грудной клетки и доля времени, проводимого во сне. | Для изучения влияния активности размножения самцов дрозофилы на продолжительность их жизни был организован следующий эксперимент. По 25 самцов в пяти группах содержались в одинаковых условиях, за исключением одного отличия: в первой группе к каждому самцу ежедневно подсаживалась готовая к размножению самка, во второй – восемь готовых к размножению самок, в третьей и четвёртой - соответственно, одна и восемь беременных самок, не готовых к размножению, наконец, к самцам четвёртой группы не подсаживали никого. Для каждого самца измерена продолжительность жизни, длина грудной клетки и доля времени, проводимого во сне. | ||
- | :: | + | ::: построить функцию, предсказывающую продолжительность жизни самца дрозофилы в зависимости от условий его содержания, дать интерпретацию вклада признаков. |
=== Электрическая прочность диэлектрика === | === Электрическая прочность диэлектрика === | ||
Была измерена электрическая прочность изоляции проводов на разных сроках их эксплуатации и при различной температуре. Известно, что зависимость электрической прочности диэлектрика от времени и температуры имеет вид <tex>\log(y)=\beta_1-\beta_2\cdot time \cdot e^{-\beta_3\cdot temperature}</tex>. | Была измерена электрическая прочность изоляции проводов на разных сроках их эксплуатации и при различной температуре. Известно, что зависимость электрической прочности диэлектрика от времени и температуры имеет вид <tex>\log(y)=\beta_1-\beta_2\cdot time \cdot e^{-\beta_3\cdot temperature}</tex>. | ||
- | :: | + | ::: найти значения констант <tex>\beta_1, \beta_2, \beta_3,</tex> построить для них доверительные области, оценить качество построенной модели. |
=== Данные антропометрии === | === Данные антропометрии === | ||
[[Изображение:Antropometry.jpg|120px|thumb|Некоторые из измеренных характеристик скелета.]] | [[Изображение:Antropometry.jpg|120px|thumb|Некоторые из измеренных характеристик скелета.]] | ||
Для 247 мужчин и 260 женщин измерены две группы антропометрических показателей – легко измеримые характеристики скелета и обхваты, всего 21 признак. Указаны возраст, пол, вес и рост. | Для 247 мужчин и 260 женщин измерены две группы антропометрических показателей – легко измеримые характеристики скелета и обхваты, всего 21 признак. Указаны возраст, пол, вес и рост. | ||
- | :: | + | ::: построить функцию, эффективно оценивающую вес по наименьшему набору признаков; сравнить точность оценки веса при отсутствии информации по обхватам и отсутствии информации по характеристикам скелета. |
- | :: | + | ::: построить функцию, оценивающую по наименьшему набору признаков вероятность того, что испытуемый — женщина, и доверительный интервал для этой вероятности. |
=== Пожертвования на благотворительность === | === Пожертвования на благотворительность === | ||
Благотворительная организация разослала 4268 писем с предложением сделать пожертвование и получила отклик с пожертвованиями от 1707 адресатов. Для каждого адресата известны: индикатор ответа на предыдущее письмо, число недель, прошедших с момента предыдущего пожертвования, размеры текущего, предыдущего и среднего по всем предыдущим пожертвованиям в голландских гульденах, число писем, отправляемых адресату в год, доля писем, в ответ на которые приходят пожертвования. | Благотворительная организация разослала 4268 писем с предложением сделать пожертвование и получила отклик с пожертвованиями от 1707 адресатов. Для каждого адресата известны: индикатор ответа на предыдущее письмо, число недель, прошедших с момента предыдущего пожертвования, размеры текущего, предыдущего и среднего по всем предыдущим пожертвованиям в голландских гульденах, число писем, отправляемых адресату в год, доля писем, в ответ на которые приходят пожертвования. | ||
- | :: | + | ::: построить функцию, оценивающую вероятность получения пожертвования от адресата по историческим данным. |
- | :: | + | ::: построить функцию, оценивающую вероятный размер пожертвования от адресата по историческим данным. |
=== Влияние глифосата на рост плевел === | === Влияние глифосата на рост плевел === | ||
Строка 169: | Строка 174: | ||
<tex>y=\frac{a}{1+b\left(x+cz\right)}</tex>,<br> | <tex>y=\frac{a}{1+b\left(x+cz\right)}</tex>,<br> | ||
где коэффициент <tex>a</tex> имеет смысл гипотетической средней биомассы при нулевой плотности зарастания, <tex>b</tex> – коэффициент внутривидовой конкуренции для дикой разновидности, <tex>c</tex> – коэффициент взаимозаменяемости видов (если он равен единице, то виды взаимозаменяемы). | где коэффициент <tex>a</tex> имеет смысл гипотетической средней биомассы при нулевой плотности зарастания, <tex>b</tex> – коэффициент внутривидовой конкуренции для дикой разновидности, <tex>c</tex> – коэффициент взаимозаменяемости видов (если он равен единице, то виды взаимозаменяемы). | ||
- | :: | + | ::: найти значения коэффициентов <tex>a, b, c,</tex> построить для них доверительные области, оценить качество построенной модели. Можно ли сказать, что виды взаимозаменяемы? |
=== Пассажиры Титаника === | === Пассажиры Титаника === | ||
Приведены данные о 1309 пассажирах Титаника. Для каждого пассажира указано имя, пол, возраст, класс и цена билета, число родственников на борту, и, кроме того, удалось ли ему выжить. | Приведены данные о 1309 пассажирах Титаника. Для каждого пассажира указано имя, пол, возраст, класс и цена билета, число родственников на борту, и, кроме того, удалось ли ему выжить. | ||
- | :: | + | ::: построить функцию, предсказывающую вероятность выживания пассажира по имеющимся данным, оценить точность предсказания. |
=== Внешний вид и привлекательность самок мечехвостов=== | === Внешний вид и привлекательность самок мечехвостов=== | ||
Изучалось влияние внешних характеристик самок морских ракообразных мечехвостов на их привлекательность для самцов. Выборка состоит из данных о наблюдениях над 173 особями и содержит закодированные данные о размере самок, их весе, цвете, состоянии панциря, а также о количестве спутников. | Изучалось влияние внешних характеристик самок морских ракообразных мечехвостов на их привлекательность для самцов. Выборка состоит из данных о наблюдениях над 173 особями и содержит закодированные данные о размере самок, их весе, цвете, состоянии панциря, а также о количестве спутников. | ||
- | :: | + | ::: построить функцию, по внешним параметрам самки предсказывающую количество спутников у самки. |
= Задание 3. Прогнозирование временных рядов = | = Задание 3. Прогнозирование временных рядов = | ||
Строка 187: | Строка 192: | ||
=== Солнечная активность=== | === Солнечная активность=== | ||
В центре исследования солнечной активности Цюрихской обсерватории собраны данные о среднем числе солнечных пятен за каждый месяц с января 1749 года. | В центре исследования солнечной активности Цюрихской обсерватории собраны данные о среднем числе солнечных пятен за каждый месяц с января 1749 года. | ||
- | :: | + | ::: предсказать среднее число солнечных пятен на каждый месяц до конца 2020 года. |
=== Посещаемость сервисов Яндекса === | === Посещаемость сервисов Яндекса === | ||
Яндекс измеряет месячную аудиторию сервисов, по наиболее старым из них есть статистика за последние 5-6 лет. | Яндекс измеряет месячную аудиторию сервисов, по наиболее старым из них есть статистика за последние 5-6 лет. | ||
- | :: | + | ::: предсказать месячную аудиторию сервиса "Яндекс.Словари" на все месяцы 2013 года. |
- | :: | + | ::: предсказать месячную аудиторию сервиса "Мой круг" на все месяцы 2013 года. |
=== Объём стока реки Бойсе === | === Объём стока реки Бойсе === | ||
Имеются данные по среднемесячному объёму стока реки Бойсе в районе города Твин Спрингс за каждый месяц с января 1960 по декабрь 2008 года. | Имеются данные по среднемесячному объёму стока реки Бойсе в районе города Твин Спрингс за каждый месяц с января 1960 по декабрь 2008 года. | ||
- | :: | + | ::: предсказать среднемесячный объём стока реки на каждый месяц 2013 года. |
=== Индекс реальных инвестиций в основной капитал === | === Индекс реальных инвестиций в основной капитал === | ||
Сотрудниками ГУ-ВШЭ по данным Федеральной службы государственной статистики рассчитан индекс реальных инвестиций в основной капитал, приведённый относительно января 1994 года. Имеются данные на каждый месяц с января 1994 по сентябрь 2012 года. | Сотрудниками ГУ-ВШЭ по данным Федеральной службы государственной статистики рассчитан индекс реальных инвестиций в основной капитал, приведённый относительно января 1994 года. Имеются данные на каждый месяц с января 1994 по сентябрь 2012 года. | ||
- | :: | + | ::: построить прогноз для значения индекса на каждый месяц 2013 года. |
=== Число убийств и самоубийств в Австралии === | === Число убийств и самоубийств в Австралии === | ||
Измерено среднегодовое число убийств и самоубийств на 100000 населения при помощи огнестрельного оружия и с использованием всех остальных средств в Австралии с 1905 по 2004 годы (имеются пропуски). | Измерено среднегодовое число убийств и самоубийств на 100000 населения при помощи огнестрельного оружия и с использованием всех остальных средств в Австралии с 1905 по 2004 годы (имеются пропуски). | ||
- | :: | + | ::: смоделировать среднегодовое число убийств, оценить уровни для 2005-2012 годов. |
- | :: | + | ::: смоделировать долю среднегодового числа самоубийств, совершаемых при помощи огнестрельного оружия, среди всех самоубийств. В 1996-1997 годах в Австралии было изменено законодательство в отношении разрешения на хранение и использование огнестрельного оружия, в ходе программы по разоружению было изъято 600000 единиц оружия (при численности населения в 20000000 человек). Какой эффект это оказало на исследуемый признак? |
=== Средняя номинальная заработная плата в России === | === Средняя номинальная заработная плата в России === | ||
На каждый месяц с января 1993 года рассчитан уровень средней номинальной заработной платы в рублях. Среднемесячная номинальная заработная плата исчисляется исходя из фонда заработной платы работников, деленного на среднесписочную численность работников. В фонд заработной платы включаются начисленные суммы в денежной и натуральной формах за отработанное время и выполненную работу, неотработанное, но оплаченное время (например, ежегодные отпуска), стимулирующие доплаты и надбавки, премии и единовременные поощрения, компенсационные выплаты, связанные с режимом работы и условиями труда. | На каждый месяц с января 1993 года рассчитан уровень средней номинальной заработной платы в рублях. Среднемесячная номинальная заработная плата исчисляется исходя из фонда заработной платы работников, деленного на среднесписочную численность работников. В фонд заработной платы включаются начисленные суммы в денежной и натуральной формах за отработанное время и выполненную работу, неотработанное, но оплаченное время (например, ежегодные отпуска), стимулирующие доплаты и надбавки, премии и единовременные поощрения, компенсационные выплаты, связанные с режимом работы и условиями труда. | ||
- | :: | + | ::: построить прогноз для уровня средней номинальной заработной платы на каждый месяц до конца 2013 года. |
=== Число автомобилей, производимых в Великобритании === | === Число автомобилей, производимых в Великобритании === | ||
С первого квартала 1977 по первый квартал 2005 года имеются данные о количестве автомобилей, произведённых в Великобритании, в тысячах штук. | С первого квартала 1977 по первый квартал 2005 года имеются данные о количестве автомобилей, произведённых в Великобритании, в тысячах штук. | ||
- | :: | + | ::: построить прогноз на каждый квартал 2013-2014 года, оценить точность прогноза. |
=== Продажи сувениров === | === Продажи сувениров === | ||
Известны ежемесячные объёмы продаж сувениров в магазине на пляжном курорте в Квинсленде, Австралия. Данные приведены за семь лет, первый месяц — январь, пропусков нет. | Известны ежемесячные объёмы продаж сувениров в магазине на пляжном курорте в Квинсленде, Австралия. Данные приведены за семь лет, первый месяц — январь, пропусков нет. | ||
- | :: | + | ::: построить предсказание объёмов продаж на следующие двенадцать месяцев. |
=== Смертность от сердечно-сосудистых заболеваний === | === Смертность от сердечно-сосудистых заболеваний === | ||
Имеются данные по средней дневной смертности от сердечно-сосудистых заболеваний в округе Лос-Анджелес в 1970-1979 годах. Собраны данные по пятисот восьми (идущим подряд) неделям, за каждую из этих недель известна также средняя температура воздуха и мера его загрязнённости. | Имеются данные по средней дневной смертности от сердечно-сосудистых заболеваний в округе Лос-Анджелес в 1970-1979 годах. Собраны данные по пятисот восьми (идущим подряд) неделям, за каждую из этих недель известна также средняя температура воздуха и мера его загрязнённости. | ||
- | :: | + | ::: считая для последних 50 недель показатель смертности неизвестным, построить его оценку с учётом температуры и загрязнённости воздуха. |
- | :: | + | ::: построить прогноз средней дневной смертности на следующие 100 недель. |
=== Свободные цены на товарном рынке=== | === Свободные цены на товарном рынке=== | ||
Конференция ООН по торговле и развитию (ЮНКТАД) собирает ежемесячные данные по свободным ценам на товарном рынке основных продуктов. Имеются данные с января 1960 года по настоящий момент. | Конференция ООН по торговле и развитию (ЮНКТАД) собирает ежемесячные данные по свободным ценам на товарном рынке основных продуктов. Имеются данные с января 1960 года по настоящий момент. | ||
- | :: | + | ::: спрогнозировать стоимость алюминия на Лондонской бирже металлов на каждый месяц до конца 2013 года. |
- | :: | + | ::: спрогнозировать стоимость бананов при импорте из Центральной Америки в США на каждый месяц до конца 2013 года. |
=== Расходы на азартные игры === | === Расходы на азартные игры === | ||
На каждый месяц с июля 1999 по ноябрь 2006 года имеются данные о средних дневных расходах на азартные игры суммарно по всем игорным заведениям австралийского штата Виктория, единица измерения – миллион долларов. | На каждый месяц с июля 1999 по ноябрь 2006 года имеются данные о средних дневных расходах на азартные игры суммарно по всем игорным заведениям австралийского штата Виктория, единица измерения – миллион долларов. | ||
- | :: | + | ::: построить прогноз на каждый из следующих двенадцати месяцев. |
= Литература = | = Литература = |
Текущая версия
Оценки
Студент | #1 (2 балла) | #2 (3 балла) | Рецензирование #2 (2 балла) | #3 (3 балла) | Участие в семинаре | Сумма |
---|---|---|---|---|---|---|
Адуенко Александр | 2 | 3 | 2 (Иванова) | 3 | 2 | 12 |
Бочкарева Валерия | 1.9 | 3 | 0 (Смоляков) | 2.9 | 7.8 | |
Варфоломеева Анна | 1.9 | 2.7 | 0 (Стенин) | 3 | 7.6 | |
Глебов Антон | 2 | 3 | 0 | 5 | ||
Ефимов Кирилл | 2 | 2.8 | 2 (Целых) | 2.7 | 9.5 | |
Иванова Алина | 1.8 | 3 | 2 (Бочкарева) | 6.8 | ||
Клочков Егор | 0 | 2.5 | 0 (Лобастов) | 2.5 | ||
Кузьмин Арсентий | 2 | 3 | 2 (Медведникова) | 3 | 10 | |
Лобастов Степан | 2 | 3 | 0 (Клочков) | 5 | ||
Медведникова Мария | 2 | 3 | 2 (Варфоломеева) | 3 | 10 | |
Стенин Сергей | 2 | 3 | 2 (Шпакова) | 3 | 10 | |
Смоляков Дмитрий | 0.4 | 2.6 | 0 (Цыганова) | 2.7 | 5.7 | |
Целых Влада | 2 | 3 | 2 (Кузьмин) | 3 | 10 | |
Цыганова Светлана | 2 | 3 | 0 (Ефимов) | 2.6 | 7.6 | |
Шпакова Татьяна | 2 | 3 | 2 (Адуенко) | 2.9 | 9.9 | |
Шульга Александр | 0 |
- Штраф за просрочку сдачи заданий начисляется из расчета 0.1 балла за сутки.
- Задание считается сданным на момент получения проверяющим письма с отчётом (и кодом, если это указано в задании), при условии отсутствия необходимости внесения дополнений и исправлений.
Задание 1. Исследование свойств одномерных статистических критериев на модельных данных
Необходимо провести исследование одного или нескольких классических критериев проверки статистических гипотез. Интерес представляет поведение достигаемого уровня значимости (p-value) как функции размера выборок и параметров распределения. В соответствии с индивидуальными параметрами задания необходимо указанным способом сгенерировать одну или несколько выборок из заданного распределения, выполнить проверку гипотезы при помощи соответствующего критерия, а затем многократно повторить эту процедуру для различных значений параметров. По результатам расчётов необходимо построить требуемые в задании графики, среди которых могут быть следующие:
- график зависимости достигаемого уровня значимости от значений параметров при однократном проведении эксперимента;
- график зависимости достигаемого уровня значимости одного или двух критериев от значений параметров, усреднённого по большому количеству повторений эксперимента (например, по 1000 повторений);
- график с эмпирическими оценками мощности одного или двух критериев для разных значений параметров.
В качестве оценки мощности принимается доля отвержений нулевой гипотезы среди всех проверок. То есть, если эксперимент повторялся раз для каждого набора значений параметров, и в
из
случаев гипотеза была отвергнута на некотором фиксированном уровне значимости
(примем
), оценкой мощности будет отношение
Необходимо сдать: выполненный в Tex или Microsoft Word отчёт с описанием алгоритма, построенными графиками и выводами (объяснение полученных результатов моделирования, границы применимости критерия и т.д.), а также код на R, Матлабе или Питоне, при запуске которого на экран выводятся графики, соответствующие имеющимся в отчёте.
Задание принимается до 23:59 31.03.
Пример задания
Исследуем чувствительность классического двухвыборочного критерия Стьюдента для проверки гипотезы однородности против альтернативы сдвига при зашумлении выборок наблюдениями, взятыми из равномерного распределения.
— выборка длины
из смеси стандартного нормального
и равномерного
распределений с весами
и
соответственно (при генерации выборки используется случайный датчик — если его значение не превосходит
, то добавляем в выборку элемент, взятый из нормального распределения, иначе — элемент, взятый из равномерного).
— аналогичная выборка.
При каждом значении выборки для разных значений
генерируются независимо.
Заметим, что однократная генерация выборок даёт достаточно нестабильные результаты, не позволяя точно оценить границы области, где нулевая гипотеза отклоняется, поэтому и необходимо усреднение по большому числу экспериментов.
Видно, что при достаточно большой разнице между средними и большом размере выборок наличие шума не мешает уверенно отклонять гипотезу однородности. Когда, наоборот, разница между средними невелика (меньше 0.2-0.5 в зависимости от размера выборок), мощность близка к нулю, а среднее значение достигаемого уровня значимости колеблется около 0.5, что логично, так как его распределение при справедливости нулевой гипотезы равномерно на .
Чтобы оценить вклад зашумления выборок, оценим при всех значениях параметра мощность критерия и средний достигаемый уровень значимости на аналогичных выборках без шума и сравним результаты.
Видно, что наличие шума всё меньше влияет на работу критерия с ростом объёма выборок и разницы между их средними. Тем не менее, в некоторых областях изменения параметров потеря мощности из-за 10% зашумления может составлять до 20%, а средний достигаемый уровень значимости может быть выше на 0.1.
Отметим, что приведённые количественные выводы справедливы только для шума рассматриваемой структуры.
Задания
Анализ поведения схожих критериев
Требуется исследовать поведение указанной пары статистических критериев, подходящих для решения одной и той же задачи, сравнить мощность и достигаемые уровни значимости и сделать выводы о границах применимости критериев. Необходимо для каждого из критериев построить графики зависимости достигаемых уровней значимости и оценок мощностей от параметров, и показать, в каких областях изменения параметров предпочтительнее использовать тот или иной критерий. Для получения более гладких графиков рекомендуется применять оба критерия к одним и тем же выборкам, а не генерировать их отдельно для каждого критерия.
-
выборки независимы,
неверна.
Чтобы сгенерировать коррелированные Бернуллиевские случайные величины, используется следующий метод[1]. Пусть— случайная величина, имеющая распределение Пуассона с параметром
. Обозначим
Искомую пару случайных величинможно получить следующим образом:
где квадратные скобки обозначают индикаторную функцию.
Метод работает придля случаев
генерируются выборки с корреляцией
после чего одна из выборок инвертируется (нули и заменяются на единицы и наоборот).
-
Сравнить критерий хи-квадрат и точный критерий Фишера.
-
Сравнить G-критерий и точный критерий Фишера.
-
Сравнить G-критерий и критерий хи-квадрат.
-
- сравнить критерии, основанные на доверительных интервалах Вальда и Уилсона (нулевая гипотеза отвергается на уровне значимости 5%, если 95% доверительный интервал для параметра не содержит
).
- сравнить критерии, основанные на доверительных интервалах Вальда и Уилсона (нулевая гипотеза отвергается на уровне значимости 5%, если 95% доверительный интервал для параметра не содержит
-
среднее значение
равно нулю,
среднее значение
не равно нулю;
- сравнить одновыборочные T- и Z-критерии.
- сравнить одновыборочный T-критерий и критерий знаковых рангов Уилкоксона.
- сравнить одновыборочный перестановочный критерий и критерий знаковых рангов Уилкоксона.
- сравнить Z-критерий и одновыборочный перестановочный критерий для известной дисперсии.
-
дисперсии выборок равны,
дисперсии выборок не равны;
-
Сравнить критерий Фишера и WM-критерий.
-
Сравнить WM-критерий и критерий Зигеля-Тьюки.
-
Сравнить критерий Фишера и критерий Зигеля-Тьюки.
-
Сравнить WM-критерий и перестановочный критерий.
-
-
— выборка длины
из смеси стандартного нормального
и равномерного
распределений с весами
и
соответственно (при генерации выборки используется случайный датчик — если его значение не превосходит
, то добавляем в выборку элемент, взятый из нормального распределения, иначе — элемент, взятый из равномерного).
распределение
нормально,
неверна;
-
Сравнить критерии Шапиро-Уилка и хи-квадрат.
-
Сравнить критерии Жарка-Бера и Шапиро-Уилка.
-
-
средние выборок равны,
средние выборок не равны;
-
Сравнить критерий Стьюдента для неизвестных равных дисперсий и двухвыборочный перестановочный критерий.
-
Сравнить критерий Аспина-Уэлша и двухвыборочный перестановочный критерий.
-
Задание 2. Анализ реальных данных
Ниже приведены описания анализируемых данных и постановки задач. При проведении анализа можно пользоваться любыми доступными программными средствами. Необходимо предоставить подробный письменный отчёт по проведённому исследованию, содержащий визуализацию исходных данных, описания и выводы каждого этапа анализа — используемые методы, обоснование их применимости, промежуточные результаты вычислений, графики. Особое внимание необходимо обращать на полноту применения методов. Помимо выводов, касающихся математических особенностей решения, необходимо включить в отчёт заключения, сформулированные в терминах предметной области, которые могли бы быть понятны гипотетическому заказчику-нематематику.
Отчёт каждого студента рецензируется назначенным одногруппником. Задачей рецензента является проверка корректности выбора метода решения, полноты его применения и понятности изложения. Рецензент получает баллы, если рецензируемая им работа была принята с первого раза, при условии, что его собственная работа также сдана.
Предварительные версии отчётов принимаются до 23:59 5.05, финальные, по результатам работы с рецензентом — до 23:59 15.05.
Задания
Клетки опухолей груди
357 испытуемым с доброкачественными и 212 со злокачественными опухолями груди была сделана тонкоигольная аспирационная пункция с гистологическим исследованием пунктата. По полученным изображениям определялись следующие признаки опухолевых клеток: радиус, однородность текстуры, периметр, площадь, гладкость, компактность, степень вогнутости, доля вогнутых участков контура, симметричность, фрактальная размерность. Для каждого изображения были рассчитаны среднее значение каждого из этих признаков, стандартное отклонение и среднее по трём клеткам с максимальным значением признака.
- оценить вероятность того, что опухоль злокачественная, по набору рассчитанных по изображению признаков. Построить функции, дающие точечную оценку и границы 95% доверительного интервала. Подобрать порог на вероятность для классификации.
Эффективность тромболитической терапии
Собраны данные по 206 пациентам второго кардиологического отделения московской городской клинической больницы №25. Имеются результаты 14 анализов, а также 8 дополнительных признаков, описывающих пациента (пол, возраст, курение, наличие диабета и т.д.)
- построить функцию, оценивающую вероятность выздоровления пациента в результате тромболитической терапии по приведённым 22 признакам.
Массовая доля жира в организме
Массовая доля жира, важная характеристика здоровья, рассчитывается через плотность тела, измеряемую при помощи взвешивания в воде. Для 252 мужчин проведены такие расчёты. Имеются также данные антропометрии (возраст, рост, вес, обхват грудной клетки и т.д.)
- построить функцию, оценивающую массовую долю жира по легко измеряемым антропометрическим признакам.
- построить функцию, оценивающую индекс ожирения без использования данных взвешивания.
Надёжность шарикоподшипников
Мерой надёжности шарикоподшипников служит величина — максимальное число оборотов, которое выдерживает 90% одинаковых подшипников. Имеются данные измерений надёжности по шарикоподшипникам трёх производителей (для одного из производителей исследовано три вида подшипников), для каждого испытания указаны диаметр и число шаров в подшипнике, нагрузка и величина
.
- Стенин: построить функцию, оценивающую
по имеющимся признакам, рассчитать точность оценки.
- Стенин: построить функцию, оценивающую
Линейные размеры тысячефранковых банкнот
Имеются данные измерений двухсот швейцарских тысячефранковых банкнот, бывших в обращении в первой половине XX века. Сто из банкнот были настоящими, и сто — поддельными. Измерены следующие величины: — длина банкноты,
— ширина банкноты с левой стороны,
— ширина банкноты с правой стороны,
— расстояние от нижнего края до рамки рисунка,
— расстояние от нижнего края до рамки рисунка,
— длина диагонали рисунка.
- построить функцию, оценивающую вероятность того, что имеющаяся банкнота фальшивая, и доверительный интервал для неё. Какие группы признаков необходимы для этого? Каков наименьший набор признаков, позволяющий достаточно надёжно выявить фальшивую купюру?
Летальность пациентов с сепсисом
По 454 пациентам с сепсисом (лихорадка, тахикардия, тахипноэ и острая недостаточность по крайней мере одной системы органов) имеются следующие данные: оценка начального состояния по шкале APACHE острых и хронических функциональных изменений, факт наступления смерти в течение 30 дней после начала исследования (для каждого значения APACHE score приведены общее число пациентов в таком состоянии и соответствующее число пациентов, умерших в течение 30 дней).
- оценить вероятность наступления в 30-дневный срок летального исхода в зависимости от исходного состояния. Построить функции, дающие точечную оценку и границы 95% доверительного интервала.
Продолжительность жизни и активность размножения самцов дрозофилы
Для изучения влияния активности размножения самцов дрозофилы на продолжительность их жизни был организован следующий эксперимент. По 25 самцов в пяти группах содержались в одинаковых условиях, за исключением одного отличия: в первой группе к каждому самцу ежедневно подсаживалась готовая к размножению самка, во второй – восемь готовых к размножению самок, в третьей и четвёртой - соответственно, одна и восемь беременных самок, не готовых к размножению, наконец, к самцам четвёртой группы не подсаживали никого. Для каждого самца измерена продолжительность жизни, длина грудной клетки и доля времени, проводимого во сне.
- построить функцию, предсказывающую продолжительность жизни самца дрозофилы в зависимости от условий его содержания, дать интерпретацию вклада признаков.
Электрическая прочность диэлектрика
Была измерена электрическая прочность изоляции проводов на разных сроках их эксплуатации и при различной температуре. Известно, что зависимость электрической прочности диэлектрика от времени и температуры имеет вид .
- найти значения констант
построить для них доверительные области, оценить качество построенной модели.
- найти значения констант
Данные антропометрии
Для 247 мужчин и 260 женщин измерены две группы антропометрических показателей – легко измеримые характеристики скелета и обхваты, всего 21 признак. Указаны возраст, пол, вес и рост.
- построить функцию, эффективно оценивающую вес по наименьшему набору признаков; сравнить точность оценки веса при отсутствии информации по обхватам и отсутствии информации по характеристикам скелета.
- построить функцию, оценивающую по наименьшему набору признаков вероятность того, что испытуемый — женщина, и доверительный интервал для этой вероятности.
Пожертвования на благотворительность
Благотворительная организация разослала 4268 писем с предложением сделать пожертвование и получила отклик с пожертвованиями от 1707 адресатов. Для каждого адресата известны: индикатор ответа на предыдущее письмо, число недель, прошедших с момента предыдущего пожертвования, размеры текущего, предыдущего и среднего по всем предыдущим пожертвованиям в голландских гульденах, число писем, отправляемых адресату в год, доля писем, в ответ на которые приходят пожертвования.
- построить функцию, оценивающую вероятность получения пожертвования от адресата по историческим данным.
- построить функцию, оценивающую вероятный размер пожертвования от адресата по историческим данным.
Влияние глифосата на рост плевел
Сравниваются два вида плевел, дикая разновидность и мутантная, выработавшая устойчивость к глифосату. Оба вида в равных пропорциях засеиваются в теплицу, проводится обработка глифосатом, по окончании эксперимента измеряются плотности зарастания (количество растений на единицу площади) дикой и мутантной
разновидностей. Целевой признак
– средняя биомасса дикой разновидности (в граммах на одно растение). Для него предложена следующая модель:
,
где коэффициент имеет смысл гипотетической средней биомассы при нулевой плотности зарастания,
– коэффициент внутривидовой конкуренции для дикой разновидности,
– коэффициент взаимозаменяемости видов (если он равен единице, то виды взаимозаменяемы).
- найти значения коэффициентов
построить для них доверительные области, оценить качество построенной модели. Можно ли сказать, что виды взаимозаменяемы?
- найти значения коэффициентов
Пассажиры Титаника
Приведены данные о 1309 пассажирах Титаника. Для каждого пассажира указано имя, пол, возраст, класс и цена билета, число родственников на борту, и, кроме того, удалось ли ему выжить.
- построить функцию, предсказывающую вероятность выживания пассажира по имеющимся данным, оценить точность предсказания.
Внешний вид и привлекательность самок мечехвостов
Изучалось влияние внешних характеристик самок морских ракообразных мечехвостов на их привлекательность для самцов. Выборка состоит из данных о наблюдениях над 173 особями и содержит закодированные данные о размере самок, их весе, цвете, состоянии панциря, а также о количестве спутников.
- построить функцию, по внешним параметрам самки предсказывающую количество спутников у самки.
Задание 3. Прогнозирование временных рядов
Ниже приведены описания анализируемых данных и постановки задач. При проведении анализа можно пользоваться любыми доступными программными средствами. Необходимо предоставить подробный письменный отчёт по проведённому исследованию, содержащий визуализацию исходных данных, описания и выводы каждого этапа анализа — используемые методы, обоснование их применимости, промежуточные результаты вычислений, графики. Особое внимание необходимо обращать на полноту применения методов. Помимо выводов, касающихся математических особенностей решения, необходимо включить в отчёт заключения, сформулированные в терминах предметной области, которые могли бы быть понятны гипотетическому заказчику-нематематику.
Задание принимается до 23:59 20.05.
Задания
Солнечная активность
В центре исследования солнечной активности Цюрихской обсерватории собраны данные о среднем числе солнечных пятен за каждый месяц с января 1749 года.
- предсказать среднее число солнечных пятен на каждый месяц до конца 2020 года.
Посещаемость сервисов Яндекса
Яндекс измеряет месячную аудиторию сервисов, по наиболее старым из них есть статистика за последние 5-6 лет.
- предсказать месячную аудиторию сервиса "Яндекс.Словари" на все месяцы 2013 года.
- предсказать месячную аудиторию сервиса "Мой круг" на все месяцы 2013 года.
Объём стока реки Бойсе
Имеются данные по среднемесячному объёму стока реки Бойсе в районе города Твин Спрингс за каждый месяц с января 1960 по декабрь 2008 года.
- предсказать среднемесячный объём стока реки на каждый месяц 2013 года.
Индекс реальных инвестиций в основной капитал
Сотрудниками ГУ-ВШЭ по данным Федеральной службы государственной статистики рассчитан индекс реальных инвестиций в основной капитал, приведённый относительно января 1994 года. Имеются данные на каждый месяц с января 1994 по сентябрь 2012 года.
- построить прогноз для значения индекса на каждый месяц 2013 года.
Число убийств и самоубийств в Австралии
Измерено среднегодовое число убийств и самоубийств на 100000 населения при помощи огнестрельного оружия и с использованием всех остальных средств в Австралии с 1905 по 2004 годы (имеются пропуски).
- смоделировать среднегодовое число убийств, оценить уровни для 2005-2012 годов.
- смоделировать долю среднегодового числа самоубийств, совершаемых при помощи огнестрельного оружия, среди всех самоубийств. В 1996-1997 годах в Австралии было изменено законодательство в отношении разрешения на хранение и использование огнестрельного оружия, в ходе программы по разоружению было изъято 600000 единиц оружия (при численности населения в 20000000 человек). Какой эффект это оказало на исследуемый признак?
Средняя номинальная заработная плата в России
На каждый месяц с января 1993 года рассчитан уровень средней номинальной заработной платы в рублях. Среднемесячная номинальная заработная плата исчисляется исходя из фонда заработной платы работников, деленного на среднесписочную численность работников. В фонд заработной платы включаются начисленные суммы в денежной и натуральной формах за отработанное время и выполненную работу, неотработанное, но оплаченное время (например, ежегодные отпуска), стимулирующие доплаты и надбавки, премии и единовременные поощрения, компенсационные выплаты, связанные с режимом работы и условиями труда.
- построить прогноз для уровня средней номинальной заработной платы на каждый месяц до конца 2013 года.
Число автомобилей, производимых в Великобритании
С первого квартала 1977 по первый квартал 2005 года имеются данные о количестве автомобилей, произведённых в Великобритании, в тысячах штук.
- построить прогноз на каждый квартал 2013-2014 года, оценить точность прогноза.
Продажи сувениров
Известны ежемесячные объёмы продаж сувениров в магазине на пляжном курорте в Квинсленде, Австралия. Данные приведены за семь лет, первый месяц — январь, пропусков нет.
- построить предсказание объёмов продаж на следующие двенадцать месяцев.
Смертность от сердечно-сосудистых заболеваний
Имеются данные по средней дневной смертности от сердечно-сосудистых заболеваний в округе Лос-Анджелес в 1970-1979 годах. Собраны данные по пятисот восьми (идущим подряд) неделям, за каждую из этих недель известна также средняя температура воздуха и мера его загрязнённости.
- считая для последних 50 недель показатель смертности неизвестным, построить его оценку с учётом температуры и загрязнённости воздуха.
- построить прогноз средней дневной смертности на следующие 100 недель.
Свободные цены на товарном рынке
Конференция ООН по торговле и развитию (ЮНКТАД) собирает ежемесячные данные по свободным ценам на товарном рынке основных продуктов. Имеются данные с января 1960 года по настоящий момент.
- спрогнозировать стоимость алюминия на Лондонской бирже металлов на каждый месяц до конца 2013 года.
- спрогнозировать стоимость бананов при импорте из Центральной Америки в США на каждый месяц до конца 2013 года.
Расходы на азартные игры
На каждый месяц с июля 1999 по ноябрь 2006 года имеются данные о средних дневных расходах на азартные игры суммарно по всем игорным заведениям австралийского штата Виктория, единица измерения – миллион долларов.
- построить прогноз на каждый из следующих двенадцати месяцев.
Литература
Кобзарь А. И. Прикладная математическая статистика. — М.: Физматлит, 2006.