Графические модели (курс лекций)/2013/Задание 1

Материал из MachineLearning.

(Различия между версиями)

Перейти к: навигация, поиск

Версия 18:18, 15 февраля 2013

Задание находится в стадии разработки. Не приступайте к выполнению задания, пока это объявление не убрано.

Основная статья: Графические модели (курс лекций)

Содержание

1 Вероятностные модели посещаемости курса
2 Вариант 1
3 Вариант 2
4 Вариант 3
5 Оформление задания
6 Распределение студентов по вариантам

Начало выполнения задания: 15 февраля 2013 г.
Срок сдачи: 1 марта 2013 г., 23:59.

Среда для выполнения задания — MATLAB.

Вероятностные модели посещаемости курса

Рассмотрим модель посещаемости студентами одного курса лекции. Пусть аудитория данного курса состоит из студентов профильной кафедры, а также студентов других кафедр. Обозначим через $a$ количество студентов, распределившихся на профильную кафедру, а через $b$ — количество студентов других кафедр на курсе. Пусть студенты профильной кафедры посещают курс с некоторой вероятностью $p_1$ , а студенты остальных кафедр — с вероятностью $p_2$ . Обозначим через $c$ количество студентов на данной лекции. Тогда случайная величина $c|a,b$ есть сумма двух случайных величин, распределенных по биномиальному закону $B(a,p_1)$ и $B(b,p_2)$ соответственно. Пусть далее на лекции по курсу ведется запись студентов. При этом каждый студент записывается сам, а также, быть может, записывает своего товарища, которого на лекции на самом деле нет (просьба не воспринимать это как руководство к действию в реальности!!). Пусть студент записывает своего товарища с некоторой вероятностью $p_3$ . Обозначим через $d$ общее количество записавшихся на данной лекции. Тогда случайная величина $d|c$ представляет собой сумму $c$ и случайной величины, распределенной по биномиальному закону $B(c,p_3)$ . Для завершения задания вероятностной модели осталось определить априорные вероятности для $a$ и для $b$ . Пусть обе эти величины распределены равномерно в своих интервалах $[a_{min},a_{max}]$ и $[b_{min},b_{max}]$ . Таким образом, мы определили следующую вероятностную модель:
Модель 1

$p(a,b,c,d)=p(d|c)p(c|a,b)p(a)p(b)$ ,

$d|c \sim c + B(c,p_3)$ ,
$c|a,b \sim B(a,p_1) + B(b,p_2)$ ,
$a \sim R[a_{min},a_{max}]$ ,
$b \sim R[b_{min},b_{max}]$ .

Графическая модель для вероятностной модели 1

Рассмотрим несколько упрощенную версию модели 1. Известно, что биномиальное распределение $B(n,p)$ при большом количестве испытаний и маленькой вероятности успеха может быть с высокой точностью приближено пуассоновским распределением $Poiss(\lambda)$ с $\lambda = np$ . Известно также, что сумма двух пуассоновских распределений с параметрами $\lambda_1$ и $\lambda_2$ есть пуассоновское распределение с параметром $\lambda_1+\lambda_2$ . Таким образом, мы можем сформулировать вероятностную модель, которая является приближенной версией модели 1:
Модель 2
$p(a,b,c,d)=p(d|c)p(c|a,b)p(a)p(b)$ ,
$d|c \sim c + B(c,p_3)$ ,
$c|a,b \sim Poiss(ap_1+bp_2)$ ,
$a \sim R[a_{min},a_{max}]$ ,
$b \sim R[b_{min},b_{max}]$ .

Рассмотрим теперь модель посещаемости нескольких лекций курса. Будем считать, что посещаемости отдельных лекций являются независимыми. Тогда:
Модель 3

$p(a,b,c_1,\dots,c_N,d_1,\dots,d_N)=\prod_{n=1}^Np(d_n|c_n)p(c_n|a,b)p(a)p(b)$ ,

$d_n|c_n \sim c_n + B(c_n,p_3)$ ,
$c_n|a,b \sim B(a,p_1) + B(b,p_2)$ ,
$a \sim R[a_{min},a_{max}]$ ,
$b \sim R[b_{min},b_{max}]$ .

Графическая модель для вероятностной модели 3

По аналогии с моделью 2 можно сформулировать упрощенную модель для модели 3:
Модель 4
$p(a,b,c_1,\dots,c_N,d_1,\dots,d_N)=\prod_{n=1}^Np(d_n|c_n)p(c_n|a,b)p(a)p(b)$ ,
$d_n|c_n \sim c_n + B(c_n,p_3)$ ,
$c_n|a,b \sim Poiss(ap_1+bp_2)$ ,
$a \sim R[a_{min},a_{max}]$ ,
$b \sim R[b_{min},b_{max}]$ .

Задание состоит из трех вариантов. Распределение студентов по вариантам см. ниже.

Вариант 1

Рассматривается модель 2 с параметрами $a_{min}=15, a_{max}=30, b_{min}=250, b_{max}=350, p_1 = 0.5, p_2 = 0.05, p_3 = 0.5$ . Провести на компьютере следующие исследования:

Найти математические ожидания и дисперсии априорных распределений для всех параметров $a, b, c, d$ .
Пронаблюдать, как происходит уточнение прогноза для величины $c$ по мере прихода новой косвенной информации. Для этого построить графики и найти мат.ожидание и дисперсию для распределений $p(c), p(c|b), p(c|a,b), p(c|a,b,d)$ при параметрах $a,b,d$ , равных мат.ожиданиям своих априорных распределений, округленных до ближайшего целого.
Определить, какая из величин $a,b,d$ вносит больший вклад в уточнение прогноза для величины $c$ (в смысле дисперсии распределения). Для этого убедиться в том, что $\mathbb{D}[c|d]<\mathbb{D}[c|b]$ и $\mathbb{D}[c|d]<\mathbb{D}[c|a]$ для любых допустимых значений $a,b,d$ . Найти множество точек $(a,b)$ таких, что $\mathbb{D}[c|b]<\mathbb{D}[c|a]$ . Являются ли множества $\{(a,b)|\mathbb{D}[c|b]<\mathbb{D}[c|a]\}$ и $\{(a,b)|\mathbb{D}[c|b]\ge\mathbb{D}[c|a]\}$ линейно разделимыми?
Провести временные замеры по оценке всех необходимых распределений $p(c),p(c|a),p(c|b),p(c|d),p(c|a,b),p(c|a,b,d),p(d)$ .
Провести исследования из пп. 1-4 для точной модели 1 и сравнить результаты с аналогичными для модели 2. Привести пример оценки параметра, в котором разница между моделью 1 и 2 проявляется в большой степени.

Взять в качестве диапазона допустимых значений для величины $c$ интервал $[0,a_{max}+b_{max}]$ , а для величины $d$ — интервал $[0,2*(a_{max}+b_{max})]$ .

При оценке выполнения задания будет учитываться эффективность программного кода. В частности, временные затраты на расчет отдельного распределения не должны превышать одной секунды.

Вариант 2

Найти математические ожидания и дисперсии априорных распределений для всех параметров $a, b, c, d$ .
Пронаблюдать, как происходит уточнение прогноза для величины $b$ по мере прихода новой косвенной информации. Для этого построить графики и найти мат.ожидание и дисперсию для распределений $p(b), p(b|a), p(b|a,d)$ при параметрах $a,d$ , равных мат.ожиданиям своих априорных распределений, округленных до ближайшего целого.
Определить, при каких соотношениях параметров $p_1,p_2$ изменяется относительная важность параметров $a,b$ для оценки величины $c$ . Для этого найти множество точек $\{(p_1,p_2)|\mathbb{D}[c|b]<\mathbb{D}[c|a]\}$ при $a,b$ , равных мат.ожиданиям своих априорных распределений, округленных до ближайшего целого. Являются ли множества $\{(p_1,p_2)|\mathbb{D}[c|b]<\mathbb{D}[c|a]\}$ и $\{(p_1,p_2)|\mathbb{D}[c|b]\ge\mathbb{D}[c|a]\}$ линейно разделимыми?
Провести временные замеры по оценке всех необходимых распределений $p(c),p(c|a),p(c|b),p(b|a),p(b|a,d),p(d)$ .
Провести исследования из пп. 1-4 для точной модели 1 и сравнить результаты с аналогичными для модели 2. Привести пример оценки параметра, в котором разница между моделью 1 и 2 проявляется в большой степени.

Вариант 3

Рассматривается модель 4 с параметрами $a_{min}=15, a_{max}=30, b_{min}=250, b_{max}=350, p_1 = 0.5, p_2 = 0.05, p_3 = 0.5, N = 50$ . Провести на компьютере следующие исследования:

Найти математические ожидания и дисперсии априорных распределений для всех параметров $a, b, c_n, d_n$ .
Реализовать генератор выборки $d_1,\dots,d_N$ из модели при заданных значениях параметров $a,b$ .
Пронаблюдать, как происходит уточнение прогноза для величины $b$ по мере прихода новой косвенной информации. Для этого построить графики и найти мат.ожидание и дисперсию для распределений $p(b), p(b|d_1), \dots, p(b|d_1,\dots,d_N)$ , где выборка $d_1,\dots,d_N$ 1) сгенерирована из модели при параметрах $a,b$ , равных мат.ожиданиям своих априорных распределений, округленных до ближайшего целого и 2) $d_1=\dots=d_N$ , где $d_n$ равно мат.ожиданию своего априорного распределения, округленного до ближайшего целого. Провести аналогичный эксперимент, если дополнительно известно значение $a$ . Сравнить результаты двух экспериментов.
Провести временные замеры по оценке всех необходимых распределений $p(c_n),p(d_n),p(b|d_1,\dots,d_n),p(b|a,d_1,\dots,d_n)$ .
Провести исследования из пп. 1-4 для точной модели 3 и сравнить результаты с аналогичными для модели 4.

Оформление задания

Выполненное задание следует отправить письмом по адресу bayesml@gmail.com с заголовком письма «[ГМ13] Задание 1 <ФИО>». Убедительная просьба присылать выполненное задание только один раз с окончательным вариантом. Также убедительная просьба строго придерживаться заданных ниже прототипов реализуемых функций.

Присланный вариант задания должен содержать в себе:

ФИО исполнителя, номер варианта задания.
Текстовый файл в формате PDF, содержащий описание проведенных исследований.
Все исходные коды с необходимыми комментариями.
Дополнительные комментарии или материалы, если необходимо.

Исходные коды должны включать в себя реализацию оценки распределений в виде отдельных функций. Прототип для функции оценки распределения $p(c|a,d)$ для модели 2 имеет следующий вид:

Оценка распределения $p(c|a,d)$ для модели 2

[p, c, m, v] = p2c_ad(a, d, params)

ВХОД

a — значение параметра a;

d — значение параметра d;

params — набор параметров вероятностной модели, структура с полями 'amin', 'amax', 'bmin', 'bmax', 'p1', 'p2', 'p3';

ВЫХОД

p — распределение вероятности, вектор-столбец длины length(c);

c — носитель распределения, вектор-столбец;

m — математическое ожидание распределения;

v — дисперсия распределения.

Прототипы функций для других распределений выглядят аналогично. Если в распределении переменных до или после | несколько, то в названии функции они идут в алфавитном порядке. Функция для оценки распределения $p(b|a,d_1,\dots,d_N)$ для модели 3 имеет название p3b_ad, а входной параметр $d$ является одномерным массивом длины $N$ .

Генерация из распределения $p(d_1,\dots,d_N|a,b)$ для модели 3

d = m3_generate(N, a, b, params)

ВХОД

N — количество лекций;

a — значение параметра a;

b — значение параметра b;

params — набор параметров вероятностной модели, структура с полями 'amin', 'amax', 'bmin', 'bmax', 'p1', 'p2', 'p3';

ВЫХОД

d — значения $d_1,\dots,d_N$ , вектор-столбец длины N.

Распределение студентов по вариантам

№ п/п	Студент	Вариант
1	Аллаярова Альбина Венировна	2
2	Березин Алексей Андреевич	1
3	Борисов Михаил Викторович	3
4	Гавриков Михаил Игоревич	3
5	Зак Евгений Михайлович	3
6	Исмагилов Тимур Ниязович	2
7	Кондрашкин Дмитрий Андреевич	1
8	Куракин Александр Владимирович	1
9	Лобачева Екатерина Максимовна	2
10	Любимцева Мария Михайловна	2
11	Малышева Екатерина Константиновна	1
12	Морозова Дарья Юрьевна	2
13	Нижибицкий Евгений Алексеевич	2
14	Новиков Максим Сергеевич	3
15	Огнева Дарья Сергеевна	2
16	Остапец Андрей Александрович	3
17	Потапенко Анна Александровна	1
18	Ромов Петр Алексеевич	1
19	Фонарев Александр Юрьевич	1
20	Шаймарданов Ильдар Рифарович	3

Источник — «http://machinelearning.ru/wiki/index.php?title=%D0%93%D1%80%D0%B0%D1%84%D0%B8%D1%87%D0%B5%D1%81%D0%BA%D0%B8%D0%B5_%D0%BC%D0%BE%D0%B4%D0%B5%D0%BB%D0%B8_%28%D0%BA%D1%83%D1%80%D1%81_%D0%BB%D0%B5%D0%BA%D1%86%D0%B8%D0%B9%29/2013/%D0%97%D0%B0%D0%B4%D0%B0%D0%BD%D0%B8%D0%B5_1»

@@ Строка 1: / Строка 1: @@
 {{stop | Задание находится в стадии разработки. Не приступайте к выполнению задания, пока это объявление не убрано.}}
 {{Main|Графические модели (курс лекций)}}
+__TOC__
 '''Начало выполнения задания''': 15 февраля 2013 г.<br>
 '''Срок сдачи''': {{важно|1 марта 2013 г., 23:59.}}
+Среда для выполнения задания — MATLAB.
+== Вероятностные модели посещаемости курса ==
 Рассмотрим модель посещаемости студентами одного курса лекции. Пусть аудитория данного курса состоит из студентов профильной кафедры, а также студентов других кафедр. Обозначим через <tex>a</tex> количество студентов, распределившихся на профильную кафедру, а через <tex>b</tex> — количество студентов других кафедр на курсе. Пусть студенты профильной кафедры посещают курс с некоторой вероятностью <tex>p_1</tex>, а студенты остальных кафедр — с вероятностью <tex>p_2</tex>. Обозначим через <tex>c</tex> количество студентов на данной лекции. Тогда случайная величина <tex>c|a,b</tex> есть сумма двух случайных величин, распределенных по биномиальному закону <tex>B(a,p_1)</tex> и <tex>B(b,p_2)</tex> соответственно. Пусть далее на лекции по курсу ведется запись студентов. При этом каждый студент записывается сам, а также, быть может, записывает своего товарища, которого на лекции на самом деле нет (просьба не воспринимать это как руководство к действию в реальности!!). Пусть студент записывает своего товарища с некоторой вероятностью <tex>p_3</tex>. Обозначим через <tex>d</tex> общее количество записавшихся на данной лекции. Тогда случайная величина <tex>d|c</tex> представляет собой сумму <tex>c</tex> и случайной величины, распределенной по биномиальному закону <tex>B(c,p_3)</tex>. Для завершения задания вероятностной модели осталось определить априорные вероятности для <tex>a</tex> и для <tex>b</tex>. Пусть обе эти величины распределены равномерно в своих интервалах <tex>[a_{min},a_{max}]</tex> и <tex>[b_{min},b_{max}]</tex>. Таким образом, мы определили следующую вероятностную модель:<br>
@@ Строка 46: / Строка 54: @@
 <tex>b \sim R[b_{min},b_{max}]</tex>.<br>
-<br>Задание состоит из трех вариантов. Распределение студентов по вариантам см. ниже.
+<br>Задание состоит из трех вариантов. Распределение студентов по вариантам см. [[Графические модели (курс лекций)/2013/Задание 1#Распределение студентов по вариантам|ниже]].
 == Вариант 1 ==
@@ Строка 54: / Строка 62: @@
 # Определить, какая из величин <tex>a,b,d</tex> вносит больший вклад в уточнение прогноза для величины <tex>c</tex> (в смысле дисперсии распределения). Для этого убедиться в том, что <tex>\mathbb{D}[c|d]<\mathbb{D}[c|b]</tex> и <tex>\mathbb{D}[c|d]<\mathbb{D}[c|a]</tex> для любых допустимых значений <tex>a,b,d</tex>. Найти множество точек <tex>(a,b)</tex> таких, что <tex>\mathbb{D}[c|b]<\mathbb{D}[c|a]</tex>. Являются ли множества <tex>\{(a,b)|\mathbb{D}[c|b]<\mathbb{D}[c|a]\}</tex> и <tex>\{(a,b)|\mathbb{D}[c|b]\ge\mathbb{D}[c|a]\}</tex> линейно разделимыми?
 # Провести временные замеры по оценке всех необходимых распределений <tex>p(c),p(c|a),p(c|b),p(c|d),p(c|a,b),p(c|a,b,d),p(d)</tex>.
+# Провести исследования из пп. 1-4 для точной модели 1 и сравнить результаты с аналогичными для модели 2. Привести пример оценки параметра, в котором разница между моделью 1 и 2 проявляется в большой степени.
 Взять в качестве диапазона допустимых значений для величины <tex>c</tex> интервал <tex>[0,a_{max}+b_{max}]</tex>, а для величины <tex>d</tex> — интервал <tex>[0,2*(a_{max}+b_{max})]</tex>.
 При оценке выполнения задания будет учитываться эффективность программного кода. В частности, временные затраты на расчет отдельного распределения не должны превышать одной секунды.
-Необходимо дополнительно провести все исследования для точной модели 1 и сравнить результаты с аналогичными для модели 2. Привести пример оценки параметра, в котором разница между моделью 1 и 2 проявляется в большой степени.
 == Вариант 2 ==
@@ Строка 67: / Строка 74: @@
 # Определить, при каких соотношениях параметров <tex>p_1,p_2</tex> изменяется относительная важность параметров <tex>a,b</tex> для оценки величины <tex>c</tex>. Для этого найти множество точек <tex>\{(p_1,p_2)|\mathbb{D}[c|b]<\mathbb{D}[c|a]\}</tex> при <tex>a,b</tex>, равных мат.ожиданиям своих априорных распределений, округленных до ближайшего целого. Являются ли множества <tex>\{(p_1,p_2)|\mathbb{D}[c|b]<\mathbb{D}[c|a]\}</tex> и <tex>\{(p_1,p_2)|\mathbb{D}[c|b]\ge\mathbb{D}[c|a]\}</tex> линейно разделимыми?
 # Провести временные замеры по оценке всех необходимых распределений <tex>p(c),p(c|a),p(c|b),p(b|a),p(b|a,d),p(d)</tex>.
+# Провести исследования из пп. 1-4 для точной модели 1 и сравнить результаты с аналогичными для модели 2. Привести пример оценки параметра, в котором разница между моделью 1 и 2 проявляется в большой степени.
 Взять в качестве диапазона допустимых значений для величины <tex>c</tex> интервал <tex>[0,a_{max}+b_{max}]</tex>, а для величины <tex>d</tex> — интервал <tex>[0,2*(a_{max}+b_{max})]</tex>.
 При оценке выполнения задания будет учитываться эффективность программного кода. В частности, временные затраты на расчет отдельного распределения не должны превышать одной секунды.
-Необходимо дополнительно провести все исследования для точной модели 1 и сравнить результаты с аналогичными для модели 2. Привести пример оценки параметра, в котором разница между моделью 1 и 2 проявляется в большой степени.
 == Вариант 3 ==
@@ Строка 80: / Строка 86: @@
 # Пронаблюдать, как происходит уточнение прогноза для величины <tex>b</tex> по мере прихода новой косвенной информации. Для этого построить графики и найти мат.ожидание и дисперсию для распределений <tex>p(b), p(b|d_1), \dots, p(b|d_1,\dots,d_N)</tex>, где выборка <tex>d_1,\dots,d_N</tex> 1) сгенерирована из модели при параметрах <tex>a,b</tex>, равных мат.ожиданиям своих априорных распределений, округленных до ближайшего целого и 2) <tex>d_1=\dots=d_N</tex>, где <tex>d_n</tex> равно мат.ожиданию своего априорного распределения, округленного до ближайшего целого. Провести аналогичный эксперимент, если дополнительно известно значение <tex>a</tex>. Сравнить результаты двух экспериментов.
 # Провести временные замеры по оценке всех необходимых распределений <tex>p(c_n),p(d_n),p(b|d_1,\dots,d_n),p(b|a,d_1,\dots,d_n)</tex>.
+# Провести исследования из пп. 1-4 для точной модели 3 и сравнить результаты с аналогичными для модели 4.
 Взять в качестве диапазона допустимых значений для величины <tex>c</tex> интервал <tex>[0,a_{max}+b_{max}]</tex>, а для величины <tex>d</tex> — интервал <tex>[0,2*(a_{max}+b_{max})]</tex>.
 При оценке выполнения задания будет учитываться эффективность программного кода. В частности, временные затраты на расчет отдельного распределения не должны превышать одной секунды.
-Необходимо дополнительно провести все исследования для точной модели 3 и сравнить результаты с аналогичными для модели 4.
 == Оформление задания ==
-Выполненное задание следует отправить письмом по адресу ''bayesml@gmail.com'' с заголовком письма «Задание 1 <Номер_группы> <ФИО>». Убедительная просьба присылать выполненное задание '''только один раз''' с окончательным вариантом. Новые версии будут рассматриваться только в самом крайнем случае.
+Выполненное задание следует отправить письмом по адресу ''bayesml@gmail.com'' с заголовком письма «[ГМ13] Задание 1 <ФИО>». Убедительная просьба присылать выполненное задание '''только один раз''' с окончательным вариантом. Также убедительная просьба строго придерживаться заданных ниже прототипов реализуемых функций.
-В качестве программной среды реализации настоятельно рекомендуется использовать MATLAB. Тем не менее, никаких ограничений на выбор среды реализации не накладывается.
 Присланный вариант задания должен содержать в себе:
-* ФИО исполнителя, номер группы и номер варианта задания.
+* ФИО исполнителя, номер варианта задания.
 * Текстовый файл в формате PDF, содержащий описание проведенных исследований.
 * Все исходные коды с необходимыми комментариями.
@@ Строка 121: / Строка 124: @@
  |
  {|
-  |p — распределение вероятности, одномерный массив длины length(c);
+  |p — распределение вероятности, вектор-столбец длины length(c);
   |-
-  |c — носитель распределения, одномерный массив;
+  |c — носитель распределения, вектор-столбец;
   |-
   |m — математическое ожидание распределения;
@@ Строка 156: / Строка 159: @@
  |
  {|
-  |d — значения <tex>d_1,\dots,d_N</tex>, одномерный массив длины N.
+  |d — значения <tex>d_1,\dots,d_N</tex>, вектор-столбец длины N.
   |}
  |}
 == Распределение студентов по вариантам ==
-Студентам, которые не нашли себя в этом списке, следует написать письмо по адресу ''bayesml@gmail.com'' с запросом номера варианта. В этом письме не забудьте указать свою фамилию и номер группы.
 {|class = "standard sortable"

Графические модели (курс лекций)/2013/Задание 1

Материал из MachineLearning.

Версия 18:18, 15 февраля 2013

Содержание

Вероятностные модели посещаемости курса

Вариант 1

Вариант 2

Вариант 3

Оформление задания

Распределение студентов по вариантам

Просмотры

Личные инструменты

Навигация

Поиск

Инструменты