Байесовские методы машинного обучения (курс лекций, Д.П. Ветров, Д.А. Кропотов)/2011/Задание 1
Материал из MachineLearning.
(→Распределение студентов по вариантам) |
м (→Распределение студентов по вариантам) |
||
(8 промежуточных версий не показаны.) | |||
Строка 1: | Строка 1: | ||
- | |||
- | |||
{{Main|Байесовские методы машинного обучения (курс лекций, Д.П. Ветров, Д.А. Кропотов)}} | {{Main|Байесовские методы машинного обучения (курс лекций, Д.П. Ветров, Д.А. Кропотов)}} | ||
+ | |||
+ | __TOC__ | ||
'''Начало выполнения задания''': 28 сентября 2011 г.<br> | '''Начало выполнения задания''': 28 сентября 2011 г.<br> | ||
- | '''Срок сдачи''': {{важно| | + | '''Срок сдачи''': {{важно|12 октября 2011 г. (среда), 23:59.}} |
Рассмотрим модель посещаемости студентами одного курса лекции по спецкурсу. Пусть аудитория данного спецкурса состоит из студентов профильной кафедры, а также студентов других кафедр. Обозначим через <tex>a</tex> количество студентов, распределившихся на профильную кафедру, а через <tex>b</tex> — количество студентов других кафедр на курсе. Пусть студенты профильной кафедры посещают спецкурс с некоторой вероятностью <tex>p_1</tex>, а студенты остальных кафедр — с вероятностью <tex>p_2</tex>. Обозначим через <tex>c</tex> количество студентов на данной лекции. Тогда случайная величина <tex>c|a,b</tex> есть сумма двух случайных величин, распределенных по биномиальному закону <tex>B(a,p_1)</tex> и <tex>B(b,p_2)</tex> соответственно. Пусть далее на лекции по спецкурсу ведется запись студентов. При этом каждый студент записывается сам, а также, быть может, записывает своего товарища, которого на лекции на самом деле нет (просьба не воспринимать это как руководство к действию в реальности!!). Пусть студент записывает своего товарища с некоторой вероятностью <tex>p_3</tex>. Обозначим через <tex>d</tex> общее количество записавшихся на данной лекции. Тогда случайная величина <tex>d|c</tex> представляет собой сумму <tex>c</tex> и случайной величины, распределенной по биномиальному закону <tex>B(c,p_3)</tex>. Для завершения задания вероятностной модели осталось определить априорные вероятности для <tex>a</tex> и для <tex>b</tex>. Пусть обе эти величины распределены равномерно в своих интервалах <tex>[a_{min},a_{max}]</tex> и <tex>[b_{min},b_{max}]</tex>. Таким образом, мы определили следующую вероятностную модель:<br> | Рассмотрим модель посещаемости студентами одного курса лекции по спецкурсу. Пусть аудитория данного спецкурса состоит из студентов профильной кафедры, а также студентов других кафедр. Обозначим через <tex>a</tex> количество студентов, распределившихся на профильную кафедру, а через <tex>b</tex> — количество студентов других кафедр на курсе. Пусть студенты профильной кафедры посещают спецкурс с некоторой вероятностью <tex>p_1</tex>, а студенты остальных кафедр — с вероятностью <tex>p_2</tex>. Обозначим через <tex>c</tex> количество студентов на данной лекции. Тогда случайная величина <tex>c|a,b</tex> есть сумма двух случайных величин, распределенных по биномиальному закону <tex>B(a,p_1)</tex> и <tex>B(b,p_2)</tex> соответственно. Пусть далее на лекции по спецкурсу ведется запись студентов. При этом каждый студент записывается сам, а также, быть может, записывает своего товарища, которого на лекции на самом деле нет (просьба не воспринимать это как руководство к действию в реальности!!). Пусть студент записывает своего товарища с некоторой вероятностью <tex>p_3</tex>. Обозначим через <tex>d</tex> общее количество записавшихся на данной лекции. Тогда случайная величина <tex>d|c</tex> представляет собой сумму <tex>c</tex> и случайной величины, распределенной по биномиальному закону <tex>B(c,p_3)</tex>. Для завершения задания вероятностной модели осталось определить априорные вероятности для <tex>a</tex> и для <tex>b</tex>. Пусть обе эти величины распределены равномерно в своих интервалах <tex>[a_{min},a_{max}]</tex> и <tex>[b_{min},b_{max}]</tex>. Таким образом, мы определили следующую вероятностную модель:<br> | ||
Строка 101: | Строка 101: | ||
* Дополнительные комментарии или материалы, если необходимо. | * Дополнительные комментарии или материалы, если необходимо. | ||
- | Исходные коды должны включать в себя реализацию оценки распределений в виде '''отдельных функций'''. Название таких функций имеет вид ''' | + | Исходные коды должны включать в себя реализацию оценки распределений в виде '''отдельных функций'''. Название таких функций имеет вид '''pMabcd_efgh''', где M — номер вероятностной модели, abcd — набор переменных, которые стоят в условном распределении до черты, efgh — набор переменных, которые стоят в условном распределении после черты. Например, функция для оценки распределения <tex>p(c|a,d)</tex> в модели 2 имеет название p2c_ad, а функция для оценки распределения <tex>p(b|a,d_1,\dots,d_N)</tex> в модели 3 имеет название p3b_ad, где входной параметр <tex>d</tex> является одномерным массивом длины <tex>N</tex>. Прототип функции p2c_ad имеет следующий вид:<br> |
{|class="standard" | {|class="standard" | ||
!''Оценка распределения <tex>p(c|a,d)</tex> для модели 2'' | !''Оценка распределения <tex>p(c|a,d)</tex> для модели 2'' | ||
Строка 165: | Строка 165: | ||
Студентам, которые не нашли себя в этом списке, следует написать письмо по адресу ''bayesml@gmail.com'' с запросом номера варианта. В этом письме не забудьте указать свою фамилию и номер группы. | Студентам, которые не нашли себя в этом списке, следует написать письмо по адресу ''bayesml@gmail.com'' с запросом номера варианта. В этом письме не забудьте указать свою фамилию и номер группы. | ||
- | {|class="standard" | + | {|class="standard sortable" |
- | !ФИО студента !! | + | !ФИО студента !! align="center"|Группа !! align="center"|Вариант |
+ | |- | ||
+ | |Вагиб Файзи || align="center"|114 || align="center"|1 | ||
+ | |- | ||
+ | |Хомутов Н.Ю. || align="center"|116 || align="center"|2 | ||
+ | |- | ||
+ | |Павленко А.А. || align="center"|202 || align="center"|1 || Срок сдачи задания — 26 октября | ||
+ | |- | ||
+ | |Зиннурова Э.А. || align="center"|204 || align="center"|1 || Срок сдачи задания — 19 октября | ||
+ | |- | ||
+ | |Рыжков А. || align="center"|204 || align="center"|3 || Срок сдачи задания — 26 октября | ||
+ | |- | ||
+ | |Шадриков А. || align="center"|204 || align="center"|1 || Срок сдачи задания — 26 октября | ||
+ | |- | ||
+ | |Кузьмин А.А. || align="center"|206 || align="center"|2 | ||
+ | |- | ||
+ | |Афанасьев К. || align="center"|206 || align="center"|3 | ||
+ | |- | ||
+ | |Шайдарманов И.Р. || align="center"|317 || align="center"|1 | ||
+ | |- | ||
+ | |Гавриков М. || align="center"|317 || align="center"|2 | ||
+ | |- | ||
+ | |Фонарев А. || align="center"|317 || align="center"|3 | ||
+ | |- | ||
+ | |Никитин М. || align="center"|321 || align="center"|3 | ||
+ | |- | ||
+ | |Чугунов В.В. || align="center"|401 || align="center"|2 | ||
|- | |- | ||
- | | | + | |Гаврилюк К. || align="center"|417 || align="center"|3 |
|- | |- | ||
- | | | + | |Меркулова Т. || align="center"|417 || align="center"|1 |
|- | |- | ||
- | | | + | |Кривошеева Т.Е. || align="center"|419 || align="center"|2 |
|- | |- | ||
- | | | + | |Шальнов Е.В. || align="center"|421 || align="center"|1 |
|- | |- | ||
- | | | + | |Лихогруд Н. || align="center"|520 || align="center"|3 |
|- | |- | ||
- | | | + | |Сильвестров А. || align="center"|520 || align="center"|1 |
|- | |- | ||
- | | | + | |Шаров А. || align="center"|525 || align="center"|1 |
|- | |- | ||
- | | | + | |Таранов В. || align="center"|525 || align="center"|2 |
|- | |- | ||
- | | | + | |Полуэктов Е.В. || align="center"|525 || align="center"|3 |
|- | |- | ||
- | | | + | |Каденов М.|| align="center"|528 || align="center"|1 |
|- | |- | ||
- | | | + | |Буздалов Д.В. || align="center"|528 || align="center"|2 |
|- | |- | ||
- | | | + | |Митрощина У. || align="center"|ВВО || align="center"|2 |
|- | |- | ||
- | | | + | |Косырев С. || align="center"|ВВО || align="center"|3 |
|- | |- | ||
|} | |} |
Текущая версия
Содержание |
Начало выполнения задания: 28 сентября 2011 г.
Срок сдачи: 12 октября 2011 г. (среда), 23:59.
Рассмотрим модель посещаемости студентами одного курса лекции по спецкурсу. Пусть аудитория данного спецкурса состоит из студентов профильной кафедры, а также студентов других кафедр. Обозначим через количество студентов, распределившихся на профильную кафедру, а через — количество студентов других кафедр на курсе. Пусть студенты профильной кафедры посещают спецкурс с некоторой вероятностью , а студенты остальных кафедр — с вероятностью . Обозначим через количество студентов на данной лекции. Тогда случайная величина есть сумма двух случайных величин, распределенных по биномиальному закону и соответственно. Пусть далее на лекции по спецкурсу ведется запись студентов. При этом каждый студент записывается сам, а также, быть может, записывает своего товарища, которого на лекции на самом деле нет (просьба не воспринимать это как руководство к действию в реальности!!). Пусть студент записывает своего товарища с некоторой вероятностью . Обозначим через общее количество записавшихся на данной лекции. Тогда случайная величина представляет собой сумму и случайной величины, распределенной по биномиальному закону . Для завершения задания вероятностной модели осталось определить априорные вероятности для и для . Пусть обе эти величины распределены равномерно в своих интервалах и . Таким образом, мы определили следующую вероятностную модель:
Модель 1
, , |
Рассмотрим несколько упрощенную версию модели 1. Известно, что биномиальное распределение при большом количестве испытаний и маленькой вероятности успеха может быть с высокой точностью приближено пуассоновским распределением с . Известно также, что сумма двух пуассоновских распределений с параметрами и есть пуассоновское распределение с параметром . Таким образом, мы можем сформулировать вероятностную модель, которая является приближенной версией модели 1:
Модель 2
,
,
,
,
.
Рассмотрим теперь модель посещаемости нескольких лекций спецкурса. Будем считать, что посещаемости отдельных лекций являются независимыми. Тогда:
Модель 3
, , |
По аналогии с моделью 2 можно сформулировать упрощенную модель для модели 3:
Модель 4
,
,
,
,
.
Задание состоит из трех вариантов. Распределение студентов по вариантам см. ниже.
Вариант 1
Рассматривается модель 2 с параметрами . Провести на компьютере следующие исследования:
- Найти математические ожидания и дисперсии априорных распределений для всех параметров .
- Пронаблюдать, как происходит уточнение прогноза для величины по мере прихода новой косвенной информации. Для этого построить графики и найти мат.ожидание и дисперсию для распределений при параметрах , равных мат.ожиданиям своих априорных распределений, округленных до ближайшего целого.
- Определить, какая из величин вносит больший вклад в уточнение прогноза для величины (в смысле дисперсии распределения). Для этого убедиться в том, что и для любых допустимых значений . Найти множество точек таких, что . Являются ли множества и линейно разделимыми?
- Провести временные замеры по оценке всех необходимых распределений .
Взять в качестве диапазона допустимых значений для величины интервал , а для величины — интервал .
Для студентов 3 курса и выше: при оценке выполнения задания будет учитываться эффективность программного кода. В частности, временные затраты на расчет отдельного распределения не должны превышать одной секунды.
Для студентов 4 курса и выше: необходимо дополнительно провести все исследования для точной модели 1 и сравнить результаты с аналогичными для модели 2. Привести пример оценки параметра, в котором разница между моделью 1 и 2 проявляется в большой степени.
Вариант 2
Рассматривается модель 2 с параметрами . Провести на компьютере следующие исследования:
- Найти математические ожидания и дисперсии априорных распределений для всех параметров .
- Пронаблюдать, как происходит уточнение прогноза для величины по мере прихода новой косвенной информации. Для этого построить графики и найти мат.ожидание и дисперсию для распределений при параметрах , равных мат.ожиданиям своих априорных распределений, округленных до ближайшего целого.
- Определить, при каких соотношениях параметров изменяется относительная важность параметров для оценки величины . Для этого найти множество точек при , равных мат.ожиданиям своих априорных распределений, округленных до ближайшего целого. Являются ли множества и линейно разделимыми?
- Провести временные замеры по оценке всех необходимых распределений .
Взять в качестве диапазона допустимых значений для величины интервал , а для величины — интервал .
Для студентов 3 курса и выше: при оценке выполнения задания будет учитываться эффективность программного кода. В частности, временные затраты на расчет отдельного распределения не должны превышать одной секунды.
Для студентов 4 курса и выше: необходимо дополнительно провести все исследования для точной модели 1 и сравнить результаты с аналогичными для модели 2. Привести пример оценки параметра, в котором разница между моделью 1 и 2 проявляется в большой степени.
Вариант 3
Рассматривается модель 4 с параметрами . Провести на компьютере следующие исследования:
- Найти математические ожидания и дисперсии априорных распределений для всех параметров .
- Реализовать генератор выборки из модели при заданных значениях параметров .
- Пронаблюдать, как происходит уточнение прогноза для величины по мере прихода новой косвенной информации. Для этого построить графики и найти мат.ожидание и дисперсию для распределений , где выборка 1) сгенерирована из модели при параметрах , равных мат.ожиданиям своих априорных распределений, округленных до ближайшего целого и 2) , где равно мат.ожиданию своего априорного распределения, округленного до ближайшего целого. Провести аналогичный эксперимент, если дополнительно известно значение . Сравнить результаты двух экспериментов.
- Провести временные замеры по оценке всех необходимых распределений .
Взять в качестве диапазона допустимых значений для величины интервал , а для величины — интервал .
Для студентов 3 курса и выше: при оценке выполнения задания будет учитываться эффективность программного кода. В частности, временные затраты на расчет отдельного распределения не должны превышать одной секунды.
Для студентов 4 курса и выше: необходимо дополнительно провести все исследования для точной модели 3 и сравнить результаты с аналогичными для модели 4.
Оформление задания
Выполненное задание следует отправить письмом по адресу bayesml@gmail.com с заголовком письма «Задание 1 <Номер_группы> <ФИО>». Убедительная просьба присылать выполненное задание только один раз с окончательным вариантом. Новые версии будут рассматриваться только в самом крайнем случае. Задания, в которых прототипы реализованных функций не будут соответствовать описанию ниже, рассматриваться не будут!
Среда реализации — MATLAB.
Присланный вариант задания должен содержать в себе:
- ФИО исполнителя, номер группы и номер варианта задания.
- Текстовый файл в формате PDF, содержащий описание проведенных исследований.
- Все исходные коды с необходимыми комментариями.
- Дополнительные комментарии или материалы, если необходимо.
Исходные коды должны включать в себя реализацию оценки распределений в виде отдельных функций. Название таких функций имеет вид pMabcd_efgh, где M — номер вероятностной модели, abcd — набор переменных, которые стоят в условном распределении до черты, efgh — набор переменных, которые стоят в условном распределении после черты. Например, функция для оценки распределения в модели 2 имеет название p2c_ad, а функция для оценки распределения в модели 3 имеет название p3b_ad, где входной параметр является одномерным массивом длины . Прототип функции p2c_ad имеет следующий вид:
Оценка распределения для модели 2 | ||||
---|---|---|---|---|
[p, c, m, v] = p2c_ad(a, d, params) | ||||
ВХОД | ||||
| ||||
ВЫХОД | ||||
|
Прототипы функций для других распределений выглядят аналогично.
Генерация из распределения для модели 3 | ||||
---|---|---|---|---|
d = m3_generate(N, a, b, params) | ||||
ВХОД | ||||
| ||||
ВЫХОД | ||||
|
Распределение студентов по вариантам
Студентам, которые не нашли себя в этом списке, следует написать письмо по адресу bayesml@gmail.com с запросом номера варианта. В этом письме не забудьте указать свою фамилию и номер группы.
ФИО студента | Группа | Вариант | |
---|---|---|---|
Вагиб Файзи | 114 | 1 | |
Хомутов Н.Ю. | 116 | 2 | |
Павленко А.А. | 202 | 1 | Срок сдачи задания — 26 октября |
Зиннурова Э.А. | 204 | 1 | Срок сдачи задания — 19 октября |
Рыжков А. | 204 | 3 | Срок сдачи задания — 26 октября |
Шадриков А. | 204 | 1 | Срок сдачи задания — 26 октября |
Кузьмин А.А. | 206 | 2 | |
Афанасьев К. | 206 | 3 | |
Шайдарманов И.Р. | 317 | 1 | |
Гавриков М. | 317 | 2 | |
Фонарев А. | 317 | 3 | |
Никитин М. | 321 | 3 | |
Чугунов В.В. | 401 | 2 | |
Гаврилюк К. | 417 | 3 | |
Меркулова Т. | 417 | 1 | |
Кривошеева Т.Е. | 419 | 2 | |
Шальнов Е.В. | 421 | 1 | |
Лихогруд Н. | 520 | 3 | |
Сильвестров А. | 520 | 1 | |
Шаров А. | 525 | 1 | |
Таранов В. | 525 | 2 | |
Полуэктов Е.В. | 525 | 3 | |
Каденов М. | 528 | 1 | |
Буздалов Д.В. | 528 | 2 | |
Митрощина У. | ВВО | 2 | |
Косырев С. | ВВО | 3 |