Байесовские методы машинного обучения (курс лекций, Д.П. Ветров, Д.А. Кропотов)/2011/Задание 1
Материал из MachineLearning.
(→Распределение студентов по вариантам) |
(→Распределение студентов по вариантам) |
||
Строка 171: | Строка 171: | ||
|- | |- | ||
|Хомутов Н.Ю. || align="center"|116 || align="center"|2 | |Хомутов Н.Ю. || align="center"|116 || align="center"|2 | ||
+ | |- | ||
+ | |Афанасьев К. || align="center"|206 || align="center"|3 | ||
|- | |- | ||
|Шайдарманов И.Р. || align="center"|317 || align="center"|1 | |Шайдарманов И.Р. || align="center"|317 || align="center"|1 | ||
Строка 183: | Строка 185: | ||
|- | |- | ||
|Гаврилюк К. || align="center"|417 || align="center"|3 | |Гаврилюк К. || align="center"|417 || align="center"|3 | ||
+ | |- | ||
+ | |Меркулова Т. || align="center"|417 || align="center"|1 | ||
|- | |- | ||
|Кривошеева Т.Е. || align="center"|419 || align="center"|2 | |Кривошеева Т.Е. || align="center"|419 || align="center"|2 | ||
|- | |- | ||
|Шальнов Е.В. || align="center"|421 || align="center"|1 | |Шальнов Е.В. || align="center"|421 || align="center"|1 | ||
+ | |- | ||
+ | |Лихогруд Н. || align="center"|520 || align="center"|3 | ||
+ | |- | ||
+ | |Сильвестров А. || align="center"|520 || align="center"|1 | ||
|- | |- | ||
|Шаров А. || align="center"|525 || align="center"|1 | |Шаров А. || align="center"|525 || align="center"|1 | ||
Строка 194: | Строка 202: | ||
|Полуэктов Е.В. || align="center"|525 || align="center"|3 | |Полуэктов Е.В. || align="center"|525 || align="center"|3 | ||
|- | |- | ||
- | |Кадеков || align="center"|528 || align="center"|1 | + | |Кадеков М.|| align="center"|528 || align="center"|1 |
+ | |- | ||
+ | |Митрощина У. || align="center"|ВВО || align="center"|2 | ||
+ | |- | ||
+ | |Косырев С. || align="center"|ВВО || align="center"|3 | ||
|- | |- | ||
|} | |} |
Версия 14:25, 28 сентября 2011
Содержание |
Начало выполнения задания: 28 сентября 2011 г.
Срок сдачи: 12 октября 2011 г. (среда), 23:59.
Рассмотрим модель посещаемости студентами одного курса лекции по спецкурсу. Пусть аудитория данного спецкурса состоит из студентов профильной кафедры, а также студентов других кафедр. Обозначим через количество студентов, распределившихся на профильную кафедру, а через — количество студентов других кафедр на курсе. Пусть студенты профильной кафедры посещают спецкурс с некоторой вероятностью , а студенты остальных кафедр — с вероятностью . Обозначим через количество студентов на данной лекции. Тогда случайная величина есть сумма двух случайных величин, распределенных по биномиальному закону и соответственно. Пусть далее на лекции по спецкурсу ведется запись студентов. При этом каждый студент записывается сам, а также, быть может, записывает своего товарища, которого на лекции на самом деле нет (просьба не воспринимать это как руководство к действию в реальности!!). Пусть студент записывает своего товарища с некоторой вероятностью . Обозначим через общее количество записавшихся на данной лекции. Тогда случайная величина представляет собой сумму и случайной величины, распределенной по биномиальному закону . Для завершения задания вероятностной модели осталось определить априорные вероятности для и для . Пусть обе эти величины распределены равномерно в своих интервалах и . Таким образом, мы определили следующую вероятностную модель:
Модель 1
, , |
Рассмотрим несколько упрощенную версию модели 1. Известно, что биномиальное распределение при большом количестве испытаний и маленькой вероятности успеха может быть с высокой точностью приближено пуассоновским распределением с . Известно также, что сумма двух пуассоновских распределений с параметрами и есть пуассоновское распределение с параметром . Таким образом, мы можем сформулировать вероятностную модель, которая является приближенной версией модели 1:
Модель 2
,
,
,
,
.
Рассмотрим теперь модель посещаемости нескольких лекций спецкурса. Будем считать, что посещаемости отдельных лекций являются независимыми. Тогда:
Модель 3
, , |
По аналогии с моделью 2 можно сформулировать упрощенную модель для модели 3:
Модель 4
,
,
,
,
.
Задание состоит из трех вариантов. Распределение студентов по вариантам см. ниже.
Вариант 1
Рассматривается модель 2 с параметрами . Провести на компьютере следующие исследования:
- Найти математические ожидания и дисперсии априорных распределений для всех параметров .
- Пронаблюдать, как происходит уточнение прогноза для величины по мере прихода новой косвенной информации. Для этого построить графики и найти мат.ожидание и дисперсию для распределений при параметрах , равных мат.ожиданиям своих априорных распределений, округленных до ближайшего целого.
- Определить, какая из величин вносит больший вклад в уточнение прогноза для величины (в смысле дисперсии распределения). Для этого убедиться в том, что и для любых допустимых значений . Найти множество точек таких, что . Являются ли множества и линейно разделимыми?
- Провести временные замеры по оценке всех необходимых распределений .
Взять в качестве диапазона допустимых значений для величины интервал , а для величины — интервал .
Для студентов 3 курса и выше: при оценке выполнения задания будет учитываться эффективность программного кода. В частности, временные затраты на расчет отдельного распределения не должны превышать одной секунды.
Для студентов 4 курса и выше: необходимо дополнительно провести все исследования для точной модели 1 и сравнить результаты с аналогичными для модели 2. Привести пример оценки параметра, в котором разница между моделью 1 и 2 проявляется в большой степени.
Вариант 2
Рассматривается модель 2 с параметрами . Провести на компьютере следующие исследования:
- Найти математические ожидания и дисперсии априорных распределений для всех параметров .
- Пронаблюдать, как происходит уточнение прогноза для величины по мере прихода новой косвенной информации. Для этого построить графики и найти мат.ожидание и дисперсию для распределений при параметрах , равных мат.ожиданиям своих априорных распределений, округленных до ближайшего целого.
- Определить, при каких соотношениях параметров изменяется относительная важность параметров для оценки величины . Для этого найти множество точек при , равных мат.ожиданиям своих априорных распределений, округленных до ближайшего целого. Являются ли множества и линейно разделимыми?
- Провести временные замеры по оценке всех необходимых распределений .
Взять в качестве диапазона допустимых значений для величины интервал , а для величины — интервал .
Для студентов 3 курса и выше: при оценке выполнения задания будет учитываться эффективность программного кода. В частности, временные затраты на расчет отдельного распределения не должны превышать одной секунды.
Для студентов 4 курса и выше: необходимо дополнительно провести все исследования для точной модели 1 и сравнить результаты с аналогичными для модели 2. Привести пример оценки параметра, в котором разница между моделью 1 и 2 проявляется в большой степени.
Вариант 3
Рассматривается модель 4 с параметрами . Провести на компьютере следующие исследования:
- Найти математические ожидания и дисперсии априорных распределений для всех параметров .
- Реализовать генератор выборки из модели при заданных значениях параметров .
- Пронаблюдать, как происходит уточнение прогноза для величины по мере прихода новой косвенной информации. Для этого построить графики и найти мат.ожидание и дисперсию для распределений , где выборка 1) сгенерирована из модели при параметрах , равных мат.ожиданиям своих априорных распределений, округленных до ближайшего целого и 2) , где равно мат.ожиданию своего априорного распределения, округленного до ближайшего целого. Провести аналогичный эксперимент, если дополнительно известно значение . Сравнить результаты двух экспериментов.
- Провести временные замеры по оценке всех необходимых распределений .
Взять в качестве диапазона допустимых значений для величины интервал , а для величины — интервал .
Для студентов 3 курса и выше: при оценке выполнения задания будет учитываться эффективность программного кода. В частности, временные затраты на расчет отдельного распределения не должны превышать одной секунды.
Для студентов 4 курса и выше: необходимо дополнительно провести все исследования для точной модели 3 и сравнить результаты с аналогичными для модели 4.
Оформление задания
Выполненное задание следует отправить письмом по адресу bayesml@gmail.com с заголовком письма «Задание 1 <Номер_группы> <ФИО>». Убедительная просьба присылать выполненное задание только один раз с окончательным вариантом. Новые версии будут рассматриваться только в самом крайнем случае. Задания, в которых прототипы реализованных функций не будут соответствовать описанию ниже, рассматриваться не будут!
Среда реализации — MATLAB.
Присланный вариант задания должен содержать в себе:
- ФИО исполнителя, номер группы и номер варианта задания.
- Текстовый файл в формате PDF, содержащий описание проведенных исследований.
- Все исходные коды с необходимыми комментариями.
- Дополнительные комментарии или материалы, если необходимо.
Исходные коды должны включать в себя реализацию оценки распределений в виде отдельных функций. Название таких функций имеет вид pMabcd_efgh, где M — номер вероятностной модели, abcd — набор переменных, которые стоят в условном распределении до черты, efgh — набор переменных, которые стоят в условном распределении после черты. Например, функция для оценки распределения в модели 2 имеет название p2c_ad, а функция для оценки распределения в модели 3 имеет название p3b_ad, где входной параметр является одномерным массивом длины . Прототип функции p2c_ad имеет следующий вид:
Оценка распределения для модели 2 | ||||
---|---|---|---|---|
[p, c, m, v] = p2c_ad(a, d, params) | ||||
ВХОД | ||||
| ||||
ВЫХОД | ||||
|
Прототипы функций для других распределений выглядят аналогично.
Генерация из распределения для модели 3 | ||||
---|---|---|---|---|
d = m3_generate(N, a, b, params) | ||||
ВХОД | ||||
| ||||
ВЫХОД | ||||
|
Распределение студентов по вариантам
Студентам, которые не нашли себя в этом списке, следует написать письмо по адресу bayesml@gmail.com с запросом номера варианта. В этом письме не забудьте указать свою фамилию и номер группы.
ФИО студента | Группа | Вариант |
---|---|---|
Вагиб Файзи | 114 | 1 |
Хомутов Н.Ю. | 116 | 2 |
Афанасьев К. | 206 | 3 |
Шайдарманов И.Р. | 317 | 1 |
Гавриков М. | 317 | 2 |
Фонарев А. | 317 | 3 |
Никитин М. | 321 | 3 |
Чугунов В.В. | 401 | 2 |
Гаврилюк К. | 417 | 3 |
Меркулова Т. | 417 | 1 |
Кривошеева Т.Е. | 419 | 2 |
Шальнов Е.В. | 421 | 1 |
Лихогруд Н. | 520 | 3 |
Сильвестров А. | 520 | 1 |
Шаров А. | 525 | 1 |
Таранов В. | 525 | 2 |
Полуэктов Е.В. | 525 | 3 |
Кадеков М. | 528 | 1 |
Митрощина У. | ВВО | 2 |
Косырев С. | ВВО | 3 |