Байесовские методы машинного обучения (курс лекций, Д.П. Ветров, Д.А. Кропотов)/2011/Задание 1
Материал из MachineLearning.
(Новая: __NOTOC__ {{Main|Байесовские методы машинного обучения (курс лекций, Д.П. Ветров, Д.А. Кропотов)}} '''Начало вып...) |
(→Оформление задания) |
||
Строка 91: | Строка 91: | ||
== Оформление задания == | == Оформление задания == | ||
- | Выполненное задание следует отправить письмом по адресу ''bayesml@gmail.com'' с заголовком письма «Задание 1 <Номер_группы> <ФИО>». Убедительная просьба присылать выполненное задание '''только один раз''' с окончательным вариантом. Новые версии будут рассматриваться только в самом крайнем случае. | + | Выполненное задание следует отправить письмом по адресу ''bayesml@gmail.com'' с заголовком письма «Задание 1 <Номер_группы> <ФИО>». Убедительная просьба присылать выполненное задание '''только один раз''' с окончательным вариантом. Новые версии будут рассматриваться только в самом крайнем случае. '''Задания, в которых прототипы реализованных функций не будут соответствовать описанию ниже, рассматриваться не будут!''' |
- | + | Среда реализации — MATLAB. | |
Присланный вариант задания должен содержать в себе: | Присланный вариант задания должен содержать в себе: | ||
Строка 101: | Строка 101: | ||
* Дополнительные комментарии или материалы, если необходимо. | * Дополнительные комментарии или материалы, если необходимо. | ||
- | Исходные коды должны включать в себя реализацию оценки распределений в виде отдельных функций. | + | Исходные коды должны включать в себя реализацию оценки распределений в виде '''отдельных функций'''. Название таких функций имеет вид '''pNabcd_efgh''', где N — номер вероятностной модели, abcd — набор переменных, которые стоят в условном распределении до черты, efgh — набор переменных, которые стоят в условном распределении после черты. Например, функция для оценки распределения <tex>p(c|a,d)</tex> в модели 2 имеет название p2c_ad, а функция для оценки распределения <tex>p(b|a,d_1,\dots,d_N)</tex> в модели 3 имеет название p3b_ad, где входной параметр <tex>d</tex> является одномерным массивом. Прототип функции p2c_ad имеет следующий вид:<br> |
{|class="standard" | {|class="standard" | ||
!''Оценка распределения <tex>p(c|a,d)</tex> для модели 2'' | !''Оценка распределения <tex>p(c|a,d)</tex> для модели 2'' | ||
Строка 133: | Строка 133: | ||
|} | |} | ||
- | Прототипы функций для других распределений выглядят аналогично | + | Прототипы функций для других распределений выглядят аналогично. |
{|class="standard" | {|class="standard" |
Версия 17:15, 27 сентября 2011
Начало выполнения задания: 28 сентября 2011 г.
Срок сдачи: 11 октября 2011 г., 23:59.
Рассмотрим модель посещаемости студентами одного курса лекции по спецкурсу. Пусть аудитория данного спецкурса состоит из студентов профильной кафедры, а также студентов других кафедр. Обозначим через количество студентов, распределившихся на профильную кафедру, а через — количество студентов других кафедр на курсе. Пусть студенты профильной кафедры посещают спецкурс с некоторой вероятностью , а студенты остальных кафедр — с вероятностью . Обозначим через количество студентов на данной лекции. Тогда случайная величина есть сумма двух случайных величин, распределенных по биномиальному закону и соответственно. Пусть далее на лекции по спецкурсу ведется запись студентов. При этом каждый студент записывается сам, а также, быть может, записывает своего товарища, которого на лекции на самом деле нет (просьба не воспринимать это как руководство к действию в реальности!!). Пусть студент записывает своего товарища с некоторой вероятностью . Обозначим через общее количество записавшихся на данной лекции. Тогда случайная величина представляет собой сумму и случайной величины, распределенной по биномиальному закону . Для завершения задания вероятностной модели осталось определить априорные вероятности для и для . Пусть обе эти величины распределены равномерно в своих интервалах и . Таким образом, мы определили следующую вероятностную модель:
Модель 1
, , |
Рассмотрим несколько упрощенную версию модели 1. Известно, что биномиальное распределение при большом количестве испытаний и маленькой вероятности успеха может быть с высокой точностью приближено пуассоновским распределением с . Известно также, что сумма двух пуассоновских распределений с параметрами и есть пуассоновское распределение с параметром . Таким образом, мы можем сформулировать вероятностную модель, которая является приближенной версией модели 1:
Модель 2
,
,
,
,
.
Рассмотрим теперь модель посещаемости нескольких лекций спецкурса. Будем считать, что посещаемости отдельных лекций являются независимыми. Тогда:
Модель 3
, , |
По аналогии с моделью 2 можно сформулировать упрощенную модель для модели 3:
Модель 4
,
,
,
,
.
Задание состоит из трех вариантов. Распределение студентов по вариантам см. ниже.
Вариант 1
Рассматривается модель 2 с параметрами . Провести на компьютере следующие исследования:
- Найти математические ожидания и дисперсии априорных распределений для всех параметров .
- Пронаблюдать, как происходит уточнение прогноза для величины по мере прихода новой косвенной информации. Для этого построить графики и найти мат.ожидание и дисперсию для распределений при параметрах , равных мат.ожиданиям своих априорных распределений, округленных до ближайшего целого.
- Определить, какая из величин вносит больший вклад в уточнение прогноза для величины (в смысле дисперсии распределения). Для этого убедиться в том, что и для любых допустимых значений . Найти множество точек таких, что . Являются ли множества и линейно разделимыми?
- Провести временные замеры по оценке всех необходимых распределений .
Взять в качестве диапазона допустимых значений для величины интервал , а для величины — интервал .
Для студентов 3 курса и выше: при оценке выполнения задания будет учитываться эффективность программного кода. В частности, временные затраты на расчет отдельного распределения не должны превышать одной секунды.
Для студентов 4 курса и выше: необходимо дополнительно провести все исследования для точной модели 1 и сравнить результаты с аналогичными для модели 2. Привести пример оценки параметра, в котором разница между моделью 1 и 2 проявляется в большой степени.
Вариант 2
Рассматривается модель 2 с параметрами . Провести на компьютере следующие исследования:
- Найти математические ожидания и дисперсии априорных распределений для всех параметров .
- Пронаблюдать, как происходит уточнение прогноза для величины по мере прихода новой косвенной информации. Для этого построить графики и найти мат.ожидание и дисперсию для распределений при параметрах , равных мат.ожиданиям своих априорных распределений, округленных до ближайшего целого.
- Определить, при каких соотношениях параметров изменяется относительная важность параметров для оценки величины . Для этого найти множество точек при , равных мат.ожиданиям своих априорных распределений, округленных до ближайшего целого. Являются ли множества и линейно разделимыми?
- Провести временные замеры по оценке всех необходимых распределений .
Взять в качестве диапазона допустимых значений для величины интервал , а для величины — интервал .
Для студентов 3 курса и выше: при оценке выполнения задания будет учитываться эффективность программного кода. В частности, временные затраты на расчет отдельного распределения не должны превышать одной секунды.
Для студентов 4 курса и выше: необходимо дополнительно провести все исследования для точной модели 1 и сравнить результаты с аналогичными для модели 2. Привести пример оценки параметра, в котором разница между моделью 1 и 2 проявляется в большой степени.
Вариант 3
Рассматривается модель 4 с параметрами . Провести на компьютере следующие исследования:
- Найти математические ожидания и дисперсии априорных распределений для всех параметров .
- Реализовать генератор выборки из модели при заданных значениях параметров .
- Пронаблюдать, как происходит уточнение прогноза для величины по мере прихода новой косвенной информации. Для этого построить графики и найти мат.ожидание и дисперсию для распределений , где выборка 1) сгенерирована из модели при параметрах , равных мат.ожиданиям своих априорных распределений, округленных до ближайшего целого и 2) , где равно мат.ожиданию своего априорного распределения, округленного до ближайшего целого. Провести аналогичный эксперимент, если дополнительно известно значение . Сравнить результаты двух экспериментов.
- Провести временные замеры по оценке всех необходимых распределений .
Взять в качестве диапазона допустимых значений для величины интервал , а для величины — интервал .
Для студентов 3 курса и выше: при оценке выполнения задания будет учитываться эффективность программного кода. В частности, временные затраты на расчет отдельного распределения не должны превышать одной секунды.
Для студентов 4 курса и выше: необходимо дополнительно провести все исследования для точной модели 3 и сравнить результаты с аналогичными для модели 4.
Оформление задания
Выполненное задание следует отправить письмом по адресу bayesml@gmail.com с заголовком письма «Задание 1 <Номер_группы> <ФИО>». Убедительная просьба присылать выполненное задание только один раз с окончательным вариантом. Новые версии будут рассматриваться только в самом крайнем случае. Задания, в которых прототипы реализованных функций не будут соответствовать описанию ниже, рассматриваться не будут!
Среда реализации — MATLAB.
Присланный вариант задания должен содержать в себе:
- ФИО исполнителя, номер группы и номер варианта задания.
- Текстовый файл в формате PDF, содержащий описание проведенных исследований.
- Все исходные коды с необходимыми комментариями.
- Дополнительные комментарии или материалы, если необходимо.
Исходные коды должны включать в себя реализацию оценки распределений в виде отдельных функций. Название таких функций имеет вид pNabcd_efgh, где N — номер вероятностной модели, abcd — набор переменных, которые стоят в условном распределении до черты, efgh — набор переменных, которые стоят в условном распределении после черты. Например, функция для оценки распределения в модели 2 имеет название p2c_ad, а функция для оценки распределения в модели 3 имеет название p3b_ad, где входной параметр является одномерным массивом. Прототип функции p2c_ad имеет следующий вид:
Оценка распределения для модели 2 | ||||
---|---|---|---|---|
[p, c, m, v] = p2c_ad(a, d, params) | ||||
ВХОД | ||||
| ||||
ВЫХОД | ||||
|
Прототипы функций для других распределений выглядят аналогично.
Генерация из распределения для модели 3 | ||||
---|---|---|---|---|
d = m3_generate(N, a, b, params) | ||||
ВХОД | ||||
| ||||
ВЫХОД | ||||
|
Распределение студентов по вариантам
Студентам, которые не нашли себя в этом списке, следует написать письмо по адресу bayesml@gmail.com с запросом номера варианта. В этом письме не забудьте указать свою фамилию и номер группы.
2-ой курс | 3-ий курс | 4-ый курс | 5-ый курс и др. | |||||||||||
---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
Участник | Группа | Вариант | Участник | Группа | Вариант | Участник | Группа | Вариант | Участник | Группа | Вариант | |||
Иванов Петр | 202 | 1 | Карнаухов Денис | 315 | 1 | Головин Антон | 417 | 2 | Логачев Ю.М. | 517 | 1 | |||
Ромов Петр | 202 | 2 | Елшин Денис | 317 | 2 | Ермишин Федор | 421 | 3 | Нокель Михаил | 520 | 2 | |||
Стефонишин Даниил | 202 | 3 | Соколов Евгений | 317 | 3 | Кухаренко А.И. | 421 | 1 | Потапов Даниил | 521 | 2 | |||
Гавриков Михаил | 202 | 3 | Мытрова Марина | 317 | 1 | Третьяков А.И. | 431 | 1 | Петров Александр | 521 | 3 | |||
Дворяков Кирилл | 202 | 1 | Некрасов Константин | 317 | 2 | Понамарев Д.И. | 431 | 2 | Матюнин С.Б. | 521 | 1 | |||
Никитин М.Ю. | 202 | 2 | Новиков Павел | 317 | 3 | Астахов А.Н. | 431 | 3 | Светличный Дмитрий | в/о-2 | 1 | |||
Любич Илья | 205 | 3 | Крючков Станислав | 319 | 1 | Лихобабин С.М. | 431 | 2 | Шаповалов Роман | 622 | 2 | |||
Подорога Анастасия | 205 | 1 | Казаков Илья | 432 | 3 | |||||||||
Грачев Артем | 206 | 1 | ||||||||||||
Гайнуллин А.Ф. | 207 | 3 | ||||||||||||
Потапенко Анна | 207 | 2 | ||||||||||||
Фонарев Александр | 208 | 2 | ||||||||||||
Карев Александр | 209 | 1 | ||||||||||||
Борисов Алексей | 209 | 3 | ||||||||||||
Лобачева Е.М. | 209 | 1 | ||||||||||||
Маллачиев К.А. | 209 | 2 | ||||||||||||
Кузнецов Арсений | 209 | 2 | ||||||||||||
Маянцев Кирилл | 213 | 3 | ||||||||||||
Нимак Владимир | 215 | 1 | ||||||||||||
Иванов Николай | 215 | 2 | ||||||||||||
Баранов Виталий | 215 | 3 | ||||||||||||
Борисов Михаил | 216 | 1 |