Графические модели (курс лекций)/2013/Задание 6

Материал из MachineLearning.

(Различия между версиями)

Перейти к: навигация, поиск

Текущая версия

Основная статья: Графические модели (курс лекций)

Начало выполнения задания: 29 апреля 2013 г.
Срок сдачи: 26 мая 2013 г. (воскресенье), 23:59.

Программная среда для выполнения задания — MATLAB. Неэффективная реализация кода может негативно отразиться на оценке.

Модель Изинга

Прямоугольная система соседства

Треугольная система соседства

Модель Изинга — математическая модель статистической физики, предназначенная для описания магнитных свойств вещества. Каждой вершине кристаллической решётки (рассматривается двухмерный случай) сопоставляется число, называемое спином и равное +1 или −1 («поле вверх»/«поле вниз»). Каждому из $2^N$ возможных вариантов расположения спинов (где $N$ — число атомов решётки) приписывается энергия, состоящая из взаимодействия спинов соседних атомов J и действия внешнего магнитного поля H:

$E(X) = -\left( J \sum_{(i,j) \in\mathcal{E}} x_i x_j + \sum_{i=1}^N H_i x_i \right),$

где $x_i$ — переменные, соответствующие спинам, $\mathcal{E}$ — система соседства (в данном задании рассматриваются две системы соседства: прямоугольная и треугольная), каждое ребро в $\mathcal{E}$ считается один раз. Вероятность нахождения в каждом конкретном состоянии $X$ задается распределением Гиббса:

$P(X) = \frac{1}{Z} \exp{\left( -\beta E(X) \right)}, \qquad \beta = \frac{1}{kT},$

где $Z$ — нормировочная константа, $T$ — температура, $k$ — параметр.

Если $J = 1$ , то вещество называется ферромагнетиком. Если $J = -1$ , то вещество называется антиферромагнетиком.

Формулировка задания

Пример иллюстрации состояния модели Изинга размера 20 на 20.

Провести исследование модели Изинга с помощью схемы Гиббса:
- Вывести формулы для одномерных условных распределений вида $p(x_i | X_{\backslash{i}})$ ;
- Реализовать с помощью схемы Гиббса процедуру оценки математического ожидания энергии $\frac{1}{N}\mathbb{E}E$ , стандартного отклонения энергии $\frac{1}{N}\sqrt{\mathbb{D}E}$ , математического ожидания квадрата общей намагниченности модели $\sqrt{\mathbb{E}(\mu^2)}$ , где $\mu = \left(\sum_{i=1}^N x_i \right) / N$ для заданных параметров $\beta$ и внешнего магнитного поля H. Требования по эффективности реализации: 1000 итераций метода Гиббса для прямоугольной решетки размера 20 на 20 и ста значений параметра $\beta$ должны выполняться не более 20 секунд. В отчете привести соответствующие замеры времени работы кода;
- Построить графики зависимости $\frac{1}{N}\mathbb{E}E,\ \frac{1}{N}\sqrt{\mathbb{D}E},\ \sqrt{\mathbb{E}(\mu^2)}$ от температуры для треугольной и четырехугольной систем соседства, ферромагнетика и антиферромагнетика (всего 4 модели). Проинтерпретировать полученные результаты (в частности идентифицировать, локализовать и изучить фазовый переход). Для построения графиков использовать следующие значения параметров: размер решетки 20 на 20 (N = 400), $k = 1$ , 10000 итераций метода Гиббса для оценки статистик, внешнее магнитное поле $H_i = 0$ , температуры $T$ = 0.5 : 0.1 : 10;
- Для ферромагнетика с четырехугольной системой соседства отобразить характерные отдельные конфигурации $X$ (см. рис.) в зависимости от температуры (низкая температура, окрестность фазового перехода, высокая температура). Проинтерпретировать результаты;
- Исследовать влияние константного внешнего магнитного поля на фазовый переход в ферромагнетике с прямоугольной системой соседства. Рассмотреть также внешнее магнитное поле со следующей структурой: на половине решетки H = 1, на другой половине H = -1;
Провести исследование модели Изинга с помощью вариационного подхода, где в качестве факторизованного семейства для выступает независимое распределение по всем компонентам :
- Вывести формулу для пересчета отдельного фактора $q_i(x_i)$ , формулу для функционала $\mathcal{L}(q)$ , формулы для оценки $\frac{1}{N}\mathbb{E}E,\ \frac{1}{N}\sqrt{\mathbb{D}E},\ \sqrt{\mathbb{E}(\mu^2)}$ , где мат.ожидания вычисляются по распределению $q(X)$ ;
- Реализовать с помощью вариационного подхода процедуру оценки величин $\frac{1}{N}\mathbb{E}E,\ \frac{1}{N}\sqrt{\mathbb{D}E},\ \sqrt{\mathbb{E}(\mu^2)}$ , а также нижней оценки $\mathcal{L}(q)$ для логарифма нормировочной константы $\log Z$ для заданных параметров $\beta$ и внешнего магнитного поля H. Требования по эффективности реализации: для решетки размера 20 x 20 сто итераций поиска вариационного приближения для ста значений параметра $\beta$ должны выполняться не более одной секунды, включая этап оценки всех статистик. В отчете привести соответствующие замеры времени работы кода;
- Построить графики зависимости $\frac{1}{N}\mathbb{E}E,\ \frac{1}{N}\sqrt{\mathbb{D}E},\ \sqrt{\mathbb{E}(\mu^2)},\ \mathcal{L}(q)$ от температуры для треугольной и четырехугольной систем соседства, ферромагнетика и антиферромагнетика (всего 4 модели). Проинтерпретировать полученные результаты (в частности идентифицировать, локализовать и изучить фазовый переход). Для построения графиков использовать следующие значения параметров: размер решетки 20 на 20 (N = 400), $k = 1$ , внешнее магнитное поле $H_i = 0$ , температуры $T$ = 0.5 : 0.1 : 10;
- Для ферромагнетика с четырехугольной системой соседства отобразить найденное распределение $q(X)$ (в шкале серого) в зависимости от температуры (низкая температура, окрестность фазового перехода, высокая температура). Проинтерпретировать результаты;
- Исследовать влияние константного внешнего магнитного поля на фазовый переход в ферромагнетике с прямоугольной системой соседства. Рассмотреть также внешнее магнитное поле со следующей структурой: на половине решетки H = 1, на другой половине H = -1;
Сравнить результаты схемы Гиббса с результатами вариационного подхода. Рассмотреть ферромагнетик с прямоугольной системой соседства. Привести графики математического ожидания и дисперсии энергии, корня из математического ожидания квадрата намагниченности в одних осях для двух подходов.
Написать отчет в формате PDF с описанием всех проведенных исследований.

Оформление задания

Выполненное задание следует отправить письмом по адресу bayesml@gmail.com с заголовком письма «[ГМ13] Задание 6, Фамилия». Убедительная просьба присылать выполненное задание только один раз с окончательным вариантом. Новые версии будут рассматриваться только в самом крайнем случае. Также большая просьба строго следовать указанным ниже прототипам реализуемых функций.

Присланный вариант задания должен содержать в себе:

Текстовый файл в формате PDF, содержащий описание проведенных исследований;
Все исходные коды с необходимыми комментариями.

Для проверки корректности прототипов реализованных функций рекомендуется воспользоваться специальной процедурой. Задания, для которых данная процедура будет выходить с ошибкой, проверяться не будут!

Метод Гиббса для оценки статистик распределений

[E, D, M, S] = gibbsIsing4(H, J, betaAll, num_iter) — прямоугольная система соседства

[E, D, M, S] = gibbsIsing6(H, J, betaAll, num_iter) — треугольная система соседства

ВХОД

H — внешнее магнитное поле, матрица размера vS x hS;

J — параметр модели, равен 1 или -1;

betaAll — вектор значений параметра $\beta$ (вектор-строка длины $\beta_0$ );

num_iter — количество итераций схемы Гиббса;

ВЫХОД

E — значения мат.ожиданий энергии на один спин $\frac{1}{N}\mathbb{E}E$ для каждой температуры, вектор-строка длины $\beta_0$ ;

D — значения стандартных отклонений энергии на один спин $\frac{1}{N}\sqrt{\mathbb{D}E}$ для каждой температуры, вектор-строка длины $\beta_0$ ;

M — значения средней магнетизации на один спин $\sqrt{\mathbb{E}\mu^2}$ для каждой температуры, вектор-строка длины $\beta_0$ ;

S — примеры конфигураций $X$ для всех температур, массив размера vS x hS x $\beta_0$ .

Вариационный подход

[E, D, M, L] = varIsing4(H, J, betaAll, opt_params) — прямоугольная система соседства

[E, D, M, L] = varIsing6(H, J, betaAll, opt_params) — треугольная система соседства

ВХОД

H — внешнее магнитное поле, матрица размера vS x hS;

J — параметр модели, равен 1 или -1;

betaAll — вектор значений параметра $\beta$ (вектор-строка длины $\beta_0$ );

opt_params — (необязательный параметр) параметры оптимизационного процесса, структура со следующими полями:

'max_iter' — максимальное количество итераций, по умолчанию = 300;

'tol_crit' — необходимая точность по значению нижней границы, по умолчанию = $10^{-4}$ ;

'num_start' — количество различных начальных приближений, по умолчанию = 1;

ВЫХОД

E — мат.ожидание энергии на один спин $\frac{1}{N}\mathbb{E}E$ для каждой температуры, вектор-строка длины $\beta_0$ ;

D — стандартное отклонение энергии на один спин $\frac{1}{N}\sqrt{\mathbb{D}E}$ для каждой температуры, вектор-строка длины $\beta_0$ ;

M — средняя магнетизация $\sqrt{\mathbb{E}\mu^2}$ для каждой температуры, вектор-строка длины $\beta_0$ ;

L — нижние границы для логарифмов нормировочных констант для каждой температуры, вектор-строка длины $\beta_0$ .

Источник — «http://machinelearning.ru/wiki/index.php?title=%D0%93%D1%80%D0%B0%D1%84%D0%B8%D1%87%D0%B5%D1%81%D0%BA%D0%B8%D0%B5_%D0%BC%D0%BE%D0%B4%D0%B5%D0%BB%D0%B8_%28%D0%BA%D1%83%D1%80%D1%81_%D0%BB%D0%B5%D0%BA%D1%86%D0%B8%D0%B9%29/2013/%D0%97%D0%B0%D0%B4%D0%B0%D0%BD%D0%B8%D0%B5_6»

Графические модели (курс лекций)/2013/Задание 6

Материал из MachineLearning.

Текущая версия

Модель Изинга

Формулировка задания

Рекомендации по выполнению задания

Оформление задания

Просмотры

Личные инструменты

Навигация

Поиск

Инструменты

@@ Строка 1: / Строка 1: @@
 __NOTOC__
-{{stop|Текст задания находится в стадии формирования. Просьба не приступать к выполнению задания до тех пор, пока это предупреждение не будет удалено.}}
 {{Main|Графические модели (курс лекций)}}
+[[Изображение:GM13_task6_intro.png|300px]]
 '''Начало выполнения задания''': 29 апреля 2013 г.<br>
 '''Срок сдачи''': {{важно|26 мая 2013 г. (воскресенье), 23:59.}}
-==Модель Изинга==
+Программная среда для выполнения задания — MATLAB. Неэффективная реализация кода может негативно отразиться на оценке.
+== Модель Изинга ==
 [[Изображение:BayesML2010_task2_rectGrid.PNG|200px|thumb|Прямоугольная система соседства]]
 [[Изображение:BayesML2010_task2_triGrid.PNG|200px|thumb|Треугольная система соседства]]
 '''Модель Изинга''' — математическая модель статистической физики, предназначенная для описания магнитных свойств вещества. Каждой вершине кристаллической решётки (рассматривается двухмерный случай) сопоставляется число, называемое спином и равное +1 или −1 («поле вверх»/«поле вниз»). Каждому из <tex>2^N</tex> возможных вариантов расположения спинов (где <tex>N</tex> — число атомов решётки) приписывается энергия, состоящая из взаимодействия спинов соседних атомов J и действия внешнего магнитного поля H:<br>
-<tex>
-E(X) = -\left( \frac{J}{2} \sum_{(i,j) \in\mathcal{E}} x_i x_j + \sum_{i=1}^N H_i x_i \right),
-</tex><br>
-где <tex>x_i</tex> — переменные, соответствующие спинам, <tex>\mathcal{E{</tex> — система соседства (в данном задании рассматриваются две системы соседства: прямоугольная и треугольная). Пара <tex>(i,j)\in\mathcal{E}</tex> не является упорядоченной. Вероятность нахождения в каждом конкретном состоянии задается распределением Гиббса:<br>
-<tex>
-P(X) = \frac{1}{Z} \exp{\left( -\beta E(X) \right)}, \qquad \beta = \frac{1}{kT},
-</tex><br>
-где Z — нормировочная константа, T — температура, k — параметр.
-Если <tex>J = 1 </tex>, то вещество называется ферромагнетиком. Если <tex>J = -1</tex>, то вещество называется антиферромагнетиком.
+:<tex>E(X) = -\left( J \sum_{(i,j) \in\mathcal{E}} x_i x_j + \sum_{i=1}^N H_i x_i \right),</tex>
-== Вариант 1 ==
+где <tex>x_i</tex> — переменные, соответствующие спинам, <tex>\mathcal{E}</tex> — система соседства (в данном задании рассматриваются две системы соседства: прямоугольная и треугольная), каждое ребро в <tex>\mathcal{E}</tex> считается один раз. Вероятность нахождения в каждом конкретном состоянии <tex>X</tex> задается распределением Гиббса:<br>
-=== Описание задания ===
+:<tex>P(X) = \frac{1}{Z} \exp{\left( -\beta E(X) \right)}, \qquad \beta = \frac{1}{kT},</tex>
+где <tex>Z</tex> — нормировочная константа, <tex>T</tex> — температура, <tex>k</tex> — параметр.
+Если <tex>J = 1 </tex>, то вещество называется ферромагнетиком. Если <tex>J = -1</tex>, то вещество называется антиферромагнетиком.
-Провести исследование модели Изинга методом Монте-Карло по схеме Гиббса. В этой схеме генерация значения очередного элемента решетки <tex>x_i</tex> производится по следующим формулам:
+== Формулировка задания ==
-<br><tex>
-p(x_i = 1 | X_{/\{i\}}) = \frac{1}{1 + \exp(-2\beta b_i)}, \qquad b_i = J\sum_{j: (i, j) \in\mathcal{E}} x_j + H_i,
-</tex><br>
-<tex>
-p(x_i = -1 | X_{/\{i\}}) = \frac{\exp(-2\beta b_i)}{1 + \exp(-2\beta b_i)}.
-</tex>
-===Задание===
 [[Изображение:BayesML2010_task2_example.PNG‎|200px|thumb|Пример иллюстрации состояния модели Изинга размера 20 на 20.]]
-# Вывести формулы генерации выборки по схеме Гиббса из модели Изинга (вывод вставить в отчет).
+# Провести исследование модели Изинга с помощью схемы Гиббса:
-# Реализовать процедуру подсчета математического ожидания и дисперсии энергии (нормированной на количество спинов N), математического ожидания квадрата общей намагниченности модели <tex>\mu = \left(\sum_{i=1}^N x_i \right) / N</tex> методом Гиббса (с заданным числом итераций) для заданных параметров <tex>\beta</tex> и внешнего магнитного поля H. Требования по эффективности реализации: 1000 итераций метода Гиббса для решетки размера 20 на 20 и ста значений параметра <tex>\beta</tex> должны выполняться не более 20 секунд. В отчете привести соответствующие замеры времени работы кода.
+#* Вывести формулы для одномерных условных распределений вида <tex>p(x_i | X_{\backslash{i}})</tex>;
-# Построить графики зависимости <tex>\frac{1}{N}\mathbb{E}E, \frac{1}{N}\sqrt{\mathbb{D}E}, \sqrt{\mathbb{E}(\mu^2)}</tex> от температуры для треугольной и четырехугольной систем соседства, ферромагнетика и антиферромагнетика (всего 4 модели). Проинтерпретировать полученные результаты (в частности идентифицировать, локализовать и изучить фазовый переход). Для построения графиков использовать следующие значения параметров:
+#* Реализовать с помощью схемы Гиббса процедуру оценки математического ожидания энергии <tex>\frac{1}{N}\mathbb{E}E</tex>, стандартного отклонения энергии <tex>\frac{1}{N}\sqrt{\mathbb{D}E}</tex>, математического ожидания квадрата общей намагниченности модели <tex>\sqrt{\mathbb{E}(\mu^2)}</tex>, где <tex>\mu = \left(\sum_{i=1}^N x_i \right) / N</tex> для заданных параметров <tex>\beta</tex> и внешнего магнитного поля H. Требования по эффективности реализации: 1000 итераций метода Гиббса для прямоугольной решетки размера 20 на 20 и ста значений параметра <tex>\beta</tex> должны выполняться не более 20 секунд. В отчете привести соответствующие замеры времени работы кода;
-#*размер решетки 20 на 20 (N = 400);
+#* Построить графики зависимости <tex>\frac{1}{N}\mathbb{E}E,\ \frac{1}{N}\sqrt{\mathbb{D}E},\ \sqrt{\mathbb{E}(\mu^2)}</tex> от температуры для треугольной и четырехугольной систем соседства, ферромагнетика и антиферромагнетика (всего 4 модели). Проинтерпретировать полученные результаты (в частности идентифицировать, локализовать и изучить фазовый переход). Для построения графиков использовать следующие значения параметров: размер решетки 20 на 20 (N = 400), <tex>k = 1</tex>, 10000 итераций метода Гиббса для оценки статистик, внешнее магнитное поле <tex>H_i = 0</tex>, температуры <tex>T</tex> = 0.5 : 0.1 : 10;
-#*<tex>k = 1</tex>;
+#* Для ферромагнетика с четырехугольной системой соседства отобразить характерные отдельные конфигурации <tex>X</tex> (см. рис.) в зависимости от температуры (низкая температура, окрестность фазового перехода, высокая температура). Проинтерпретировать результаты;
-#*10000 итераций метода Гиббса для оценки статистик;
+#* Исследовать влияние константного внешнего магнитного поля на фазовый переход в ферромагнетике с прямоугольной системой соседства. Рассмотреть также внешнее магнитное поле со следующей структурой: на половине решетки H = 1, на другой половине H = -1;
-#*для ферромагнетика <tex>J = 1</tex>, для антиферромагнетика <tex>J = -1</tex>;
+# Провести исследование модели Изинга с помощью вариационного подхода, где в качестве факторизованного семейства для <tex>q(X)</tex> выступает независимое распределение по всем компонентам <tex>q(X)=\prod_{i=1}^Nq_i(x_i)</tex>:
-#*внешнее магнитное поле <tex>H_i = 0</tex>;
+#* Вывести формулу для пересчета отдельного фактора <tex>q_i(x_i)</tex>, формулу для функционала <tex>\mathcal{L}(q)</tex>, формулы для оценки <tex>\frac{1}{N}\mathbb{E}E,\ \frac{1}{N}\sqrt{\mathbb{D}E},\ \sqrt{\mathbb{E}(\mu^2)}</tex>, где мат.ожидания вычисляются по распределению <tex>q(X)</tex>;
-#*температуры T = 0.5 : 0.1 : 10.
+#* Реализовать с помощью вариационного подхода процедуру оценки величин <tex>\frac{1}{N}\mathbb{E}E,\ \frac{1}{N}\sqrt{\mathbb{D}E},\ \sqrt{\mathbb{E}(\mu^2)}</tex>, а также нижней оценки <tex>\mathcal{L}(q)</tex> для логарифма нормировочной константы <tex>\log Z</tex> для заданных параметров <tex>\beta</tex> и внешнего магнитного поля H. Требования по эффективности реализации: для решетки размера 20 x 20 сто итераций поиска вариационного приближения для ста значений параметра <tex>\beta</tex> должны выполняться не более одной секунды, включая этап оценки всех статистик. В отчете привести соответствующие замеры времени работы кода;
-#Для ферромагнетика с четырехугольной системой связности отобразить характерные отдельные конфигурации <tex>X</tex> (см. рис.) в зависимости от температуры (низкая температура, окрестность фазового перехода, высокая температура). Проинтерпретировать результаты. Рассмотреть как минимум по одному примеру для не менее, чем пяти разных значений температур. Параметры генерации те же, что и в пункте 3.
+#* Построить графики зависимости <tex>\frac{1}{N}\mathbb{E}E,\ \frac{1}{N}\sqrt{\mathbb{D}E},\ \sqrt{\mathbb{E}(\mu^2)},\ \mathcal{L}(q)</tex> от температуры для треугольной и четырехугольной систем соседства, ферромагнетика и антиферромагнетика (всего 4 модели). Проинтерпретировать полученные результаты (в частности идентифицировать, локализовать и изучить фазовый переход). Для построения графиков использовать следующие значения параметров: размер решетки 20 на 20 (N = 400), <tex>k = 1</tex>, внешнее магнитное поле <tex>H_i = 0</tex>, температуры <tex>T</tex> = 0.5 : 0.1 : 10;
-#Исследовать влияние константного внешнего магнитного поля на фазовый переход в ферромагнетике с прямоугольной системой соседства. Привести соответствующие графики. Параметры модели взять такие же, как в пункте 3.
+#* Для ферромагнетика с четырехугольной системой соседства отобразить найденное распределение <tex>q(X)</tex> (в шкале серого) в зависимости от температуры (низкая температура, окрестность фазового перехода, высокая температура). Проинтерпретировать результаты;
-#Выполнить пункт 4 в присутствии внешнего магнитного поля со следующей структурой: на половине решетки H = 1, на другой половине H = -1.
+#* Исследовать влияние константного внешнего магнитного поля на фазовый переход в ферромагнетике с прямоугольной системой соседства. Рассмотреть также внешнее магнитное поле со следующей структурой: на половине решетки H = 1, на другой половине H = -1;
-#Сравнить результаты метода Монте-Карло с результатами вариационного подхода. Рассмотреть ферромагнетик с прямоугольной системой соседства. Реализацию вариационного подхода взять у товарища, выполняющего вариант 2 (в отчете указать, чей код вы используете). Привести графики математического ожидания и дисперсии энергии, корня из математического ожидания квадрата намагниченности в одних осях для двух подходов.
+# Сравнить результаты схемы Гиббса с результатами вариационного подхода. Рассмотреть ферромагнетик с прямоугольной системой соседства. Привести графики математического ожидания и дисперсии энергии, корня из математического ожидания квадрата намагниченности в одних осях для двух подходов.
+# Написать отчет в формате PDF с описанием всех проведенных исследований.
-=== Оформление задания ===
+== Рекомендации по выполнению задания ==
-Выполненное задание следует отправить письмом по адресу ''bayesml@gmail.com'' с заголовком письма «Задание 6 <ФИО>». Убедительная просьба присылать выполненное задание '''только один раз''' с окончательным вариантом. Новые версии будут рассматриваться только в самом крайнем случае. Также большая просьба строго следовать указанным ниже прототипам реализуемых функций.
+# Для схемы Гиббса и вариационного подхода:
+#* Рекомендуется реализовывать алгоритмы вывода с векторными операциями по параметру <tex>\beta</tex>, т.е. проводить вычисления для всех температур сразу;
+#* На этапе тестирования процедур рекомендуется проводить эксперименты на неквадратной решетке и со случайным внешним магнитным полем <tex>H</tex>;
+# Для схемы Гиббса:
+#* Для оценки статистик распределения с помощью схемы Гиббса следует отбрасывать конфигурации <tex>X</tex>, полученные на первой трети итераций;
+#* В качестве примеров конфигураций <tex>X</tex> лучше брать ситуации с последних итераций схемы Гиббса;
+#* Одной из возможных проверок на корректность оценки статистик по сгенерированному набору конфигураций <tex>X</tex> является следующая: сделать большое число итераций по схеме Гиббса, рассмотреть несколько различных подмножеств сгенерированных конфигураций, по каждому из подмножеств оценить статистики. При правильной реализации статистики, оцененные по разным подмножествам конфигураций, должны быть близки между собой;
+# Для вариационного подхода:
+#* Рекомендуется запускать вариационную оптимизацию из нескольких начальных приближений для <tex>q</tex>: случайные, все вероятности одинаковые и близки к единице, шахматная доска и т.д. При этом для текущей температуры наилучшим вариационным приближением признается такое, при котором значение нижней границы <tex>\mathcal{L}(q)</tex> является максимальным;
+#* Одной из проверок на корректность оптимизации в рамках вариационного подхода является монотонное возрастание в итерациях значения нижней границы <tex>\mathcal{L}(q)</tex>;
+#* Одной из возможных проверок на корректность вычисления различных статистик по приближению <tex>q</tex> является использование метода Монте Карло, при котором из распределения <tex>q</tex> генерируется набор конфигураций <tex>X^j</tex>, по которым затем оцениваются необходимые статистики.
-Программная среда для выполнения задания — MATLAB.
+== Оформление задания ==
+Выполненное задание следует отправить письмом по адресу ''bayesml@gmail.com'' с заголовком письма «[ГМ13] Задание 6, Фамилия». Убедительная просьба присылать выполненное задание '''только один раз''' с окончательным вариантом. Новые версии будут рассматриваться только в самом крайнем случае. Также большая просьба строго следовать указанным ниже прототипам реализуемых функций.
 Присланный вариант задания должен содержать в себе:
-* Текстовый файл в формате PDF, содержащий описание проведенных исследований.
+* Текстовый файл в формате PDF, содержащий описание проведенных исследований;
 * Все исходные коды с необходимыми комментариями.
-* Дополнительные комментарии или материалы, если необходимо.
-Исходные коды должны включать в себя реализацию метода Гиббса для прямоугольной и треугольной систем соседств в виде отдельных функций (отдельных m-файлов). Прототипы функций имеют следующий вид:<br>
+Для проверки корректности прототипов реализованных функций рекомендуется воспользоваться специальной [[Media:GM13_6_check_prototypes.zip|процедурой]]. Задания, для которых данная процедура будет выходить с ошибкой, проверяться не будут!
 {|class="standard"
  !''Метод Гиббса для оценки статистик распределений''
  |-
- |[E, D, M, S] = gibbsIsing4(H, J, betaAll, num_iter) — прямоугольная система соседства
+ |[E, D, M, S] = '''gibbsIsing4'''(H, J, betaAll, num_iter) — прямоугольная система соседства
  |-
- |[E, D, M, S] = gibbsIsing6(H, J, betaAll, num_iter) — треугольная система соседства
+ |[E, D, M, S] = '''gibbsIsing6'''(H, J, betaAll, num_iter) — треугольная система соседства
  |-
  |ВХОД
@@ Строка 75: / Строка 80: @@
  {|border="0"
   |-
-  |H — внешнее магнитное поле, матрица типа double размера vS x hS;
+  |H — внешнее магнитное поле, матрица размера vS x hS;
   |-
-  |J — параметр модели J;
+  |J — параметр модели, равен 1 или -1;
   |-
-  |betaAll — вектор значений параметра <tex>\beta</tex> (в MatLab матрица типа double размера 1 x <tex>\beta_0</tex>);
+  |betaAll — вектор значений параметра <tex>\beta</tex> (вектор-строка длины <tex>\beta_0</tex>);
   |-
   |num_iter — количество итераций схемы Гиббса;
@@ Строка 89: / Строка 94: @@
  |
  {|
-  |E — значения мат.ожиданий энергии на один спин <tex>\frac{1}{N}\mathbb{E}E</tex> для каждой температуры, массив размера 1 x <tex>\beta_0</tex>;
+  |E — значения мат.ожиданий энергии на один спин <tex>\frac{1}{N}\mathbb{E}E</tex> для каждой температуры, вектор-строка длины <tex>\beta_0</tex>;
   |-
-  |D — значения стандартных отклонений энергии на один спин <tex>\frac{1}{N}\sqrt{\mathbb{D}E}</tex> для каждой температуры, массив размера 1 x <tex>\beta_0</tex>;
+  |D — значения стандартных отклонений энергии на один спин <tex>\frac{1}{N}\sqrt{\mathbb{D}E}</tex> для каждой температуры, вектор-строка длины<tex>\beta_0</tex>;
   |-
-  |M — значения средней магнетизации на один спин <tex>\sqrt{\mathbb{E}\mu^2}</tex> для каждой температуры, массив размера 1 x <tex>\beta_0</tex>;
+  |M — значения средней магнетизации на один спин <tex>\sqrt{\mathbb{E}\mu^2}</tex> для каждой температуры, вектор-строка длины <tex>\beta_0</tex>;
   |-
   |S — примеры конфигураций <tex>X</tex> для всех температур, массив размера vS x hS x <tex>\beta_0</tex>.
@@ Строка 100: / Строка 105: @@
  |}
-Для проверки корректности прототипов реализованных функций рекомендуется воспользоваться специальной [[Media:GM12_6_check_prototypes.zip|процедурой]]. Задания, для которых данная процедура будет выходить с ошибкой, проверяться не будут!
+&nbsp;
-===Рекомендации===
-*Рекомендуется реализовывать метод Гиббса с векторными операциями по параметру <tex>\beta</tex>, т.е. проводить вычисления для всех температур сразу.
-*Для оценки статистик распределения следует отбрасывать значения, полученные на первой трети итераций метода Гиббса.
-*В качестве примеров конфигураций <tex>X</tex> лучше брать ситуации с последних итераций схемы Гиббса.
-*На этапе тестирования функций рекомендуется проводить эксперименты со случайным внешним магнитным полем <tex>H</tex>.
-*Одной из возможных проверок на корректность оценки статистик по сгенерированному набору конфигураций <tex>X</tex> является следующая: сделать большое число итераций по схеме Гиббса, рассмотреть несколько различных подмножеств сгенерированных конфигураций, по каждому из подмножеств оценить статистики. При правильной реализации статистики, оцененные по разным подмножествам конфигураций, должны быть близки между собой.
-== Вариант 2 ==
-=== Описание задания ===
-Провести исследование модели Изинга с помощью вариационного подхода, где в качестве факторизованного семейства для <tex>q(X)</tex> выступает независимое распределение по всем компонентам <tex>x_i</tex>:<br>
-<tex>
-q(X)=\prod_{i=1}^Nq_i(x_i).
-</tex>
-Необходимые формулы пересчета для вариационного подхода:<br>
-<tex>
-b_i = H_i + J\sum_{j:(i,j) \in\mathcal{E}}\mathbb{E}x_j,
-</tex><br>
-<tex>
-q_i(x_i = 1) = \frac{1}{1 + \exp(-2\beta b_i)},
-</tex><br>
-<tex>
-\mathbb{E}x_i = 2q_i(x_i=1)-1.
-</tex>
-При этом нижняя граница на значение логарифма нормировочной константы <tex>\log Z</tex> равна<br>
-<tex>
-\mathcal{L}(q) = \beta\left(\sum_{i=1}^NH_i\mathbb{E}x_i + \frac{J}{2}\sum_{(i,j)\in\mathcal{E}}\mathbb{E}x_i\mathbb{E}x_j\right) - \sum_{i=1}^N\left[q_i(x_i=1)\log(q_i(x_i=1)) + (1-q_i(x_i=1))\log(1-q_i(x_i=1))\right].
-</tex>
-Необходимые статистики для приближенного распределения <tex>q(X)</tex> вычисляются следующим образом:<br>
-<tex>
-\frac{1}{N}\mathbb{E}E = -\frac{1}{N}\left(\sum_{i=1}^NH_i\mathbb{E}x_i + \frac{J}{2}\sum_{(i,j)\in \mathcal{E}}\mathbb{E}x_i\mathbb{E}x_j\right),
-</tex>
-<br><tex>
-\mathbb{E}E^2 = \sum_{i,j=1}^NH_iH_j\mathbb{E}(x_ix_j) + J\sum_{n,(i,j)\in \mathcal{E}}H_n\mathbb{E}(x_nx_ix_j) + \frac{J^2}{4}\sum_{(i,j)\in\mathcal{E}, (n,m)\in\mathcal{E}}\mathbb{E}(x_ix_jx_nx_m),
-</tex>
-<br><tex>
-\mathbb{D}E = \mathbb{E}E^2 - (\mathbb{E}E)^2,
-</tex>
-<br><tex>
-\mathbb{E}\left(\sum_{i=1}^Nx_i\right)^2 = \sum_{i,j=1}^N\mathbb{E}(x_ix_j),
-</tex>
-<br><tex>
-\mathbb{E}x_ix_j = \mathbb{E}x_i\mathbb{E}x_j,\ i\neq j;\ \mathbb{E}x_i^2 = 1.
-</tex>
-=== Задание ===
-# Вывести все необходимые формулы для вариационного подхода (вывод вставить в отчет).
-# Реализовать процедуру подсчета математического ожидания и дисперсии энергии (нормированной на количество спинов N), математического ожидания квадрата общей намагниченности модели <tex>\mu = \left(\sum_{i=1}^N x_i \right) / N</tex> с помощью вариационного подхода для заданных параметров <tex>\beta</tex> и внешнего магнитного поля H. Требования по эффективности реализации: для решетки размера 20 x 20 сто итераций поиска вариационного приближения для ста значений параметра <tex>\beta</tex> должны выполняться не более одной секунды, включая этап оценки всех статистик. В отчете привести соответствующие замеры времени работы кода.
-# Построить графики зависимости <tex>\frac{1}{N}\mathbb{E}E, \frac{1}{N}\sqrt{\mathbb{D}E}, \sqrt{\mathbb{E}(\mu^2)}, \mathcal{L}(q)</tex> от температуры для треугольной и четырехугольной систем соседства, ферромагнетика и антиферромагнетика (всего 4 модели). Проинтерпретировать полученные результаты (в частности идентифицировать, локализовать и изучить фазовый переход). Для построения графиков использовать следующие значения параметров:
-#*размер решетки 20 на 20 (N = 400);
-#*<tex>k = 1</tex>;
-#*для ферромагнетика <tex>J = 1</tex>, для антиферромагнетика <tex>J = -1</tex>;
-#*внешнее магнитное поле <tex>H_i = 0</tex>;
-#*температуры T = 0.5 : 0.1 : 10;
-#*количество итераций = 300;
-#*точность по значению нижней границы <tex>\mathcal{L}(q)</tex> = <tex>10^{-4}</tex> (останавливаем итерационный процесс, если значение <tex>\mathcal{L}(q)</tex> на текущей итерации изменилось меньше, чем на <tex>10^{-4}</tex>).
-# Для ферромагнетика с четырехугольной системой связности отобразить найденное распределение <tex>q</tex> (в шкале серого) в зависимости от температуры (низкая температура, окрестность фазового перехода, высокая температура). Проинтерпретировать результаты. Рассмотреть результаты для не менее, чем пяти разных значений температур. Параметры генерации те же, что и в пункте 3.
-# Исследовать влияние константного внешнего магнитного поля на фазовый переход в ферромагнетике с прямоугольной системой соседства. Привести соответствующие графики. Параметры модели взять такие же, как в пункте 3.
-# Выполнить пункт 4 в присутствии внешнего магнитного поля со следующей структурой: на половине решетки H = 1, на другой половине H = -1.
-#Сравнить результаты применения вариационного подхода с аналогичными для схемы Гиббса. Рассмотреть ферромагнетик с прямоугольной системой соседства. Реализацию схемы Гиббса взять у товарища, выполняющего вариант 1 (в отчете указать, чей код вы используете). Привести графики математического ожидания и дисперсии энергии, корня из математического ожидания намагниченности в одних осях для двух подходов.
-=== Оформление задания ===
-Выполненное задание следует отправить письмом по адресу ''bayesml@gmail.com'' с заголовком письма «Задание 6 <ФИО>». Убедительная просьба присылать выполненное задание '''только один раз''' с окончательным вариантом. Новые версии будут рассматриваться только в самом крайнем случае. Также большая просьба строго следовать указанным ниже прототипам реализуемых функций.
-Программная среда для выполнения задания — MATLAB.
-Присланный вариант задания должен содержать в себе:
-* Текстовый файл в формате PDF, содержащий описание проведенных исследований.
-* Все исходные коды с необходимыми комментариями.
-* Дополнительные комментарии или материалы, если необходимо.
-Исходные коды должны включать в себя реализацию вариационного подхода для прямоугольной и треугольной систем соседств в виде отдельных функций (отдельных m-файлов). Прототипы функций имеют следующий вид:<br>
 {|class="standard"
  !''Вариационный подход''
  |-
- |[E, D, M, L] = varIsing4(H, J, betaAll, opt_params) — прямоугольная система соседства
+ |[E, D, M, L] = '''varIsing4'''(H, J, betaAll, opt_params) — прямоугольная система соседства
  |-
- |[E, D, M, L] = varIsing6(H, J, betaAll, opt_params) — треугольная система соседства
+ |[E, D, M, L] = '''varIsing6'''(H, J, betaAll, opt_params) — треугольная система соседства
  |-
  |ВХОД
@@ Строка 193: / Строка 121: @@
   |H — внешнее магнитное поле, матрица размера vS x hS;
   |-
-  |J — параметр модели J;
+  |J — параметр модели, равен 1 или -1;
   |-
-  |betaAll — вектор значений параметра <tex>\beta</tex> (в MatLab матрица размера 1 x <tex>\beta_0</tex>);
+  |betaAll — вектор значений параметра <tex>\beta</tex> (вектор-строка длины <tex>\beta_0</tex>);
   |-
   |opt_params — (необязательный параметр) параметры оптимизационного процесса, структура со следующими полями:
@@ Строка 211: / Строка 139: @@
  |
  {|
-  |E — мат.ожидание энергии на один спин <tex>\frac{1}{N}\mathbb{E}E</tex> для каждой температуры, массив размера 1 x <tex>\beta_0</tex>;
+  |E — мат.ожидание энергии на один спин <tex>\frac{1}{N}\mathbb{E}E</tex> для каждой температуры, вектор-строка длины <tex>\beta_0</tex>;
   |-
-  |D — стандартное отклонение энергии на один спин <tex>\frac{1}{N}\sqrt{\mathbb{D}E}</tex> для каждой температуры, массив размера 1 x <tex>\beta_0</tex>;
+  |D — стандартное отклонение энергии на один спин <tex>\frac{1}{N}\sqrt{\mathbb{D}E}</tex> для каждой температуры, вектор-строка длины <tex>\beta_0</tex>;
   |-
-  |M — средняя магнетизация <tex>\sqrt{\mathbb{E}\mu^2}</tex> для каждой температуры, массив размера 1 x <tex>\beta_0</tex>;
+  |M — средняя магнетизация <tex>\sqrt{\mathbb{E}\mu^2}</tex> для каждой температуры, вектор-строка длины <tex>\beta_0</tex>;
   |-
-  |L — нижние границы для логарифмов нормировочных констант для каждой температуры, массив размера 1 x <tex>\beta_0</tex>.
+  |L — нижние границы для логарифмов нормировочных констант для каждой температуры, вектор-строка длины <tex>\beta_0</tex>.
   |-
   |}
  |}
-Для проверки корректности прототипов реализованных функций рекомендуется воспользоваться специальной [[Media:GM12_6_check_prototypes.zip|процедурой]]. Задания, для которых данная процедура будет выходить с ошибкой, проверяться не будут!
-=== Рекомендации ===
-*Рекомендуется реализовывать метод с векторными операциями по параметру <tex>\beta</tex>, т.е. проводить вычисления для всех температур сразу.
-*Рекомендуется запускать вариационную оптимизацию из нескольких начальных приближений для <tex>q</tex>: случайные, все вероятности одинаковые и близки к единице, шахматная доска и т.д. При этом для текущей температуры наилучшим вариационным приближением признается такое, при котором значение нижней границы <tex>\mathcal{L}(q)</tex> является максимальным.
-*Одной из проверок на корректность оптимизации в рамках вариационного подхода является монотонное возрастание значения нижней границы <tex>\mathcal{L}(q)</tex>.
-*На этапе тестирования функций рекомендуется проводить эксперименты со случайным внешним магнитным полем <tex>H</tex>.
-*Одной из возможных проверок на корректность вычисления различных статистик по приближению <tex>q</tex> является использование метода Монте Карло, при котором генерируется набор конфигураций <tex>X^j</tex> (каждая конфигурация состоит из независимых спинов <tex>x_i^j</tex>), по которым затем оцениваются необходимые статистики.