Участник:Anton/Песочница

Материал из MachineLearning.

(Различия между версиями)
Перейти к: навигация, поиск
Строка 1: Строка 1:
-
{{Задание|Anton|Vokov|8 января 2010}}
+
__NOTOC__
-
'''Критерии однородности''' - это критерии проверки гипотез о том, что две (или более) выборки взяты из одного распределения вероятностей.
+
[[Байесовские методы машинного обучения (курс лекций, Д.П. Ветров, Д.А. Кропотов)|Перейти к основной странице спецкурса]]
-
Рассмотрим такую классификацию критериев:
+
-
# '''Непараметрические (свободные от распределения) критерии однородности''' не предполагают присутствие какой-либо фундаментальной информации о законе распределения. Любое распределение можно описать ''параметром положения'', характеризующим центр группирования случайных величин, и ''параметром масштаба'', характеризующим степень рассеяния случайных величин относительно центра группирования. Когда закон распределения неизвестен, гипотезы о параметрах проверяются при помощи ''специальных критериев сдвига и масштаба''. Также существуют ''двухвыборочные критерии согласия''.
+
-
## Непараметрические критерии сдвига.
+
-
## Непараметрические критерии масштаба.
+
-
## Двухвыборочные критерии согласия.
+
-
# Если же принимаются какие-либо дополнительные предположения о законе распределения вероятностей, то можно применять
+
-
'''параметрические критерии однородности'''.
+
-
= Непараметрические критерии однородности =
+
'''Начало выполнения задания''': 22 ноября 2010 г.<br>
-
== Непараметрические критерии сдвига ==
+
'''Срок сдачи''': {{важно|6 декабря 2010 г., 23:59.}}
-
Проверяется [[Гипотеза сдвига|гипотеза сдвига]], согласно которой распределения двух выборок имеют одинаковую форму и отличаются только сдвигом на константу.
+
-
Пусть заданы две выборки
+
-
<tex>x^m = (x_1,\ldots,x_m),\; x_i \in \mathbb{R};\;\; y^n = (y_1,\ldots,y_n),\; y_i \in \mathbb{R}</tex>,взятые из неизвестных непрерывных распределений <tex>F(x)</tex> и <tex>G(y)</tex> соответственно.
+
-
'''Нулевая гипотеза:''' <tex>H_0: \quad F(x) = G(y - \mu)</tex>
+
==Модель Изинга==
 +
[[Изображение:BayesML2010_task2_rectGrid.PNG|200px|thumb|Прямоугольная система соседства]]
 +
[[Изображение:BayesML2010_task2_triGrid.PNG|200px|thumb|Треугольная система соседства]]
 +
'''Модель Изинга''' — математическая модель статистической физики, предназначенная для описания намагничивания материала.
 +
Каждой вершине кристаллической решётки (рассматриваются не только трёхмерные, но и одно- и двумерные случаи) сопоставляется число, называемое спином и равное +1 или −1 («поле вверх»/«поле вниз»). Каждому из <tex>2^N</tex> возможных вариантов расположения спинов (где N — число атомов решётки) приписывается энергия, получающаяся из попарного взаимодействия спинов соседних атомов J и действия внешнего магнитного поля H:<br>
 +
<tex>
 +
E(X) = -\left( \sum_{(i,j) \in E} J_{ij}x_i x_j + \sum_{i=1}^N H_i x_i \right),
 +
</tex><br>
 +
где <tex>x_i</tex> - переменные, соответствующие спинам, E - система соседства (в данном задании рассматривается 2 системы соседства: прямоугольная и треугольная) . Вероятность нахождения в каждом конкретном состоянии задается распределением Гиббса:<br>
 +
<tex>
 +
P(X) = \frac{1}{Z} \exp{\left( -\beta E(X) \right)}, \qquad \beta = \frac{1}{kT},
 +
</tex><br>
 +
где Z - нормировочная константа, T - температура, k - параметр.
-
Наиболее частая '''альтернативная гипотеза''': <tex>H_1: \quad F(x) \ne G(y - \mu)</tex>.
+
Если <tex>J_{ij} = 1 </tex>,то вещество называется ферромагнетиком. Если <tex>J_{ij} = -1</tex>, то вещество называется антиферромагнетиком.
-
Существует большое количество критериев, проверяющих эту гипотезу:
+
==Вариант 1==
-
*[[Быстрый критерий Кенуя]] <ref> ''Кобзарь А. И.'' Прикладная математическая статистика. — М.:&nbsp;Физматлит, 2006, c. 452 </ref>
+
===Описание задания===
 +
Провести исследование модели Изинга методом Монте-Карло. В качестве алгоритма генерации выборки использовать метод Гиббса.
 +
Генерацию каждого элемента решетки проводить по следующим формулам:
 +
<br><tex>
 +
p(x_i = 1 | X_{/\{i\}}) = \frac{1}{1 + \exp(-2\beta b_i)}, \qquad b_i = \sum_{j: (i, j) \in E} J_{ij}x_j + H_i,
 +
</tex><br>
 +
<tex>
 +
p(x_i = -1 | X_{/\{i\}}) = \frac{\exp(-2\beta b_i)}{1 + \exp(-2\beta b_i)}.
 +
</tex>
-
[[Ранговые критерии]] сдвига для двух выборок:
+
===Задание===
-
* [[Быстрый ранговый критерий]] <ref> ''Кобзарь А. И.'' Прикладная математическая статистика. — М.:&nbsp;Физматлит, 2006, c. 453 </ref>
+
[[Изображение:BayesML2010_task2_example.PNG‎|200px|thumb|Пример иллюстрации состояния модели Изинга размера 20 на 20.]]
-
* [[Критерий Уилкоксона-Манна-Уитни]] <ref> ''Кобзарь А. И.'' Прикладная математическая статистика. — М.:&nbsp;Физматлит, 2006, c. 454 </ref>
+
# Вывести формулы для метода Гиббса генерации выборки методом Гиббса (вывод вставить в отчет).
-
* [[Критерий Фишера-Йэйтса-Терри-Гёфдинга]] <ref> ''Кобзарь А. И.'' Прикладная математическая статистика. — М.:&nbsp;Физматлит, 2006, c. 459 </ref>
+
# Реализовать процедуру подсчета математического ожидания и дисперсии энергии (нормированной на количество спинов N), математического ожидания квадрата общей намагниченности модели <tex>\mu = \left(\sum_{i=1}^N x_i \right) / N</tex> методов Гиббса (с заданным числом итераций) для заданных параметров <tex>\beta</tex> и заданного внешнего магнитного поля H. (Требования по эффективности реализации: 1000 итераций метода Гиббса для решетки размером 20 на 20 и 100 значений параметра <tex>\beta</tex> должны выполнятся не более 100 секунд.)
-
* [[Критерий Ван дер Вардена ]] <ref> ''Кобзарь А. И.'' Прикладная математическая статистика. — М.:&nbsp;Физматлит, 2006, c. 460 </ref>
+
# Построить графики зависимости <tex>\mathbb{E}E, \sqrt{\mathbb{D}E}, \sqrt{\mathbb{E}(\mu^2)}</tex> от температуры для треугольной и четырехугольной систем соседства, ферромагнетика и антиферромагнетика (всего 4 модели). Проинтерпретировать полученные результаты (в частности идентифицировать, локализовать и изучить фазовый переход). Для построения графиков использовать следующие значения параметров:
-
* [[Медианный критерий]] <ref> ''Кобзарь А. И.'' Прикладная математическая статистика. — М.:&nbsp;Физматлит, 2006, c. 462</ref>
+
#*размер решетки 20 на 20 (N = 400)
-
* [[Критерий Хаги]] <ref> ''Кобзарь А. И.'' Прикладная математическая статистика. — М.:&nbsp;Физматлит, 2006, c. 464 </ref>
+
#*<tex>k = 1</tex>
-
* [[E-Критерий]] <ref> ''Кобзарь А. И.'' Прикладная математическая статистика. — М.:&nbsp;Физматлит, 2006, c. 465 </ref>
+
#*10000 итераций метода Гиббса для каждой из температур
 +
#*для ферромагнетика <tex>J_{ij} = 1</tex>, для антиферромагнетика <tex>J_{ij} = -1</tex>
 +
#*внешнее магнитное поле <tex>H_i = 0</tex>
 +
#*температуры T = 0.5 : 0.1 : 10;
 +
#Для ферромагнетика с четырехугольной системой связности привести (картинками) характерные состояния для разных температур в окрестности фазового перехода. Проинтерпретировать результаты. Рассмотреть не менее одного примера для не менее 5 разных температур. Параметры генерации те же, что и в пункте 3.
 +
#Исследовать влияние фазового перехода в ферромагнетике с прямоугольной системой соседства от равномерного внешнего магнитного поля. Параметры модели взять такие же как в пункте 3.
 +
#Выполнить пункт 4 в присутствии внешнего магнитного поля следующей структуры: на половине решетки H = 1, на другой половине H = -1.
 +
#Сравнить результаты применения метода Монте-Карло с результатами применения вариационного подхода. Рассмотреть ферромагнетик с прямоугольной системой соседства. Реализацию вариационного подхода взять у товарища, выполняющего вариант 2. Привести графики математического ожидания и дисперсии энергии, корня из математического ожидания намагниченности в одних осях для двух подходов.
 +
=== Оформление задания ===
-
[[Ранговые критерии]] сдвига для нескольких (k>2) выборок:
+
Выполненное задание следует отправить письмом по адресу ''bayesml@gmail.com'' с заголовком письма «Задание 2 <Номер_группы> <ФИО>». Убедительная просьба присылать выполненное задание '''только один раз''' с окончательным вариантом. Новые версии будут рассматриваться только в самом крайнем случае.
-
*[[Критерий Краскела-Уоллиса]] <ref> ''Кобзарь А. И.'' Прикладная математическая статистика. — М.:&nbsp;Физматлит, 2006, c. 466 </ref>
+
-
* [[Критерий Ван дер Вардена ]] <ref> ''Кобзарь А. И.'' Прикладная математическая статистика. — М.:&nbsp;Физматлит, 2006, c. 475 </ref>
+
-
*[[Медианный критерий]] <ref> ''Кобзарь А. И.'' Прикладная математическая статистика. — М.:&nbsp;Физматлит, 2006, c. 475</ref>
+
-
*[[Критерий Левиса]] <ref> ''Кобзарь А. И.'' Прикладная математическая статистика. — М.:&nbsp;Физматлит, 2006, c. 479</ref>
+
-
*[[Критерий Краузе]] <ref> ''Кобзарь А. И.'' Прикладная математическая статистика. — М.:&nbsp;Физматлит, 2006, c.481 </ref>
+
-
*[[Критерий Пейджа]] <ref> ''Кобзарь А. И.'' Прикладная математическая статистика. — М.:&nbsp;Физматлит, 2006, c.482 </ref>
+
-
*[[Критерий Вилкоксона-Вилкокс]] <ref> ''Кобзарь А. И.'' Прикладная математическая статистика. — М.:&nbsp;Физматлит, 2006, c. 471 </ref>
+
-
* [[Критерий Фишера-Йэйтса-Терри-Гёфдинга]] <ref> ''Кобзарь А. И.'' Прикладная математическая статистика. — М.:&nbsp;Физматлит, 2006, c. 473 </ref>
+
-
*[[Быстрый критерий Кенуя]] <ref> ''Кобзарь А. И.'' Прикладная математическая статистика. — М.:&nbsp;Физматлит, 2006, c. 473 </ref>
+
-
*[[Критерий Джонкхиера]] <ref> ''Кобзарь А. И.'' Прикладная математическая статистика. — М.:&nbsp;Физматлит, 2006, c. 477 </ref>
+
-
*[[Критерий Неменьи]] <ref> ''Кобзарь А. И.'' Прикладная математическая статистика. — М.:&nbsp;Физматлит, 2006, c. 469 </ref>
+
-
*[[Критерий Фридмана|Критерий Фридмена-Кендалла-Бэбингтона-Смита]] <ref> ''Кобзарь А. И.'' Прикладная математическая статистика. — М.:&nbsp;Физматлит, 2006, c. 484 </ref>
+
-
*[[Критерий Хеттманспергера]] <ref> ''Кобзарь А. И.'' Прикладная математическая статистика. — М.:&nbsp;Физматлит, 2006, c. 476 </ref>
+
-
*[[Критерий Андерсона-Каннемана-Шэча]] <ref> ''Кобзарь А. И.'' Прикладная математическая статистика. — М.:&nbsp;Физматлит, 2006, c. 486 </ref>
+
-
*[[Критерий со взвешенными ранжировками Даны Квейд]] <ref> ''Кобзарь А. И.'' Прикладная математическая статистика. — М.:&nbsp;Физматлит, 2006, c. 487 </ref>
+
-
*[[Критерий Кендалла-Эренберга]] <ref> ''Кобзарь А. И.'' Прикладная математическая статистика. — М.:&nbsp;Физматлит, 2006, c. 489 </ref>
+
-
*[[Критерий Ходжеса-Лемана-Сена]] <ref> ''Кобзарь А. И.'' Прикладная математическая статистика. — М.:&nbsp;Физматлит, 2006, c. 490 </ref>
+
-
== Непараметрические критерии масштаба ==
+
В качестве программной среды реализации настоятельно рекомендуется использовать MATLAB. Тем не менее, никаких ограничений на выбор среды реализации не накладывается.
-
Для двух выборок <tex>x^m = (x_1,\ldots,x_m),\; x_i \in \mathbb{R};\;\; y^n = (y_1,\ldots,y_n),\; y_i \in \mathbb{R}</tex>.
+
-
проверяется гипотеза о том, что они принадлежат одному и тому же распределению,
+
-
но с разным параметром масштаба.
+
-
Если плотность распределения первой выборки — <tex>f(x)</tex>, а второй выборки —
+
-
<tex>\frac{1}{\tau}f( \frac{x}{\tau})</tex>, то нулевая гипотеза <tex>H_0: \quad \tau \ne 1</tex>.
+
-
[[Ранговые критерии]] масштаба для двух выборок:
+
Присланный вариант задания должен содержать в себе:
-
*[[Критерий Ансари—Бредли]] <ref> ''Кобзарь А. И.'' Прикладная математическая статистика. — М.:&nbsp;Физматлит, 2006, c. 492 </ref>
+
* ФИО исполнителя, номер группы и номер варианта задания.
-
*[[Критерий Сижела-Тьюки]] <ref> ''Кобзарь А. И.'' Прикладная математическая статистика. — М.:&nbsp;Физматлит, 2006, c. 495 </ref>
+
* Текстовый файл в формате PDF, содержащий описание проведенных исследований.
-
*[[Критерий Кейпена]] <ref> ''Кобзарь А. И.'' Прикладная математическая статистика. — М.:&nbsp;Физматлит, 2006, c. 496 </ref>
+
* Все исходные коды с необходимыми комментариями.
-
*[[Критерий Клотца]] <ref> ''Кобзарь А. И.'' Прикладная математическая статистика. — М.:&nbsp;Физматлит, 2006, c. 499 </ref>
+
* Дополнительные комментарии или материалы, если необходимо.
-
*[[Критерий Сэвиджа]] <ref> ''Кобзарь А. И.'' Прикладная математическая статистика. — М.:&nbsp;Физматлит, 2006, c. 502 </ref>
+
-
*[[Критерий Муда]] <ref> ''Кобзарь А. И.'' Прикладная математическая статистика. — М.:&nbsp;Физматлит, 2006, c. 504 </ref>
+
-
*[[Критерий Сукхатме]] <ref> ''Кобзарь А. И.'' Прикладная математическая статистика. — М.:&nbsp;Физматлит, 2006, c. 505 </ref>
+
-
*[[Критерий Сэндвика-Олсона]] <ref> ''Кобзарь А. И.'' Прикладная математическая статистика. — М.:&nbsp;Физматлит, 2006, c. 507 </ref>
+
-
*[[Критерий Камата]] <ref> ''Кобзарь А. И.'' Прикладная математическая статистика. — М.:&nbsp;Физматлит, 2006, c. 509 </ref>
+
-
*[[Комбинированный критерий Буша-Винда]] <ref> ''Кобзарь А. И.'' Прикладная математическая статистика. — М.:&nbsp;Физматлит, 2006, c. 511 </ref>
+
-
[[Ранговые критерии]] масштаба нескольких (k>2) выборок:
+
Исходные коды должны включать в себя реализацию метода Гиббса для прямоугольной и треугольной систем соседств в виде отдельных функций. Прототипы функций имеют следующий вид:<br>
-
*[[Критерий Бхапкара-Дешпанде]] <ref> ''Кобзарь А. И.'' Прикладная математическая статистика. — М.:&nbsp;Физматлит, 2006, c. 514 </ref>
+
{|class="standard"
 +
!''Метод Гиббса''
 +
|-
 +
|[E, magnet, samples] = generateIsing4(vS, hS, J, H, iter, betaAll) - прямоугольная система соседства
 +
|-
 +
|[E, magnet, samples] = generateIsing6(vS, hS, J, H, iter, betaAll) - треугольная система соседства
 +
|-
 +
|ВХОД
 +
|-
 +
|
 +
{|border="0"
 +
|vS — размер решетки по вертикали;
 +
|-
 +
|hS — размер решетки по горизонтали;
 +
|-
 +
|J - параметр J модели. Все <tex>J_{ij}</tex> одинаковы и равны J.
 +
|-
 +
|H - внешнее магнитное поле, матрица размера vS на hS.
 +
|-
 +
|iter - количество итераций метода Гиббса
 +
|-
 +
|betaAll - вектор значений параметра <tex>\beta</tex>, для которых надо применить метод Гиббса. Длина вектора - <tex>\beta_0</tex>.
 +
|}
 +
|-
 +
|ВЫХОД
 +
|-
 +
|
 +
{|
 +
|E - значения энергий на 1 спин, массив размера iter на <tex>\beta_0</tex>.
 +
|-
 +
|magnet — значения магнетизации на 1 спин, массив размера iter на <tex>\beta_0</tex>.
 +
|-
 +
|samples — примеры положений модели для всех температур, массив размера vS на hS на <tex>\beta_0</tex>.
 +
|}
 +
|}
-
== Двухвыборочные критерии согласия ==
+
===Рекомендации===
-
*[[Двухвыборочный критерий Колмогорова-Смирнова]] <ref> ''Кобзарь А. И.'' Прикладная математическая статистика. — М.:&nbsp;Физматлит, 2006, c. 227 </ref>
+
*Лучше реализовывать метод векторно по параметру <tex>\beta</tex>, то есть проводить вычисления для всех температур сразу.
-
*[[Критерий Катценбайссера-Хакля]] <ref> ''Кобзарь А. И.'' Прикладная математическая статистика. — М.:&nbsp;Физматлит, 2006, c. 228 </ref>
+
*Начинать метод Гиббса лучше с наиболее вероятной для данной модели конфигурации.
-
*[[Двухвыборочный критерий Андерсона]] <ref> ''Кобзарь А. И.'' Прикладная математическая статистика. — М.:&nbsp;Физматлит, 2006, c. 229 </ref>
+
*Для оценки глобальных параметров лучше выкинуть значения, полученные на первой трети итераций метода Гиббса.
 +
*В качестве примера ситуации можно взять ситуацию, сгенерированную на последней итерации метода Гиббса.
-
= Параметрические критерии однородности =
 
-
== Сравнение параметров нормальных распределений ==
 
-
=== Сравнение двух средних значений ===
 
-
Имеются две выборки независимых случайных величин <tex> x_1, x_2, \dots, x_n; \qquad y_1, y_2, \dots, y_n.</tex>
 
-
Необходимо на основе выборочных данных установить наличие значимой разницы в средних двух совокупностей, из которых извлечены выборки.
 
-
'''Нулевая гипотеза:''' <tex> H_0:\quad \mu_1 = \mu_2 </tex>.
+
==Вариант 2==
-
 
+
-
'''Альтернативы:''' <tex>H_1:\quad \mu_1 \neq \mu_2; \qquad H_1': \quad \mu_1 > \mu_2; \qquad H_1'':\quad \mu_1 < \mu_2.</tex>
+
-
 
+
-
*''Сравнение при известных дисперсиях'' осуществляется при помощи [[Критерий Стьюдента| критерия Стьюдента]].
+
-
*''Сравнение при неизвестных равных дисперсиях'' осуществляется при помощи [[Критерий Стьюдента| критерия Стьюдента]].
+
-
*''Сравнение при неизвестных неравных дисперсиях'' осуществляется при помощи модификаций [[Критерий Стьюдента| критерия Стьюдента]]: ''критерий Кохрена-Кокса'', ''Критерий Сатервайта'', ''критерий Уэлча''.
+
-
*''Сравнение двух выборочных средних в связанных выборках'' осуществляется при помощи [[Критерий Стьюдента| критерия Стьюдента]].
+
-
*[[Критерий Уолша]] <ref> ''Кобзарь А. И.'' Прикладная математическая статистика. — М.:&nbsp;Физматлит, 2006, c. 394 </ref> позволяет проверять гипотезу о принадлежности одного наблюдения нормальному распределению, генерирующему выборку.
+
-
*[[Критерий Волфа| Двухступентчатый двухвыборочный медианный критерий Волфа]] <ref> ''Кобзарь А. И.'' Прикладная математическая статистика. — М.:&nbsp;Физматлит, 2006, c. 395 </ref>
+
-
*[[Критерий Фишера]] для сравнения двух средних с одинаковыми дисперсиями. <ref> ''Кобзарь А. И.'' Прикладная математическая статистика. — М.:&nbsp;Физматлит, 2006, c. 396 </ref> Эквивалентен [[Критерий Стьюдента|критерию Стьюдента]] и основан на связи между распределениями Стьюдента и Фишера.
+
-
 
+
-
=== Сравнение нескольких средних значений ===
+
-
Имеются k выборок из нормально распределенной совокупности <tex>x_{11},\dots,x_{1n_1}, \dots, x_{k1},\dots,x_{kn_k}. </tex>
+
-
 
+
-
'''Нулевая гипотеза''' <tex>H_0: \quad \mu_1=\dots=\mu_k</tex>
+
-
 
+
-
'''Альтернатива''' <tex>H_1: \quad |\mu_{i+1} - \mu_0 | > 0 \qquad (i=1,\dots,k).</tex>
+
-
 
+
-
* Модифицированный [[Критерий Стьюдента|критерий Стьюдента]] <ref> ''Кобзарь А. И.'' Прикладная математическая статистика. — М.:&nbsp;Физматлит, 2006, c. 397 </ref> позволяет решать задачу в случае равных объемов выборок.
+
-
* [[Критерий "стьюдентизированного" размаха]] <ref> ''Кобзарь А. И.'' Прикладная математическая статистика. — М.:&nbsp;Физматлит, 2006, c. 399 </ref>
+
-
* [[Дисперсионный критерий]] <ref> ''Кобзарь А. И.'' Прикладная математическая статистика. — М.:&nbsp;Физматлит, 2006, c. 399 </ref>
+
-
* [[Критерий Полсона]] <ref> ''Кобзарь А. И.'' Прикладная математическая статистика. — М.:&nbsp;Физматлит, 2006, c. 402 </ref>
+
-
решает задачу отделения выборки с наибольшим средним значением от всех остальных.
+
-
* [[Критерий Тьюки|Критерий Тьюки (метод прямого сравнения)]] <ref> ''Кобзарь А. И.'' Прикладная математическая статистика. — М.:&nbsp;Физматлит, 2006, c. 403 </ref>
+
-
* [[Критерий Тьюки|Критерий "стьюдентизированного" максимума (обобщенный критерий Тьюки)]] <ref> ''Кобзарь А. И.'' Прикладная математическая статистика. — М.:&nbsp;Физматлит, 2006, c. 405 </ref>
+
-
* [[Критерий Шеффе]] <ref> ''Кобзарь А. И.'' Прикладная математическая статистика. — М.:&nbsp;Физматлит, 2006, c. 406 </ref>
+
-
* [[Критерий Стьюдента-Ньюмена-Кейлса]] <ref> ''Кобзарь А. И.'' Прикладная математическая статистика. — М.:&nbsp;Физматлит, 2006, c. 407 </ref>
+
-
* [[Критерий Дункана]] <ref> ''Кобзарь А. И.'' Прикладная математическая статистика. — М.:&nbsp;Физматлит, 2006, c. 408 </ref>
+
-
* [[Критерий Линка-Уоллеса]] <ref> ''Кобзарь А. И.'' Прикладная математическая статистика. — М.:&nbsp;Физматлит, 2006, c. 408 </ref>
+
-
 
+
-
=== Сравнение двух дисперсий ===
+
-
Для двух нормально распределенных случайных величин <tex>x_1, \dots, x_n; \qquad y_1, \dots, y_m</tex> необходимо проверить гипотезу равенства дисперсий, опираясь на их выборочные оценки.
+
-
 
+
-
*[[Критерий Фишера]]
+
-
*[[Критерий Романовского]] <ref> ''Кобзарь А. И.'' Прикладная математическая статистика. — М.:&nbsp;Физматлит, 2006, c. 413 </ref>
+
-
*[[Критерий отношения размахов]] <ref> ''Кобзарь А. И.'' Прикладная математическая статистика. — М.:&nbsp;Физматлит, 2006, c. 414 </ref>
+
-
*[[Критерий "стьюдентизированного" размаха]] <ref> ''Кобзарь А. И.'' Прикладная математическая статистика. — М.:&nbsp;Физматлит, 2006, c. 415 </ref>
+
-
*[[Критерий Аризоно-Охты]] <ref> ''Кобзарь А. И.'' Прикладная математическая статистика. — М.:&nbsp;Физматлит, 2006, c. 415 </ref>
+
-
 
+
-
=== Сравнение нескольких дисперсий ===
+
-
Пусть <tex> \sigma_1^2, \dots, \sigma_k^2 </tex> - дисперсии выборок
+
-
 
+
-
'''Нулевая гипотеза''' <tex>H_0: \quad \sigma_1^2=\dots=\sigma_k^2</tex>
+
-
 
+
-
'''Альтернатива''' <tex>H_1:\quad \sigma_1^2 \neq \sigma_i^2 \qquad (i=2,\dots,k).</tex>
+
-
 
+
-
*[[Критерий Бартлетта]] <ref> ''Кобзарь А. И.'' Прикладная математическая статистика. — М.:&nbsp;Физматлит, 2006, c. 417 </ref>
+
-
*[[Критерий Кокрена]] <ref> ''Кобзарь А. И.'' Прикладная математическая статистика. — М.:&nbsp;Физматлит, 2006, c. 418 </ref>
+
-
*[[Критерий Неймана-Пирсона]] <ref> ''Кобзарь А. И.'' Прикладная математическая статистика. — М.:&nbsp;Физматлит, 2006, c. 419 </ref>
+
-
*[[Критерий Блисса-Кохрана-Тьюки]] <ref> ''Кобзарь А. И.'' Прикладная математическая статистика. — М.:&nbsp;Физматлит, 2006, c. 421 </ref>
+
-
*[[Критерий Хартли]] <ref> ''Кобзарь А. И.'' Прикладная математическая статистика. — М.:&nbsp;Физматлит, 2006, c. 421 </ref>
+
-
*[[Критерий Кэдуэлла-Лесли-Брауна]] <ref> ''Кобзарь А. И.'' Прикладная математическая статистика. — М.:&nbsp;Физматлит, 2006, c. 422 </ref>
+
-
*[[Критерий Самиуддина]] <ref> ''Кобзарь А. И.'' Прикладная математическая статистика. — М.:&nbsp;Физматлит, 2006, c. 423 </ref>
+
-
 
+
-
== Сравнение параметров экспоненциальных распределений ==
+
-
=== Сравнение двух параметров ===
+
-
Предположим, имеются две выборки из экспоненциальных распределений: <tex>x_1, \dots, x_n; \qquad y_1,\dots, y_m,</tex> т.е. из распределений с плотностями <tex> f(x) = \frac{1}{\nu_1} \exp{\left( -\frac{x}{\nu_1} \right)}; \qquad g(y) = \frac{1}{\nu_2} \exp{\left( -\frac{y}{\nu_2} \right)}</tex>. Здесь <tex>\nu_1, \quad \nu_2</tex> - параметры распределений (средние значения). Иногда на практике (задачи анализа надежности объектов) используют параметр <tex> \lambda = \fra{1}{\nu} </tex> - интенсивность отказов.
+
-
 
+
-
*[[Критерий Фишера]] <ref> ''Кобзарь А. И.'' Прикладная математическая статистика. — М.:&nbsp;Физматлит, 2006, c. 424 </ref>
+
-
*[[Двухвыборочный пуассоновский критерий]] <ref> ''Кобзарь А. И.'' Прикладная математическая статистика. — М.:&nbsp;Физматлит, 2006, c. 426 </ref>
+
-
 
+
-
=== Сравнение нескольких (k>1) параметров ===
+
-
*[[Критерий Дэвида]] <ref> ''Кобзарь А. И.'' Прикладная математическая статистика. — М.:&nbsp;Физматлит, 2006, c. 429 </ref>
+
-
*[[Критерий максимального правдоподобия]] <ref> ''Кобзарь А. И.'' Прикладная математическая статистика. — М.:&nbsp;Физматлит, 2006, c. 430 </ref>
+
-
*[[Критерий Нагарсенкера]] <ref> ''Кобзарь А. И.'' Прикладная математическая статистика. — М.:&nbsp;Физматлит, 2006, c. 431 </ref>
+
-
*[[Критерий Чена]] <ref> ''Кобзарь А. И.'' Прикладная математическая статистика. — М.:&nbsp;Физматлит, 2006, c. 432 </ref>
+
-
*[[Комбинированный критерий Сингха]] <ref> ''Кобзарь А. И.'' Прикладная математическая статистика. — М.:&nbsp;Физматлит, 2006, c. 431 </ref>
+
-
 
+
-
=Ссылки=
+
-
<references/>
+
-
 
+
-
=Литература=
+
-
# ''Кобзарь А. И.'' Прикладная математическая статистика. — М.:&nbsp;Физматлит, 2006.
+
-
# ''Лагутин М. Б.'' Наглядная математическая статистика. В двух томах. — М.: П-центр, 2003.
+
-
 
+
-
= См. также =
+
-
* [[Проверка статистических гипотез]] — о методологии проверки статистических гипотез.
+
-
* [[Статистика (функция выборки)]]
+
-
* [[Критерии согласия]]
+

Версия 13:23, 20 ноября 2010


Перейти к основной странице спецкурса

Начало выполнения задания: 22 ноября 2010 г.
Срок сдачи: 6 декабря 2010 г., 23:59.

Модель Изинга

Прямоугольная система соседства
Прямоугольная система соседства
Треугольная система соседства
Треугольная система соседства

Модель Изинга — математическая модель статистической физики, предназначенная для описания намагничивания материала. Каждой вершине кристаллической решётки (рассматриваются не только трёхмерные, но и одно- и двумерные случаи) сопоставляется число, называемое спином и равное +1 или −1 («поле вверх»/«поле вниз»). Каждому из 2^N возможных вариантов расположения спинов (где N — число атомов решётки) приписывается энергия, получающаяся из попарного взаимодействия спинов соседних атомов J и действия внешнего магнитного поля H:
E(X) = -\left( \sum_{(i,j) \in E} J_{ij}x_i x_j + \sum_{i=1}^N H_i x_i \right),
где x_i - переменные, соответствующие спинам, E - система соседства (в данном задании рассматривается 2 системы соседства: прямоугольная и треугольная) . Вероятность нахождения в каждом конкретном состоянии задается распределением Гиббса:
P(X) = \frac{1}{Z} \exp{\left( -\beta E(X) \right)}, \qquad \beta = \frac{1}{kT},
где Z - нормировочная константа, T - температура, k - параметр.

Если J_{ij} = 1 ,то вещество называется ферромагнетиком. Если J_{ij} = -1, то вещество называется антиферромагнетиком.

Вариант 1

Описание задания

Провести исследование модели Изинга методом Монте-Карло. В качестве алгоритма генерации выборки использовать метод Гиббса. Генерацию каждого элемента решетки проводить по следующим формулам:
p(x_i = 1 | X_{/\{i\}}) = \frac{1}{1 + \exp(-2\beta b_i)}, \qquad b_i = \sum_{j: (i, j) \in E} J_{ij}x_j + H_i,
p(x_i = -1 | X_{/\{i\}}) = \frac{\exp(-2\beta b_i)}{1 + \exp(-2\beta b_i)}.

Задание

Пример иллюстрации состояния модели Изинга размера 20 на 20.
Пример иллюстрации состояния модели Изинга размера 20 на 20.
  1. Вывести формулы для метода Гиббса генерации выборки методом Гиббса (вывод вставить в отчет).
  2. Реализовать процедуру подсчета математического ожидания и дисперсии энергии (нормированной на количество спинов N), математического ожидания квадрата общей намагниченности модели \mu = \left(\sum_{i=1}^N x_i \right) / N методов Гиббса (с заданным числом итераций) для заданных параметров \beta и заданного внешнего магнитного поля H. (Требования по эффективности реализации: 1000 итераций метода Гиббса для решетки размером 20 на 20 и 100 значений параметра \beta должны выполнятся не более 100 секунд.)
  3. Построить графики зависимости \mathbb{E}E, \sqrt{\mathbb{D}E}, \sqrt{\mathbb{E}(\mu^2)} от температуры для треугольной и четырехугольной систем соседства, ферромагнетика и антиферромагнетика (всего 4 модели). Проинтерпретировать полученные результаты (в частности идентифицировать, локализовать и изучить фазовый переход). Для построения графиков использовать следующие значения параметров:
    • размер решетки 20 на 20 (N = 400)
    • k = 1
    • 10000 итераций метода Гиббса для каждой из температур
    • для ферромагнетика J_{ij} = 1, для антиферромагнетика J_{ij} = -1
    • внешнее магнитное поле H_i = 0
    • температуры T = 0.5 : 0.1 : 10;
  4. Для ферромагнетика с четырехугольной системой связности привести (картинками) характерные состояния для разных температур в окрестности фазового перехода. Проинтерпретировать результаты. Рассмотреть не менее одного примера для не менее 5 разных температур. Параметры генерации те же, что и в пункте 3.
  5. Исследовать влияние фазового перехода в ферромагнетике с прямоугольной системой соседства от равномерного внешнего магнитного поля. Параметры модели взять такие же как в пункте 3.
  6. Выполнить пункт 4 в присутствии внешнего магнитного поля следующей структуры: на половине решетки H = 1, на другой половине H = -1.
  7. Сравнить результаты применения метода Монте-Карло с результатами применения вариационного подхода. Рассмотреть ферромагнетик с прямоугольной системой соседства. Реализацию вариационного подхода взять у товарища, выполняющего вариант 2. Привести графики математического ожидания и дисперсии энергии, корня из математического ожидания намагниченности в одних осях для двух подходов.

Оформление задания

Выполненное задание следует отправить письмом по адресу bayesml@gmail.com с заголовком письма «Задание 2 <Номер_группы> <ФИО>». Убедительная просьба присылать выполненное задание только один раз с окончательным вариантом. Новые версии будут рассматриваться только в самом крайнем случае.

В качестве программной среды реализации настоятельно рекомендуется использовать MATLAB. Тем не менее, никаких ограничений на выбор среды реализации не накладывается.

Присланный вариант задания должен содержать в себе:

  • ФИО исполнителя, номер группы и номер варианта задания.
  • Текстовый файл в формате PDF, содержащий описание проведенных исследований.
  • Все исходные коды с необходимыми комментариями.
  • Дополнительные комментарии или материалы, если необходимо.

Исходные коды должны включать в себя реализацию метода Гиббса для прямоугольной и треугольной систем соседств в виде отдельных функций. Прототипы функций имеют следующий вид:

Метод Гиббса
[E, magnet, samples] = generateIsing4(vS, hS, J, H, iter, betaAll) - прямоугольная система соседства
[E, magnet, samples] = generateIsing6(vS, hS, J, H, iter, betaAll) - треугольная система соседства
ВХОД
vS — размер решетки по вертикали;
hS — размер решетки по горизонтали;
J - параметр J модели. Все J_{ij} одинаковы и равны J.
H - внешнее магнитное поле, матрица размера vS на hS.
iter - количество итераций метода Гиббса
betaAll - вектор значений параметра \beta, для которых надо применить метод Гиббса. Длина вектора - \beta_0.
ВЫХОД
E - значения энергий на 1 спин, массив размера iter на \beta_0.
magnet — значения магнетизации на 1 спин, массив размера iter на \beta_0.
samples — примеры положений модели для всех температур, массив размера vS на hS на \beta_0.

Рекомендации

  • Лучше реализовывать метод векторно по параметру \beta, то есть проводить вычисления для всех температур сразу.
  • Начинать метод Гиббса лучше с наиболее вероятной для данной модели конфигурации.
  • Для оценки глобальных параметров лучше выкинуть значения, полученные на первой трети итераций метода Гиббса.
  • В качестве примера ситуации можно взять ситуацию, сгенерированную на последней итерации метода Гиббса.


Вариант 2

Источник — «http://machinelearning.ru/wiki/index.php?title=%D0%A3%D1%87%D0%B0%D1%81%D1%82%D0%BD%D0%B8%D0%BA:Anton/%D0%9F%D0%B5%D1%81%D0%BE%D1%87%D0%BD%D0%B8%D1%86%D0%B0»
Личные инструменты