Исследование устойчивости оценок ковариационной матрицы параметров
Материал из MachineLearning.
(→Описание алгоритма оценки матрицы ковариации) |
|||
Строка 32: | Строка 32: | ||
==Описание алгоритма оценки матрицы ковариации== | ==Описание алгоритма оценки матрицы ковариации== | ||
- | Для фиксированных гиперпарамтеров <tex>A</tex>, <tex>\beta</tex> вектор наиболее вероятных параметров минимизирует функционал | + | Для фиксированных гиперпарамтеров <tex>A</tex>, <tex>\beta</tex> вектор наиболее вероятных параметров минимизирует функционал |
<center><tex> | <center><tex> | ||
S(w) = w^T A w + \beta \sum_{i = 1}^n (y_i - x_i^T w)^2 = E_{w} + \beta E_D. | S(w) = w^T A w + \beta \sum_{i = 1}^n (y_i - x_i^T w)^2 = E_{w} + \beta E_D. | ||
</tex></center> | </tex></center> | ||
- | Набор наиболее вероятных гиперпараметров будем искать, максимизируя оценку правдоподобия по <tex>A</tex>, <tex>\beta</tex | + | Набор наиболее вероятных гиперпараметров будем искать, максимизируя оценку правдоподобия по <tex>A</tex>, <tex>\beta</tex> |
<center><tex> | <center><tex> | ||
\ln p(D|A, \beta, f) = - \frac12 \ln |A| - \frac{m}2 \ln 2\pi + \frac{m}2 \ln \beta \underbrace{- E_{w} - \beta E_D}_{S(w_0)} - \frac12 \ln |H|, | \ln p(D|A, \beta, f) = - \frac12 \ln |A| - \frac{m}2 \ln 2\pi + \frac{m}2 \ln \beta \underbrace{- E_{w} - \beta E_D}_{S(w_0)} - \frac12 \ln |H|, | ||
Строка 43: | Строка 43: | ||
здесь <tex>H</tex> --- гессиан функционала <tex>S(w)</tex>. | здесь <tex>H</tex> --- гессиан функционала <tex>S(w)</tex>. | ||
- | + | В предположении о диагональности матрицы <tex>A = diag(\alpha)</tex> и гессиана <tex>H = diag(\mathbf{h})</tex>, | |
- | + | ||
<tex>\alpha = \{ \alpha_i \}_{i = 1}^m</tex>, <tex>\mathbf{h} = \{h_i \}_{i = 1}^m</tex>, приравняв производные по гиперпараметрам к нулю, получаем оценку для <tex>\alpha_i</tex>: <br/> | <tex>\alpha = \{ \alpha_i \}_{i = 1}^m</tex>, <tex>\mathbf{h} = \{h_i \}_{i = 1}^m</tex>, приравняв производные по гиперпараметрам к нулю, получаем оценку для <tex>\alpha_i</tex>: <br/> | ||
<center><tex> | <center><tex> | ||
Строка 51: | Строка 50: | ||
здесь <tex>\lambda_i = \beta h_i</tex>. | здесь <tex>\lambda_i = \beta h_i</tex>. | ||
- | Так же получаем оценку <tex>\beta</tex>: | + | Так же получаем оценку <tex>\beta</tex>: |
<center><tex> | <center><tex> | ||
\beta = \frac{n - \gamma}{2 E_D}, | \beta = \frac{n - \gamma}{2 E_D}, | ||
</tex></center> | </tex></center> | ||
- | здесь | + | здесь |
<center><tex> | <center><tex> | ||
\gamma = \sum_{j=1}^n \frac{\lambda_j}{\lambda_j + \alpha_j}. | \gamma = \sum_{j=1}^n \frac{\lambda_j}{\lambda_j + \alpha_j}. |
Версия 20:53, 24 сентября 2011
Содержание |
Введение
В данной работе исследуется устойчивость оценок ковариационной матрицы параметров модели. Рассматриваются модели линейной регрессии. Тогда вектор параметров модели соответствует набору признаков модели. Ковариационная матрица параметров строится в предположении о вероятностном распределении вектора параметров. Исследуется, как будет меняться ковариационная матрица параметров модели при добавлении новых столбцов в матрицу плана. Для такой матрицы плана получаем расширенный вектор параметров модели и оценку матрицы ковариации параметров модели. Сравнивается ковариационная матрица для нерасширенного и расширенного вектора параметеров модели. Исследуется пространство параметров для информативных признаков.
Постановка задачи
Задана выборка .
Вектор свободных переменных
, зависимая переменная
.
Предполгается, что
где --- некоторая параметрическая функция,
--- вектор ее параметров,
--- ошибка, распределенная нормально с нулевым математическим ожиданием и дисперсией
,
. Предполагается, что вектор параметров
--- нормальнораспределенный случайный вектор с нулевым математическим ожиданием и матрицей ковариаций
.
Рассматривается класс линейных функций .
Наиболее вероятные параметры
имеют вид:
Для такого набора параметров исследуется матрица ковариации , который мы тоже оцениваем, используя принцип максимального правдоподобия.
Описание алгоритма оценки матрицы ковариации
Для фиксированных гиперпарамтеров ,
вектор наиболее вероятных параметров минимизирует функционал
Набор наиболее вероятных гиперпараметров будем искать, максимизируя оценку правдоподобия по ,
здесь --- гессиан функционала
.
В предположении о диагональности матрицы
и гессиана
,
,
, приравняв производные по гиперпараметрам к нулю, получаем оценку для
:
здесь .
Так же получаем оценку :
здесь
Используя оценки вектора параметров при фиксированных гиперпарамтерах и гиперпараметров при фиксированных параметрах, выпишем итерационный алгоритм поиска наиболее вероятных параметров и гиперпараметров. Он состоит из шагов:
- поиск вектора параметров, максимизирующих функционал
,
- поиск гиперпараметров, максимизирующих правдоподобие,
- проверка критерия остановки.
Критерий остановки --- малое изменение функционала для двух последовательных итераций алгоритма.
Исходный код и полный текст работы
Смотри также
Литература
![]() | Данная статья является непроверенным учебным заданием.
До указанного срока статья не должна редактироваться другими участниками проекта MachineLearning.ru. По его окончании любой участник вправе исправить данную статью по своему усмотрению и удалить данное предупреждение, выводимое с помощью шаблона {{Задание}}. См. также методические указания по использованию Ресурса MachineLearning.ru в учебном процессе. |