Исследование устойчивости оценок ковариационной матрицы параметров
Материал из MachineLearning.
Строка 44: | Строка 44: | ||
здесь <tex>H</tex> --- гессиан функционала <tex>S(w)</tex>. | здесь <tex>H</tex> --- гессиан функционала <tex>S(w)</tex>. | ||
- | + | предположении о диагональности матрицы <tex>A = diag(\alpha)</tex> и гессиана <tex>H = diag(\mathbf{h})</tex>, | |
<tex>\alpha = \{ \alpha_i \}_{i = 1}^m</tex>, <tex>\mathbf{h} = \{h_i \}_{i = 1}^m</tex>, приравняв производные по гиперпараметрам к нулю, получаем оценку для <tex>\alpha_i</tex>: <br/> | <tex>\alpha = \{ \alpha_i \}_{i = 1}^m</tex>, <tex>\mathbf{h} = \{h_i \}_{i = 1}^m</tex>, приравняв производные по гиперпараметрам к нулю, получаем оценку для <tex>\alpha_i</tex>: <br/> | ||
<center><tex> | <center><tex> |
Версия 20:50, 24 сентября 2011
Содержание |
Введение
В данной работе исследуется устойчивость оценок ковариационной матрицы параметров модели. Рассматриваются модели линейной регрессии. Тогда вектор параметров модели соответствует набору признаков модели. Ковариационная матрица параметров строится в предположении о вероятностном распределении вектора параметров. Исследуется, как будет меняться ковариационная матрица параметров модели при добавлении новых столбцов в матрицу плана. Для такой матрицы плана получаем расширенный вектор параметров модели и оценку матрицы ковариации параметров модели. Сравнивается ковариационная матрица для нерасширенного и расширенного вектора параметеров модели. Исследуется пространство параметров для информативных признаков.
Постановка задачи
Задана выборка .
Вектор свободных переменных
, зависимая переменная
.
Предполгается, что
где --- некоторая параметрическая функция,
--- вектор ее параметров,
--- ошибка, распределенная нормально с нулевым математическим ожиданием и дисперсией
,
. Предполагается, что вектор параметров
--- нормальнораспределенный случайный вектор с нулевым математическим ожиданием и матрицей ковариаций
.
Рассматривается класс линейных функций .
Наиболее вероятные параметры
имеют вид:
Для такого набора параметров исследуется матрица ковариации , который мы тоже оцениваем, используя принцип максимального правдоподобия.
Описание алгоритма оценки матрицы ковариации
Для фиксированных гиперпарамтеров ,
вектор наиболее вероятных параметров минимизирует функционал
Набор наиболее вероятных гиперпараметров будем искать, максимизируя оценку правдоподобия по ,
здесь --- гессиан функционала
.
предположении о диагональности матрицыи гессиана
,
,
, приравняв производные по гиперпараметрам к нулю, получаем оценку для
:
здесь .
Так же получаем оценку :
здесь
Используя оценки вектора параметров при фиксированных гиперпарамтерах и гиперпараметров при фиксированных параметрах, выпишем итерационный алгоритм поиска наиболее вероятных параметров и гиперпараметров. Он состоит из шагов:
- поиск вектора параметров, максимизирующих функционал
,
- поиск гиперпараметров, максимизирующих правдоподобие,
- проверка критерия остановки.
Критерий остановки --- малое изменение функционала для двух последовательных итераций алгоритма.
Исходный код и полный текст работы
Смотри также
Литература
![]() | Данная статья является непроверенным учебным заданием.
До указанного срока статья не должна редактироваться другими участниками проекта MachineLearning.ru. По его окончании любой участник вправе исправить данную статью по своему усмотрению и удалить данное предупреждение, выводимое с помощью шаблона {{Задание}}. См. также методические указания по использованию Ресурса MachineLearning.ru в учебном процессе. |