Исследование устойчивости оценок ковариационной матрицы параметров
Материал из MachineLearning.
Введение
В данной работе исследуется устойчивость оценок ковариационной матрицы параметров модели. Рассматриваются модели линейной регрессии. Тогда вектор параметров модели соответствует набору признаков модели. Ковариационная матрица параметров строится в предположении о вероятностном распределении вектора параметров. Исследуется, как будет меняться ковариационная матрица параметров модели при добавлении новых столбцов в матрицу плана. Для такой матрицы плана получаем расширенный вектор параметров модели и оценку матрицы ковариации параметров модели. Сравнивается ковариационная матрица для нерасширенного и расширенного вектора параметеров модели. Исследуется пространство параметров для информативных признаков.
Постановка задачи
Задана выборка .
Вектор свободных переменных
.
Предполгается, что
где
--- некоторая параметрическая функция,
--- вектор ее параметров,
--- ошибка, распределенная нормально с нулевым математическим ожиданием и дисперсией
,
. Предполагается, что вектор параметров
--- нормальнораспределенный случайный вектор с нулевым математическим ожиданием и матрицей ковариаций
.
Рассматривается класс линейных функций .
Наиболее вероятные параметры
имеют вид:
Для такого набора параметров исследуется матрица ковариации , который мы тоже оцениваем, используя принцип максимального правдоподобия.
Описание алгоритма оценки матрицы ковариации
Для фиксированных гиперпарамтеров ,
вектор наиболее вероятных параметров минимизирует функционал
Набор наиболее вероятных гиперпараметров будем искать, максимизируя оценку правдоподобия по ,
здесь
--- гессиан функционала
.
В предположении о диагональности матрицы и гессиана
,
,
, приравняв производные по гиперпараметрам к нулю, получаем оценку для
![]()
:
здесь
.
Так же получаем оценку
здесь
Используя оценки вектора параметров при фиксированных гиперпарамтерах и гиперпараметров при фиксированных параметрах, выпишем итерационный алгоритм поиска наиболее вероятных параметров и гиперпараметров. Он состоит из шагов:
- поиск вектора параметров, максимизирующих функционал
,
- поиск гиперпараметров, максимизирующих правдоподобие,
- проверка критерия остановки.
Критерий остановки --- малое изменение функционала для двух последовательных итераций алгоритма.