Исследование устойчивости оценок ковариационной матрицы параметров
Материал из MachineLearning.
(→Зависимость параметра от гиперпараметров) |
(→Зависимость параметра от гиперпараметров) |
||
Строка 68: | Строка 68: | ||
На рисунках приведена зависимость параметра <tex>w</tex> и гиперпараметра <tex>\alpha</tex>, которые соответствуют нешумовому признаку. | На рисунках приведена зависимость параметра <tex>w</tex> и гиперпараметра <tex>\alpha</tex>, которые соответствуют нешумовому признаку. | ||
- | [[Изображение:CovarianceOneFeature100.png|Линейная функция]] | + | [[Изображение:CovarianceOneFeature100.png|350px||Линейная функция]] |
- | [[Изображение:CovarianceOneFeature100exp.png|Экспонента]] | + | [[Изображение:CovarianceOneFeature100exp.png|350px||Экспонента]] |
- | [[Изображение:CovarianceOneFeature100sin.png|Синусоида]] | + | [[Изображение:CovarianceOneFeature100sin.png|350px||Синусоида]] |
Мы видим, что параметр сильно коррелирует с гиперпараметром, при этом, нет зависимости от числа шумовых признаков. | Мы видим, что параметр сильно коррелирует с гиперпараметром, при этом, нет зависимости от числа шумовых признаков. |
Версия 19:59, 26 сентября 2011
Содержание |
Введение
В данной работе исследуется устойчивость оценок ковариационной матрицы параметров модели. Рассматриваются модели линейной регрессии. Тогда вектор параметров модели соответствует набору признаков модели. Ковариационная матрица параметров строится в предположении о вероятностном распределении вектора параметров. Исследуется, как будет меняться ковариационная матрица параметров модели при добавлении новых столбцов в матрицу плана. Для такой матрицы плана получаем расширенный вектор параметров модели и оценку матрицы ковариации параметров модели. Сравнивается ковариационная матрица для нерасширенного и расширенного вектора параметеров модели. Исследуется пространство параметров для информативных признаков.
Постановка задачи
Задана выборка . Вектор свободных переменных , зависимая переменная . Предполгается, что
где --- некоторая параметрическая функция, --- вектор ее параметров, --- ошибка, распределенная нормально с нулевым математическим ожиданием и дисперсией , . Предполагается, что вектор параметров --- нормальнораспределенный случайный вектор с нулевым математическим ожиданием и матрицей ковариаций .
Рассматривается класс линейных функций .
Наиболее вероятные параметры имеют вид:
Для такого набора параметров исследуется матрица ковариации , который мы тоже оцениваем, используя принцип максимального правдоподобия.
Описание алгоритма оценки матрицы ковариации
Для фиксированных гиперпарамтеров , вектор наиболее вероятных параметров минимизирует функционал
Набор наиболее вероятных гиперпараметров будем искать, максимизируя оценку правдоподобия по ,
здесь --- гессиан функционала .
В предположении о диагональности матрицы и гессиана ,
, , приравняв производные по гиперпараметрам к нулю, получаем оценку для :
здесь .
Так же получаем оценку :
здесь
Используя оценки вектора параметров при фиксированных гиперпарамтерах и гиперпараметров при фиксированных параметрах, выпишем итерационный алгоритм поиска наиболее вероятных параметров и гиперпараметров. Он состоит из шагов:
- поиск вектора параметров, максимизирующих функционал ,
- поиск гиперпараметров, максимизирующих правдоподобие,
- проверка критерия остановки.
Критерий остановки --- малое изменение функционала для двух последовательных итераций алгоритма.
Вычислительный эксперимент
Один признак
В выборках один информативный признак и шумовых. Вектор свободных переменных для каждого объекта генерируется из нормального распределения с нулевым математическим ожиданием и единичной дисперсией. Рассматриваются выборки размером и . Зависимая переменная --- зашумленная линейная или обобщенно-линейная функция входа. Рассматривались обобщенные-линейные функции и . Шум состоял из независимых нормальнораспределенных величин с дисперсией .
Зависимость параметра от гиперпараметров
На рисунках приведена зависимость параметра и гиперпараметра , которые соответствуют нешумовому признаку.
Мы видим, что параметр сильно коррелирует с гиперпараметром, при этом, нет зависимости от числа шумовых признаков.
Сравнение гиперпараметров для разных признаков
Гиперпараметры могут служить мерой информативности признаков. Сравнивались логарифм гиперпараметра значимого признака и минимальный из логарифмов гиперпарамтеров для незначимых признаков. Бралось усреднение логарифма по пяти различным выборкам. Результаты приведены на рисунках \ref{fig:hyperparametersCompare}. На рисунке \ref{fig:hyperparametersCompare} видно, что в большинстве случаев значение гиперпараметра для значимого признака меньше, чем минимальное значение гиперпараметров для шумового, однако, в некоторых случаях наблюдаются выбросы.
[Изображение:MeanAlphaVsNoiseAlpha|Линейная функция] [Изображение:MeanAlphaVsNoiseAlphaExp|Экспонента]
Два признака
Проводился аналогичный эксперимент для двух информативных признаков, причем сравнивался максимальное значение гиперпараметра для информативных признаков с минимальным значением признака для шумовых признаков. На рисунках \ref{fig:hyperparametersCompare2} видно, что информативные признаки имели меньшие значения гиперпараметра , чем информативные. Таким образом, удается выделить информативные и шумовые признаки. На рисунке \ref{fig:hyperparametersCompare3}показано сравнение информативности первого и второго информативных признаков, видно, что из-за большего веса один признак информативнее другого для линейной модели. Так же отметим, что для обобщенно-линейной функции не удается выделить наиболее информативный признак, в некоторых случаях гиперпараметры для одного из признаков стремятся к бесконечности.
[Изображение:MeanAlphaVsNoiseAlpha2| Линейная функция] [Изображение:MeanAlphaVsNoiseAlpha2sin|Синусоида]
[Изображение:AlphasCompare|Линейная функция]
[Изображение:AlphasCompareSin|Синус]
Реальные данные
Использовались реальные данные по определения характеристик цемента по его составу. Данные были нормализованы так, что как у свободных, так и у зависимой переменной были нулевые математические ожидания и единичные дисперсии. Для данных без шумовых признаков алгоритм был запущен сто раз на разных подвыборках размера (размер полной выборки --- ). Результаты приведены на рисунке \ref{fig:realDatanoNoise}. Видно, что признаки разделяются по информативности и что информативность почти всегда эквивалента модулю веса.
Так же был проведен следующий эксперимент. К начальному набору свободных переменных был добавлен ряд шумовых признаков, затем на ста запусках была оценена -процентная квантиль рассматриваемой величины. На рисунке \ref{fig:realDataNoise} видно, что увеличение числа шумовых признаков увеличивает, хоть и не сильно, квантиль как оценки параметра, так и оценки гиперпараметра для разных признаков. Отметим, что, тем не менее, это не влияет на разделимость признаков по информативности.
Выводы
Используемый подход устойчив по отношению к шумовым признакам, качество полученной аппроксимации и оценки весов и информативности для информативных признаков слабо зависят от количества шумовых признаков.
Исходный код и полный текст работы
Смотри также
Литература
- Стрижов В.В. и Сологуб Р.А. Алгоритм выбора нелинейных регрессионных моделей с анализом гиперпараметров. — ММРО-14. — 2009.
- Christopher M. Bishop Pattern Recognition and Machine Learning. — Hardcover. — 2006. — 740 с.
- Yeh, I. and others Modeling slump flow of concrete using second-order regressions and artificial neural networks. — 2007.
Данная статья является непроверенным учебным заданием.
До указанного срока статья не должна редактироваться другими участниками проекта MachineLearning.ru. По его окончании любой участник вправе исправить данную статью по своему усмотрению и удалить данное предупреждение, выводимое с помощью шаблона {{Задание}}. См. также методические указания по использованию Ресурса MachineLearning.ru в учебном процессе. |