Определение гиперпараметров для MVR

Материал из MachineLearning.

При максимизации вероятности появления данных D для гиперпараметров α и β мы получаем:

Отсюда, приравнивая логарифм к 0, получаем выражение для α.

Выражаем γ - мера числа хорошо обусловленных параметров модели:

Далее, находя оптимальное β, получим, что

Таким образом, на каждом шаге у нас для модели определены гиперпараметры α,β,γ. При этом β определена для всей модели, а α и γ для каждой функции из суперпозиции. Так как оптимизация параметров w дает нам положительно определенную форму гессиана, его собственные значения λ больше нуля, и, таким образом, γ меньше нуля.

Мы имеем следующий итерационный процесс пересчета α и γ:

Процесс сходится, так как увеличение α ведет к увеличению γ, что на следующем шаге ведет к уменьшению α.

   for m=1:limit
       gamma(m)=0;
       for i=1:size(Model.wFound,2)
           gamma(m)=gamma(m)+max(alpha)/(lambda(i)+max(alpha));
       end
       for i=1:size(Model.wFound,2)
           alpha(i)=(size(Model.wFound,2)-gamma(m))/Model.wFound(i)^2
       end
       beta(m)=(size(y,1)-gamma(m))/Model.errTest;
   end