Участник:Ruzik/Песочница
Материал из MachineLearning.
Метод стохастического градиента (Stochastic Gradient)
Градиентные методы --- это широкий класс оптимизационных алгоритмов, используемых не только в машинном обучении.
Здесь градиентный подход будет рассмотрен в качестве способа подбора вектора синаптических весов w в линейном классификаторе (ссылка).
Пусть - целевая зависимость, известная только на объектах обучающей выборки:
.
Найдём алгоритм
, аппроксимирующий зависимость
.