Просмотр

Материал из MachineLearning.

У вас нет прав на выполнение этой операции по следующим причинам:

• Запрошенное действие могут выполнять только участники из групп emailconfirmed, Администраторы.
• Вы должны подтвердить ваш адрес электронной почты перед правкой страниц. Пожалуйста, введите и подтвердите ваш адрес эл. почты на странице настроек.

Вы можете просмотреть и скопировать исходный текст этой страницы:

[[Изображение:Stochastic gradient.png|300px|thumb|Колебания целевой функции при компромиссном градиентном спуске]] '''Стохастический градиентный спуск''' относится к оптимизационным алгоритмам и нередко используется для настройки параметров модели машинного обучения. При стандартном (или «пакетном», «batch») [[градиентный спуск|градиентном спуске]] для корректировки параметров модели используется градиент. Градиент обычно считается как сумма градиентов, вызванных каждым [[Выборка#Обучающая и тестовая выборка|элементом обучения]]. Вектор параметров изменяется в направлении антиградиента с заданным шагом. Поэтому стандартному градиентному спуску требуется один проход по обучающим данным до того, как он сможет менять параметры. При стохастическом (или «оперативном») градиентном спуске значение градиента аппроксимируются градиентом функции стоимости, вычисленном только на одном элементе обучения. Затем параметры изменяются пропорционально приближенному градиенту. Таким образом параметры модели изменяются после каждого объекта обучения. Для больших массивов данных стохастический градиентный спуск может дать значительное преимущество в скорости по сравнению со стандартным градиентным спуском. Между этими двумя видами градиентного спуска существует компромисс, называемый иногда «mini-batch». В этом случае градиент аппроксимируется суммой для небольшого количества обучающих образцов. Стохастический градиентный спуск является одной из форм стохастического приближения. Теория стохастических приближений даёт условия сходимости метода стохастического градиентного спуска. Одними из самых популярных алгоритмов стохастического градиентного спуска являются адаптивный фильтр [[Метод наименьших квадратов|наименьшей среднеквадратичной ошибки]] и [[алгоритм обратного распространения ошибок]]. ==См. также== *[[Метод покоординатного спуска|Покоординатный спуск]] *[[Метод наименьших квадратов]] ==Ссылки== *[http://en.wikipedia.org/wiki/Stochastic_gradient_descent Wikipedia: Stochastic gradient descent] [[Категория:Машинное обучение]]

Возврат к странице Стохастический градиентный спуск.