Однослойный персептрон (пример)
Материал из MachineLearning.
(→Описание алгоритма) |
(→Литература) |
||
Строка 22: | Строка 22: | ||
== Литература == | == Литература == | ||
+ | * К. В. Воронцов, Лекции по линейным алгоритмам классификации | ||
* Bishop, C. Pattern Recognition And Machine Learning. Springer. 2006. | * Bishop, C. Pattern Recognition And Machine Learning. Springer. 2006. | ||
{{Задание|Максим Панов|В.В. Стрижов|28 мая 2009}} | {{Задание|Максим Панов|В.В. Стрижов|28 мая 2009}} | ||
[[Категория:Учебные материалы]] | [[Категория:Учебные материалы]] |
Версия 16:03, 29 апреля 2009
|
Однослойный персептрон — TODO
Постановка задачи
Пусть - пространство объектов;
- множество допустимых ответов. Будем считать, что
, где
- признаковое описание объекта, а
- дополнительный константный признак;
. Задана выборка
. Значения признаков
рассматриваются как импульсы, поступающие на вход нейрона, которые складываются с весами
. Если суммарный импульс превышает порог активации
, то нейрон возбуждается
и выдаёт на выходе 1, иначе выдаётся 0. Таким образом, нейрон вычисляет
-арную булеву функцию вида
Описание алгоритма
Для настройки вектора весов воспользуемся методом стохастического градиента. Возьмем квадратичную функцию потерь: , а в качестве функции активации возьмем сигмоидную функцию:
. Согласно принципу минимизации эмпирического риска задача сводится к поиску вектора, доставляющего минимум функционалу
. Применим для минимизации метод градиентного спуска:
где величина шага в направлении антиградиента, называемая также темпом обучения (learning rate). Будем выбирать прецеденты
по одному в случайном порядке, для каждого делать градиентный шаг и сразу обновлять вектор весов:
Вычислительный эксперимент
TODO
Исходный код
TODO
Смотри также
TODO
Литература
- К. В. Воронцов, Лекции по линейным алгоритмам классификации
- Bishop, C. Pattern Recognition And Machine Learning. Springer. 2006.
![]() | Данная статья является непроверенным учебным заданием.
До указанного срока статья не должна редактироваться другими участниками проекта MachineLearning.ru. По его окончании любой участник вправе исправить данную статью по своему усмотрению и удалить данное предупреждение, выводимое с помощью шаблона {{Задание}}. См. также методические указания по использованию Ресурса MachineLearning.ru в учебном процессе. |