Адаптивный линейный элемент

Материал из MachineLearning.

Данная статья является непроверенным учебным заданием. Студент: Участник:Головин Антон Преподаватель: Участник:Константин Воронцов Срок: 8 января 2010 До указанного срока статья не должна редактироваться другими участниками проекта MachineLearning.ru. По его окончании любой участник вправе исправить данную статью по своему усмотрению и удалить данное предупреждение, выводимое с помощью шаблона {{Задание}}. См. также методические указания по использованию Ресурса MachineLearning.ru в учебном процессе.

Адаптивный линейный элемент(Адаптивный линейный нейрон или ADALINE) - частный случай линейного классификатора или искусственной нейронной сети с одним слоем. Был предложен Видроу и Хоффом в 1960 году, развивая математическую модель нейрона МакКаллока–Питтса.

Общая схема работы ADALINE

Схема работы ADALINE несколько напоминает работу биологического нейрона:

На вход подаётся вектор импульсов x_n ,состоящий из n числовых признаков. Внутри нейрона импульсы складываются с некоторыми весами w_j, j = 1..n и, если суммарный импульс S(x) = превысит порог активации w₀, то нейрон возбуждается и выдаёт некоторое значение a(x) = S(x) - w₀.

Если добавить фиктивный импульс-признак x₀ ≡ -1 и ему сопоставить вес w₀ - порог активации, то формулу выхода Y(x) можно выписать более компактно:
a(x) =(w,x) , где (w,x) - скалярное произведение, w и x - векторы весов и импульсов-признаков соответственно.

Схема обучения ADALINE

Пусть дана обучающая выборка: множество входных значений X и множество выходящих значений Y, такие что каждому входу x_j соответствует y_j - выход, j = 1..l. Необходимо по этим данным построить ADALINE, которая допускает наименьшее количество ошибок на этой обучающей выборке. Обучение ADALINE заключается в подборе "наилучших" значений вектора весов w. Какие значение весов лучше определяет функционал потерь.В ADALINE используется функционал, предложенный Видроу и Хоффом, L(a,x) = (a - y)². Необходимо минимизировать

Связь обучения ADALINE с Stochastic Gradient

Схема обучения ADALINE соответствует схеме обучения линейного классификатора методом стохастического градиента c линейной функцией активации φ(z) = z и квадратичной функцией потерь L(a,x) = (a - y)².