Материал из MachineLearning.
Нейросеть
Однослойная нейросеть
Модель МакКаллока–Питтса. Пусть X - пространство объектов; Y - множество
допустимых ответов; y∗ : X → Y - целевая зависимость, известная только на объектах обучающей выборки ^l_{n=1}, y_i = y^*(x_i))
. Требуется построить алгоритм a: X → Y , аппроксимирующий целевую зависимость y∗ на всём множестве X.
Будем предполагать, что объекты описываются n числовыми признаками
. Вектор , . . . , f_n(x))\ge R)
называется признаковым описанием объекта x.
Модель МакКаллока и Питтса
Алгоритм принимает на вход вектор )
. Для простоты полагаем все признаки бинарными. Каждому нейрону соответствует вектор весов )
. вектор признаков скалярно перемножается с вектором весов. Если результат превышает 'порог активации', результат работы нейрона равен 1, иначе 0.
Введем дополнительный константный признак 
=\phi(\sum^{n}_{j=0} w_j x^j))
,где ![phi(z)=[z\ge 0]](../mimetex/?phi(z)=[z\ge 0])
.
Модель МакКалока-Питтса эквивалентна линейному пороговому классификатору.
Персептрон Розенблатта
Как и моделе МакКаллока-Питтса на вход подается вектор признаков x и мы имеем нейрон с вектором весов w.
Идея обучения: Если =y_i)
, то вектор весов не изменяется. Если =0, y_i=1)
, то вектор весов увеличивается, в случае наоборот - уменьшается.
Так как пока рассматриваются бинарные признаки, то верна формула:
-y_i)x_i)
Многослойная нейросеть
