Нейросеть

Материал из MachineLearning.

(Различия между версиями)
Перейти к: навигация, поиск
(→Персептрон Розенблатта)
(→Персептрон Розенблатта)
Строка 17: Строка 17:
====Персептрон Розенблатта====
====Персептрон Розенблатта====
Как и моделе МакКаллока-Питтса на вход подается вектор признаков x и мы имеем нейрон с вектором весов w.
Как и моделе МакКаллока-Питтса на вход подается вектор признаков x и мы имеем нейрон с вектором весов w.
-
Идея обучения: Если <tex>a(x_i)=y_i</tex>, то вектор весов не изменяется. Если <tex>a(x_i)=0, y_i=1</tex>, то вектор весов увеличивается, в случае наоборот - уменьшается.
+
Идея обучения: Если <tex>a(x_i)=y_i</tex>, то вектор весов не изменяется. Если <tex>a(x_i)=0, y_i=1</tex>, то вектор весов увеличивается, в случае наоборот - уменьшается.
Так как пока рассматриваются бинарные признаки, то верна формула:
Так как пока рассматриваются бинарные признаки, то верна формула:
-
<tex>w:=w-\etta(a(x_i)-y_i)x_i</tex>
+
<tex>w:=w-\eta(a(x_i)-y_i)x_i</tex>
===Многослойная нейросеть===
===Многослойная нейросеть===
{{STUB}}
{{STUB}}

Версия 20:25, 17 декабря 2008

Содержание

Нейросеть

Однослойная нейросеть

Модель МакКаллока–Питтса. Пусть X - пространство объектов; Y - множество допустимых ответов; y∗ : X → Y - целевая зависимость, известная только на объектах обучающей выборки X_l = (x_i, y_i)^l_{n=1}, y_i = y^*(x_i). Требуется построить алгоритм a: X → Y , аппроксимирующий целевую зависимость y∗ на всём множестве X. Будем предполагать, что объекты описываются n числовыми признаками f_j : X -> R, j = 1,\ldots, n. Вектор (f_1(x), . . . , f_n(x))\ge R называется признаковым описанием объекта x.

Модель МакКаллока и Питтса

Алгоритм принимает на вход вектор x=(x^1,\dots,x^n). Для простоты полагаем все признаки бинарными. Каждому нейрону соответствует вектор весов w=(w_1,w_2,\ldots,w_n). вектор признаков скалярно перемножается с вектором весов. Если результат превышает 'порог активации', результат работы нейрона равен 1, иначе 0. Введем дополнительный константный признак x_0=-1

a(x)=\phi(\sum^{n}_{j=0} w_j x^j),где phi(z)=[z\ge 0]. 

Модель МакКалока-Питтса эквивалентна линейному пороговому классификатору.

Персептрон Розенблатта

Как и моделе МакКаллока-Питтса на вход подается вектор признаков x и мы имеем нейрон с вектором весов w. Идея обучения: Если a(x_i)=y_i, то вектор весов не изменяется. Если a(x_i)=0, y_i=1, то вектор весов увеличивается, в случае наоборот - уменьшается. Так как пока рассматриваются бинарные признаки, то верна формула:

w:=w-\eta(a(x_i)-y_i)x_i

Многослойная нейросеть

Шаблон:STUB

Источник — «http://machinelearning.ru/wiki/index.php?title=%D0%9D%D0%B5%D0%B9%D1%80%D0%BE%D1%81%D0%B5%D1%82%D1%8C»
Личные инструменты