Нейросеть

Материал из MachineLearning.

(Различия между версиями)
Перейти к: навигация, поиск
(→Однослойная нейросеть)
(→Однослойная нейросеть)
Строка 5: Строка 5:
допустимых ответов; y∗ : X → Y - целевая зависимость, известная только на объектах обучающей выборки <tex> X_l = (x_i, y_i)^l_{n=1}, y_i = y^*(x_i)</tex>. Требуется построить алгоритм a: X → Y , аппроксимирующий целевую зависимость y∗ на всём множестве X.
допустимых ответов; y∗ : X → Y - целевая зависимость, известная только на объектах обучающей выборки <tex> X_l = (x_i, y_i)^l_{n=1}, y_i = y^*(x_i)</tex>. Требуется построить алгоритм a: X → Y , аппроксимирующий целевую зависимость y∗ на всём множестве X.
Будем предполагать, что объекты описываются n числовыми признаками
Будем предполагать, что объекты описываются n числовыми признаками
-
<tex>f_j : X → R, j = 1,\ldots, n</tex>. Вектор <tex>(f_1(x), . . . , f_n(x))∈ R</tex> называется признаковым описанием объекта x.
+
<tex>f_j : X -> R, j = 1,\ldots, n</tex>. Вектор <tex>(f_1(x), . . . , f_n(x))\ge R</tex> называется признаковым описанием объекта x.
====Модель МакКаллока и Питтса====
====Модель МакКаллока и Питтса====
Алгоритм принимает на вход вектор <tex>x=(x^1,\dots,x^n)</tex>. Для простоты полагаем все признаки бинарными. Каждому нейрону соответствует вектор весов <tex>w=(w_1,w_2,\ldots,w_n)</tex>. вектор признаков скалярно перемножается с вектором весов. Если результат превышает 'порог активации', результат работы нейрона равен 1, иначе 0.
Алгоритм принимает на вход вектор <tex>x=(x^1,\dots,x^n)</tex>. Для простоты полагаем все признаки бинарными. Каждому нейрону соответствует вектор весов <tex>w=(w_1,w_2,\ldots,w_n)</tex>. вектор признаков скалярно перемножается с вектором весов. Если результат превышает 'порог активации', результат работы нейрона равен 1, иначе 0.
 +
Введем дополнительный константный признак <tex>x_0=-1</tex>
-
<tex>a(x)=\phi(\sum^{n}_{j=1} w_j x^j-w_0)</tex>
+
<tex>a(x)=\phi(\sum^{n}_{j=0} w_j x^j)</tex>,где <tex>phi(z)=[z\ge 0]</tex>.
-
+
 
-
где <tex>phi(z)=[z\me 0]</tex>
+
Модель МакКалока-Питтса эквивалентна линейному пороговому классификатору.
 +
 
 +
====Персептрон Розенблатта====
 +
Как и моделе МакКаллока-Питтса на вход подается вектор признаков x и мы имеем нейрон с вектором весов w.
 +
Идея обучения: Если <tex>a(x_i)=y_i</tex>, то вектор весов не изменяется. Если <tex>a(x_i)=0, y_i=1</tex>, то вектор весов увеличивается, в случае наоборот - уменьшается.
 +
Так как пока рассматриваются бинарные признаки, то верна формула:
 +
 
 +
<tex>w:=w-\tetta(a(x_i)-y_i)x_i</tex>
===Многослойная нейросеть===
===Многослойная нейросеть===
{{STUB}}
{{STUB}}

Версия 20:20, 17 декабря 2008

Содержание

Нейросеть

Однослойная нейросеть

Модель МакКаллока–Питтса. Пусть X - пространство объектов; Y - множество допустимых ответов; y∗ : X → Y - целевая зависимость, известная только на объектах обучающей выборки X_l = (x_i, y_i)^l_{n=1}, y_i = y^*(x_i). Требуется построить алгоритм a: X → Y , аппроксимирующий целевую зависимость y∗ на всём множестве X. Будем предполагать, что объекты описываются n числовыми признаками f_j : X -> R, j = 1,\ldots, n. Вектор (f_1(x), . . . , f_n(x))\ge R называется признаковым описанием объекта x.

Модель МакКаллока и Питтса

Алгоритм принимает на вход вектор x=(x^1,\dots,x^n). Для простоты полагаем все признаки бинарными. Каждому нейрону соответствует вектор весов w=(w_1,w_2,\ldots,w_n). вектор признаков скалярно перемножается с вектором весов. Если результат превышает 'порог активации', результат работы нейрона равен 1, иначе 0. Введем дополнительный константный признак x_0=-1

a(x)=\phi(\sum^{n}_{j=0} w_j x^j),где phi(z)=[z\ge 0]. 

Модель МакКалока-Питтса эквивалентна линейному пороговому классификатору.

Персептрон Розенблатта

Как и моделе МакКаллока-Питтса на вход подается вектор признаков x и мы имеем нейрон с вектором весов w. Идея обучения: Если a(x_i)=y_i, то вектор весов не изменяется. Если a(x_i)=0, y_i=1, то вектор весов увеличивается, в случае наоборот - уменьшается. Так как пока рассматриваются бинарные признаки, то верна формула:

w:=w-\tetta(a(x_i)-y_i)x_i

Многослойная нейросеть

Шаблон:STUB

Источник — «http://machinelearning.ru/wiki/index.php?title=%D0%9D%D0%B5%D0%B9%D1%80%D0%BE%D1%81%D0%B5%D1%82%D1%8C»
Личные инструменты