Нейросеть

Материал из MachineLearning.

(Различия между версиями)
Перейти к: навигация, поиск
(Новая: ==Нейросеть== ===Однослойная нейросеть=== Модель МакКаллока–Питтса. Пусть X � пространство объектов; Y ...)
(викификация)
 
(9 промежуточных версий не показаны.)
Строка 2: Строка 2:
===Однослойная нейросеть===
===Однослойная нейросеть===
-
Модель МакКаллока–Питтса. Пусть X � пространство объектов; Y � множество
+
Модель МакКаллока–Питтса. Пусть X - пространство объектов; Y - множество
-
допустимых ответов; y∗ : X → Y � целевая зависимость, известная только на объек-
+
допустимых ответов; y∗ : X → Y - целевая зависимость, известная только на объектах обучающей выборки <tex> X_l = (x_i, y_i)^l_{n=1}, y_i = y^*(x_i)</tex>. Требуется построить алгоритм a: X → Y , аппроксимирующий целевую зависимость y∗ на всём множестве X.
-
тах обучающей выборки Xℓ = (xi, yi)ℓi=1, yi = y∗(xi). Требуется построить алгоритм
+
-
a: X → Y , аппроксимирующий целевую зависимость y∗ на всём множестве X.
+
Будем предполагать, что объекты описываются n числовыми признаками
Будем предполагать, что объекты описываются n числовыми признаками
-
fj : X → R, j = 1, . . . , n. Вектор (f1(x), . . . , fn(x))∈ Rn называется признаковым
+
<tex>f_j : X -> R, j = 1,\ldots, n</tex>. Вектор <tex>(f_1(x), . . . , f_n(x))\ge R</tex> называется признаковым описанием объекта x.
-
описанием объекта x.
+
 
====Модель МакКаллока и Питтса====
====Модель МакКаллока и Питтса====
-
Алгоритм принимает на вход вектор <tex>x=(x^1,\dots,x^n)</tex>. Для простоты полагаем все признаки бинарными. Каждому нейрону соответствует вектор весов <tex>w=(w_1,w_2,\dota,w_n)</tex>. вектор признаков скалярно перемножается с вектором весов. Если результат превышает 'порог активации', результат работы нейрона равен 1, иначе 0.
+
Алгоритм принимает на вход вектор <tex>x=(x^1,\dots,x^n)</tex>. Для простоты полагаем все признаки бинарными. Каждому нейрону соответствует вектор весов <tex>w=(w_1,w_2,\ldots,w_n)</tex>. вектор признаков скалярно перемножается с вектором весов. Если результат превышает 'порог активации', результат работы нейрона равен 1, иначе 0.
 +
Введем дополнительный константный признак <tex>x_0=-1</tex>
-
<tex>a(x)=\phi(\sum^n_j=1)</tex>
+
<tex>a(x)=\phi(\sum^{n}_{j=0} w_j x^j)</tex>,где <tex>phi(z)=[z\ge 0]</tex>.
 +
 
 +
Модель МакКалока-Питтса эквивалентна линейному пороговому классификатору.
 +
 
 +
====Персептрон Розенблатта====
 +
Как и моделе МакКаллока-Питтса на вход подается вектор признаков x и мы имеем нейрон с вектором весов w.
 +
Идея обучения: Если <tex>a(x_i)=y_i</tex>, то вектор весов не изменяется. Если <tex>a(x_i)=0, y_i=1</tex>, то вектор весов увеличивается, в случае наоборот - уменьшается.
 +
Так как пока рассматриваются бинарные признаки, то верна формула:
 +
 
 +
<tex>w:=w-\eta(a(x_i)-y_i)x_i</tex>
===Многослойная нейросеть===
===Многослойная нейросеть===
 +
 +
{{Stub}}
 +
 +
[[Категория:Машинное обучение]]
 +
[[Категория:Нейронные сети]]

Текущая версия

Содержание

Нейросеть

Однослойная нейросеть

Модель МакКаллока–Питтса. Пусть X - пространство объектов; Y - множество допустимых ответов; y∗ : X → Y - целевая зависимость, известная только на объектах обучающей выборки X_l = (x_i, y_i)^l_{n=1}, y_i = y^*(x_i). Требуется построить алгоритм a: X → Y , аппроксимирующий целевую зависимость y∗ на всём множестве X. Будем предполагать, что объекты описываются n числовыми признаками f_j : X -> R, j = 1,\ldots, n. Вектор (f_1(x), . . . , f_n(x))\ge R называется признаковым описанием объекта x.

Модель МакКаллока и Питтса

Алгоритм принимает на вход вектор x=(x^1,\dots,x^n). Для простоты полагаем все признаки бинарными. Каждому нейрону соответствует вектор весов w=(w_1,w_2,\ldots,w_n). вектор признаков скалярно перемножается с вектором весов. Если результат превышает 'порог активации', результат работы нейрона равен 1, иначе 0. Введем дополнительный константный признак x_0=-1

a(x)=\phi(\sum^{n}_{j=0} w_j x^j),где phi(z)=[z\ge 0].

Модель МакКалока-Питтса эквивалентна линейному пороговому классификатору.

Персептрон Розенблатта

Как и моделе МакКаллока-Питтса на вход подается вектор признаков x и мы имеем нейрон с вектором весов w. Идея обучения: Если a(x_i)=y_i, то вектор весов не изменяется. Если a(x_i)=0, y_i=1, то вектор весов увеличивается, в случае наоборот - уменьшается. Так как пока рассматриваются бинарные признаки, то верна формула:

w:=w-\eta(a(x_i)-y_i)x_i

Многослойная нейросеть

Источник — «http://machinelearning.ru/wiki/index.php?title=%D0%9D%D0%B5%D0%B9%D1%80%D0%BE%D1%81%D0%B5%D1%82%D1%8C»
Личные инструменты