Правила Хэбба

Материал из MachineLearning.

(Различия между версиями)
Перейти к: навигация, поиск
(Математическая формулировка)
(Более принятое название -- в единственном числе)
 
Строка 1: Строка 1:
-
В 1949 физиолог Дональд Олдингс Хебб написал книгу "Организация сознания". В этой книге он попытался объяснить, как нейроны человеческого мозга могут обучаться. Его теория получила впоследствии название "Обучение Хебба". В основе правил обучения для [[сети Хопфилда]] легли именно исследования Дональда Хэбба.
+
#REDIRECT [[Правило Хэбба]]
-
 
+
-
=История=
+
-
[[Перcептрон Розенблатта]] в первоначальном его исполнении состоял из фотоэлементов, которые, в зависимости от поданного на них сигнала вырабатывали сигнал логической единицы, либо логического нуля.
+
-
Сигналы с фотоэлементов поступали на взвешенный сумматор (элементарный процессор, искусственный нейрон) с пороговой функцией активации.
+
-
Нейрон также выдавал сигнал логического нуля, либо логической единицы.
+
-
Возможен вариант использования вместо {0,1} сигналов {-1,1}.
+
-
 
+
-
Цель обучения перцептрона состояла в том, чтобы при подаче на фотоэлементы закодированного образа на его выходе появлялась логическая единица в случае принадлежности поданного образа к заранее определенному классу и ноль в противном случае.
+
-
Логика обучения следующая: если сигнал персептрона при некотором образе верен, то ничего корректировать не надо, если нет — производится корректировка весов сумматора. Правила корректировки весов предложенные Хеббом имеют следующий смысл:
+
-
* Первое правило Хебба — ''Если сигнал персептрона неверен и равен нулю, то необходимо увеличить веса тех входов, на которые была подана единица.''
+
-
* Второе правило Хебба — ''Если сигнал персептрона неверен и равен единице, то необходимо уменьшить веса тех входов, на которые была подана единица.''
+
-
 
+
-
Правила применяются последовательно для всех образов, на которых производится обучение. На вопрос о том, придет ли персептрон к устойчивому состоянию, когда он будет корректно классифицировать все входные образы отвечает [[теорема Новикова|теорема сходимости персептрона]].
+
-
 
+
-
=Математическая формулировка=
+
-
Будем полагать, что классы помечены числами 0 и 1:
+
-
<center><tex>a(x)=\bigl[ \langle\omega, x\rangle > 0 \bigr]</tex></center>
+
-
где &omega; - вектор синаптических весов, x<sub>i</sub> = (x<sub>i</sub><sup></sup>, &hellip;, x<sub>i</sub><sup>n</sup>) объект из обучающей выборки прецентдентов X<sup>L</sup> = {x<sub>1</sub>, &hellip;, x<sub>n</sub>}, для которого известен правильный ответ y<sub>i</sub>.
+
-
 
+
-
Персептрон обучают по правилу Хебба.
+
-
Предъявляем на вход один объект.
+
-
Если выходной сигнал персептрона совпадает с правильным ответом, то никаких действий предпринимать не надо.
+
-
В случае ошибки необходимо обучить персептрон правильно решать данный пример.
+
-
 
+
-
Ошибки могут быть двух типов. Рассмотрим каждый из них.
+
-
 
+
-
'''Первый тип ошибки''': на выходе персептрона a(x<sub>i</sub>) = 0, правильный ответ y<sub>i</sub>=1.
+
-
 
+
-
Для того, чтобы персептрон выдавал правильный ответ необходимо, чтобы скалярное произведение стало больше. Поскольку переменные принимают значения 0 или 1, увеличение суммы может быть достигнуто за счет увеличения весов.
+
-
Однако нет смысла увеличивать веса при переменных , которые равны нулю. Увеличиваем веса только при тех, которые равны 1. Для закрепления единичных сигналов с &omega;, следует провести ту же процедуру и на всех остальных слоях.
+
-
 
+
-
В этом и заключается первое правило Хэбба.
+
-
 
+
-
'''Второй тип ошибки''': a(x<sub>i</sub>) =1, y<sub>i</sub>=0.
+
-
 
+
-
Для уменьшения скалярного произведения в правой части, необходимо уменьшить веса связей при тех переменных , которые равны 1. Необходимо также провести эту процедуру для всех активных нейронов предыдущих слоев.
+
-
 
+
-
Отсюда следует второе правило Хэбба.
+
-
 
+
-
= См. также =
+
-
* [[Персептрон]]
+
-
* [[Теорема Новикова]]
+
-
* [[Перcептрон Розенблатта]]
+
-
* [[Модель МакКаллока-Питтса]]
+
-
* [[Адаптивный линейный элемент]]
+
-
* [[Искусственная нейронная сеть]]
+
-
 
+
-
=Литература=
+
-
#[[Машинное обучение (курс лекций, К.В.Воронцов)]]
+
-
#Hebb D.O. — The Organization of Behavior. John Wiley & Sons, New York, 1949
+
-
#Л. Н. Ясницкий — Введение в искусственный интеллект. — с.30-32
+
-
#[http://window.edu.ru/window_catalog/redir?id=28836&file=tsure062.pdf| Ю.А.Брюхомицкий Нейросетевые модели для систем информационной безопасности]
+
-
 
+
-
=Ссылки=
+
-
*[http://www.gotai.net/documents/doc-nn-009-02.aspx www.gotai.net]
+
-
*[http://ru.wikipedia.org/wiki/Дельта-правило#.D0.9F.D1.80.D0.B8.D0.BC.D0.B5.D1.87.D0.B0.D0.BD.D0.B8.D1.8F ru.wikipedia.org]
+
-
*[http://www.softcraft.ru/neuro/ni/p13.shtml www.softcraft.ru]
+
-
 
+
-
 
+
-
[[Категория:Энциклопедия анализа данных]]
+
-
[[Категория:Машинное обучение]]
+
-
[[Категория:Нейронные сети]]
+
-
 
+
-
{{Задание|Platonova.Elena|Константин Воронцов|8 января 2010}}
+

Текущая версия

  1. REDIRECT Правило Хэбба
Личные инструменты