Правила Хэбба

Материал из MachineLearning.

(Различия между версиями)
Перейти к: навигация, поиск
Строка 1: Строка 1:
 +
Правило обучения для сети Хопфилда опирается на исследования Дональда Хебба (D.Hebb, 1949), который предположил, что синаптическая связь, соединяющая два нейрона будет усиливатьося, если в процессе обучения оба нейрона согласованно испытывают возбуждение либо торможение. Простой алгоритм, реализующий такой механизм обучения, получил название правила Хебба.
 +
=История=
 +
Персептрон Розенблатта в первоначальном его исполнении состоял из фотоэлементов, которые, в зависимости от поданного на них сигнала вырабатывали сигнал логической единицы, либо логического нуля.
 +
Сигналы с фотоэлементов поступали на взвешенный сумматор (элементарный процессор, искусственный нейрон) с пороговой функцией активации.
 +
Нейрон также выдавал сигнал логического нуля, либо логической единицы.
 +
Возможен вариант использования вместо {0,1} сигналов {-1,1}.
 +
 +
Цель обучения перцептрона состояла в том, чтобы при подаче на фотоэлементы закодированного образа на его выходе появлялась логическая единица в случае принадлежности поданного образа к заранее определенному классу и ноль в противном случае.
 +
Логика обучения следующая: если сигнал персептрона при некотором образе верен, то ничего корректировать не надо, если нет — производится корректировка весов сумматора. Правила корректировки весов предложены Хеббом в 1949 году и имеют следующий смысл:
 +
* Первое правило Хебба — ''Если сигнал персептрона неверен и равен нулю, то необходимо увеличить веса тех входов, на которые была подана единица.''
 +
* Второе правило Хебба — ''Если сигнал персептрона неверен и равен единице, то необходимо уменьшить веса тех входов, на которые была подана единица.''
 +
 +
Правила применяются последовательно для всех образов, на которых производится обучение. На вопрос о том, придет ли персептрон к устойчивому состоянию, когда он будет корректно классифицировать все входные образы отвечает [[теорема сходимости перцептрона|теорема Новикова]].
 +
 +
=Математическая постановка=
 +
Иногда удобнее полагать, что классы помечены числами −1 и 1,а нейрон выдаёт знак скалярного произведения:
 +
<center><tex>a(x)=sign(\langle\omega, x\rangle)</tex></center>
 +
Тогда несовпадение знаков <tex>\langle\omega, x\rangle</tex> и y<sub>i</sub> означает, что нейрон ошибается на объекте x<sub>i</sub>.
 +
<center>'''если''' <tex>\langle\omega, x\rangle y_i <0</tex>, '''то''' <tex>\omega = \omega +\eta x_ig_i</tex></center>
 +
называемое правилом Хэбба.
= См. также =
= См. также =

Версия 14:09, 6 января 2010

Правило обучения для сети Хопфилда опирается на исследования Дональда Хебба (D.Hebb, 1949), который предположил, что синаптическая связь, соединяющая два нейрона будет усиливатьося, если в процессе обучения оба нейрона согласованно испытывают возбуждение либо торможение. Простой алгоритм, реализующий такой механизм обучения, получил название правила Хебба.

Содержание

История

Персептрон Розенблатта в первоначальном его исполнении состоял из фотоэлементов, которые, в зависимости от поданного на них сигнала вырабатывали сигнал логической единицы, либо логического нуля. Сигналы с фотоэлементов поступали на взвешенный сумматор (элементарный процессор, искусственный нейрон) с пороговой функцией активации. Нейрон также выдавал сигнал логического нуля, либо логической единицы. Возможен вариант использования вместо {0,1} сигналов {-1,1}.

Цель обучения перцептрона состояла в том, чтобы при подаче на фотоэлементы закодированного образа на его выходе появлялась логическая единица в случае принадлежности поданного образа к заранее определенному классу и ноль в противном случае. Логика обучения следующая: если сигнал персептрона при некотором образе верен, то ничего корректировать не надо, если нет — производится корректировка весов сумматора. Правила корректировки весов предложены Хеббом в 1949 году и имеют следующий смысл:

  • Первое правило Хебба — Если сигнал персептрона неверен и равен нулю, то необходимо увеличить веса тех входов, на которые была подана единица.
  • Второе правило Хебба — Если сигнал персептрона неверен и равен единице, то необходимо уменьшить веса тех входов, на которые была подана единица.

Правила применяются последовательно для всех образов, на которых производится обучение. На вопрос о том, придет ли персептрон к устойчивому состоянию, когда он будет корректно классифицировать все входные образы отвечает теорема Новикова.

Математическая постановка

Иногда удобнее полагать, что классы помечены числами −1 и 1,а нейрон выдаёт знак скалярного произведения:

a(x)=sign(\langle\omega, x\rangle)

Тогда несовпадение знаков \langle\omega, x\rangle и yi означает, что нейрон ошибается на объекте xi.

если \langle\omega, x\rangle y_i <0, то \omega = \omega +\eta x_ig_i

называемое правилом Хэбба.

См. также

Литература

  1. Машинное обучение (курс лекций, К.В.Воронцов)

Ссылки


Данная статья является непроверенным учебным заданием.
Студент: Участник:Platonova.Elena
Преподаватель: Участник:Константин Воронцов
Срок: 8 января 2010

До указанного срока статья не должна редактироваться другими участниками проекта MachineLearning.ru. По его окончании любой участник вправе исправить данную статью по своему усмотрению и удалить данное предупреждение, выводимое с помощью шаблона {{Задание}}.

См. также методические указания по использованию Ресурса MachineLearning.ru в учебном процессе.


Источник — «http://machinelearning.ru/wiki/index.php?title=%D0%9F%D1%80%D0%B0%D0%B2%D0%B8%D0%BB%D0%B0_%D0%A5%D1%8D%D0%B1%D0%B1%D0%B0»
Личные инструменты