Правила Хэбба
Материал из MachineLearning.
Строка 15: | Строка 15: | ||
=Математическая формулировка= | =Математическая формулировка= | ||
- | Будем полагать, что классы помечены числами | + | Будем полагать, что классы помечены числами 0 и 1: |
- | <center><tex>a(x)= | + | <center><tex>a(x)=\bigl[ \langle\omega, x\rangle > 0 \bigr]</tex></center> |
где ω - вектор синаптических весов, x<sub>i</sub> = (x<sub>i</sub><sup></sup>, …, x<sub>i</sub><sup>n</sup>) объект из обучающей выборки прецентдентов X<sup>L</sup> = {x<sub>1</sub>, …, x<sub>n</sub>}, для которого известен правильный ответ y<sub>i</sub>. | где ω - вектор синаптических весов, x<sub>i</sub> = (x<sub>i</sub><sup></sup>, …, x<sub>i</sub><sup>n</sup>) объект из обучающей выборки прецентдентов X<sup>L</sup> = {x<sub>1</sub>, …, x<sub>n</sub>}, для которого известен правильный ответ y<sub>i</sub>. | ||
Строка 26: | Строка 26: | ||
Ошибки могут быть двух типов. Рассмотрим каждый из них. | Ошибки могут быть двух типов. Рассмотрим каждый из них. | ||
- | '''Первый тип ошибки''' | + | '''Первый тип ошибки''': на выходе персептрона a(x<sub>i</sub>) = 0, правильный ответ y<sub>i</sub>=1. |
Для того, чтобы персептрон выдавал правильный ответ необходимо, чтобы скалярное произведение стало больше. Поскольку переменные принимают значения 0 или 1, увеличение суммы может быть достигнуто за счет увеличения весов. | Для того, чтобы персептрон выдавал правильный ответ необходимо, чтобы скалярное произведение стало больше. Поскольку переменные принимают значения 0 или 1, увеличение суммы может быть достигнуто за счет увеличения весов. | ||
Строка 33: | Строка 33: | ||
В этом и заключается первое правило Хэбба. | В этом и заключается первое правило Хэбба. | ||
- | '''Второй тип ошибки''' | + | '''Второй тип ошибки''': a(x<sub>i</sub>) =1, y<sub>i</sub>=0. |
Для уменьшения скалярного произведения в правой части, необходимо уменьшить веса связей при тех переменных , которые равны 1. Необходимо также провести эту процедуру для всех активных нейронов предыдущих слоев. | Для уменьшения скалярного произведения в правой части, необходимо уменьшить веса связей при тех переменных , которые равны 1. Необходимо также провести эту процедуру для всех активных нейронов предыдущих слоев. | ||
Строка 54: | Строка 54: | ||
=Ссылки= | =Ссылки= | ||
- | *[http://www.gotai.net/documents/doc-nn-009-02.aspx| www.gotai.net] | + | *[http://www.gotai.net/documents/doc-nn-009-02.aspx | www.gotai.net] |
- | *[http://ru.wikipedia.org/wiki/Дельта-правило#.D0.9F.D1.80.D0.B8.D0.BC.D0.B5.D1.87.D0.B0.D0.BD.D0.B8.D1.8F| ru.wikipedia.org] | + | *[http://ru.wikipedia.org/wiki/Дельта-правило#.D0.9F.D1.80.D0.B8.D0.BC.D0.B5.D1.87.D0.B0.D0.BD.D0.B8.D1.8F | ru.wikipedia.org] |
- | *[http://www.softcraft.ru/neuro/ni/p13.shtml| www.softcraft.ru] | + | *[http://www.softcraft.ru/neuro/ni/p13.shtml | www.softcraft.ru] |
Версия 23:05, 6 января 2010
В 1949 физиолог Дональд Олдингс Хебб написал книгу "Организация сознания". В этой книге он попытался объяснить, как нейроны человеческого мозга могут обучаться. Его теория получила впоследствии название "Обучение Хебба". В основе правил обучения для сети Хопфилда легли именно исследования Дональда Хэбба.
Содержание |
История
Перcептрон Розенблатта в первоначальном его исполнении состоял из фотоэлементов, которые, в зависимости от поданного на них сигнала вырабатывали сигнал логической единицы, либо логического нуля. Сигналы с фотоэлементов поступали на взвешенный сумматор (элементарный процессор, искусственный нейрон) с пороговой функцией активации. Нейрон также выдавал сигнал логического нуля, либо логической единицы. Возможен вариант использования вместо {0,1} сигналов {-1,1}.
Цель обучения перцептрона состояла в том, чтобы при подаче на фотоэлементы закодированного образа на его выходе появлялась логическая единица в случае принадлежности поданного образа к заранее определенному классу и ноль в противном случае. Логика обучения следующая: если сигнал персептрона при некотором образе верен, то ничего корректировать не надо, если нет — производится корректировка весов сумматора. Правила корректировки весов предложенные Хеббом имеют следующий смысл:
- Первое правило Хебба — Если сигнал персептрона неверен и равен нулю, то необходимо увеличить веса тех входов, на которые была подана единица.
- Второе правило Хебба — Если сигнал персептрона неверен и равен единице, то необходимо уменьшить веса тех входов, на которые была подана единица.
Правила применяются последовательно для всех образов, на которых производится обучение. На вопрос о том, придет ли персептрон к устойчивому состоянию, когда он будет корректно классифицировать все входные образы отвечает теорема сходимости перцептрона.
Математическая формулировка
Будем полагать, что классы помечены числами 0 и 1:
где ω - вектор синаптических весов, xi = (xi, …, xin) объект из обучающей выборки прецентдентов XL = {x1, …, xn}, для которого известен правильный ответ yi.
Персептрон обучают по правилу Хебба. Предъявляем на вход один объект. Если выходной сигнал персептрона совпадает с правильным ответом, то никаких действий предпринимать не надо. В случае ошибки необходимо обучить персептрон правильно решать данный пример.
Ошибки могут быть двух типов. Рассмотрим каждый из них.
Первый тип ошибки: на выходе персептрона a(xi) = 0, правильный ответ yi=1.
Для того, чтобы персептрон выдавал правильный ответ необходимо, чтобы скалярное произведение стало больше. Поскольку переменные принимают значения 0 или 1, увеличение суммы может быть достигнуто за счет увеличения весов. Однако нет смысла увеличивать веса при переменных , которые равны нулю. Увеличиваем веса только при тех, которые равны 1. Для закрепления единичных сигналов с ω, следует провести ту же процедуру и на всех остальных слоях.
В этом и заключается первое правило Хэбба.
Второй тип ошибки: a(xi) =1, yi=0.
Для уменьшения скалярного произведения в правой части, необходимо уменьшить веса связей при тех переменных , которые равны 1. Необходимо также провести эту процедуру для всех активных нейронов предыдущих слоев.
Отсюда второе правило Хэбба.
См. также
- Персептрон
- Теорема Новикова
- Перcептрон Розенблатта
- Модель МакКаллока-Питтса
- Адаптивный линейный элемент
- Искусственная нейронная сеть
Литература
- Машинное обучение (курс лекций, К.В.Воронцов)
- Hebb D.O. — The Organization of Behavior. John Wiley & Sons, New York, 1949
- Л. Н. Ясницкий — Введение в искусственный интеллект. — с.30-32
- Ю.А.Брюхомицкий Нейросетевые модели для систем информационной безопасности
Ссылки
![]() | Данная статья является непроверенным учебным заданием.
До указанного срока статья не должна редактироваться другими участниками проекта MachineLearning.ru. По его окончании любой участник вправе исправить данную статью по своему усмотрению и удалить данное предупреждение, выводимое с помощью шаблона {{Задание}}. См. также методические указания по использованию Ресурса MachineLearning.ru в учебном процессе. |