Модель МакКаллока-Питтса
Материал из MachineLearning.
| Строка 1: | Строка 1: | ||
| + | Первой формальной моделью нейронных сетей (НС) была модель МакКаллока-Питтса, уточненная и развитая Клини. Впервые было установлено, что НС могут выполнять любые логические операции и вообще любые преобразования, реализуемые дискретными устройствами с конечной памятью. Эта модель легла в основу теории логических сетей и конечных автоматов и активно использовалась психологами и нейрофизиологами при моделировании некоторых локальных процессов нервной деятельности. В силу своей дискретности она вполне согласуется с компьютерной парадигмой и, более того, служит её "нейронным фундаментом". Но при этом она содержит существенные возможности своего расширения за счет максимального использования параметрических и пороговых свойств нейрона. | ||
| + | |||
| + | =Устройство модели= | ||
| + | [[Изображение:рис1.png|300px|thumb|Рис.1 модель нейрона МакКалока-Питтса]] | ||
| + | Пусть имеется <tex>n</tex> входных величин x<sub>1</sub>,…,x<sub>n</sub> бинарных признаков, описывающих объект <tex>x</tex>. | ||
| + | Значения этих признаков будем трактовать как величины импульсов, поступающих на вход нейрона через <tex>n</tex> входных синапсов. | ||
| + | Будем считать, что, попадая в нейрон, импульсы складываются с весами ω<sub>1</sub>,…,ω<sub>n</sub>. | ||
| + | |||
| + | Если вес положительный, то соответствующий синапс возбуждающий, если отрицательный, то тормозящий. | ||
| + | Если суммарный импульс превышает заданный порог активации ω<sub>0</sub>, то нейрон возбуждается и выдаёт на выходе 1, иначе выдаётся 0. | ||
| + | |||
| + | Таким образом, нейрон вычисляет n-арную булеву функцию | ||
| + | <center><tex>a(x) = \varphi(\sum \omega_jx^j - \omega_0)</tex></center> | ||
| + | где <tex>\varphi(z) = [z \ge 0]</tex> - ступенчатая функция Хевисайда. | ||
| + | В теории нейронных сетей функцию φ, преобразующую значение суммарного импульса в выходное значение нейрона, принято называть функцией активации. | ||
| + | Таким образом, модель МакКаллока-Питтса эквивалентна линейному пороговому | ||
| + | классификатору. | ||
| + | |||
| + | =Достижения модели= | ||
| + | Теоретические основы нейроматематики были заложены в начале 40-х годов. | ||
| + | В 1943 году У. Маккалок и его ученик У. Питтс сформулировали основные положения теории деятельности головного мозга. | ||
| + | |||
| + | Ими были получены следующие результаты: | ||
| + | *разработана модель нейрона как простейшего процессорного элемента, выполняющего вычисление переходной функции от скалярного *произведения вектора входных сигналов и вектора весовых коэффициентов; | ||
| + | *предложена конструкция сети таких элементов для выполнения логических и арифметических операций; | ||
| + | *сделано основополагающее предположение о том, что такая сеть способна обучаться, распознавать образы, обобщать полученную информацию. | ||
| + | |||
| + | =Недостатки модели= | ||
| + | Несмотря на то, что за прошедшие годы нейроматематика ушла далеко вперед, многие утверждения Макклоха остаются актуальными и поныне. В частности, при большом разнообразии моделей нейронов принцип их действия, заложенный Макклохом и Питтсом, остается неизменным. Недостатком данной модели является сама модель нейрона "пороговой" вид переходной функции. В формализме У. Маккалока-Питтса нейроны имеют состояния 0, 1 и пороговую логику перехода из состояния в состояние. Каждый нейрон в сети определяет взвешенную сумму состояний всех других нейронов и сравнивает ее с порогом, чтобы определить свое собственное состояние. | ||
| + | |||
| + | Пороговый вид функции не предоставляет нейронной сети достаточную гибкость при обучении и настройке на заданную задачу. Если значение вычисленного скалярного произведения, даже незначительно, не достигает до заданного порога, то выходной сигнал не формируется вовсе и нейрон "не срабатывает". Это значит, что теряется интенсивность выходного сигнала (аксона) данного нейрона и, следовательно, формируется невысокое значение уровня на взвешенных входах в следующем слое нейронов. | ||
| + | |||
| + | |||
{{Задание|Platonova.Elena|Константин Воронцов|8 января 2010}} | {{Задание|Platonova.Elena|Константин Воронцов|8 января 2010}} | ||
Версия 01:29, 6 января 2010
Первой формальной моделью нейронных сетей (НС) была модель МакКаллока-Питтса, уточненная и развитая Клини. Впервые было установлено, что НС могут выполнять любые логические операции и вообще любые преобразования, реализуемые дискретными устройствами с конечной памятью. Эта модель легла в основу теории логических сетей и конечных автоматов и активно использовалась психологами и нейрофизиологами при моделировании некоторых локальных процессов нервной деятельности. В силу своей дискретности она вполне согласуется с компьютерной парадигмой и, более того, служит её "нейронным фундаментом". Но при этом она содержит существенные возможности своего расширения за счет максимального использования параметрических и пороговых свойств нейрона.
Устройство модели
Пусть имеется входных величин x1,…,xn бинарных признаков, описывающих объект
.
Значения этих признаков будем трактовать как величины импульсов, поступающих на вход нейрона через
входных синапсов.
Будем считать, что, попадая в нейрон, импульсы складываются с весами ω1,…,ωn.
Если вес положительный, то соответствующий синапс возбуждающий, если отрицательный, то тормозящий. Если суммарный импульс превышает заданный порог активации ω0, то нейрон возбуждается и выдаёт на выходе 1, иначе выдаётся 0.
Таким образом, нейрон вычисляет n-арную булеву функцию
где - ступенчатая функция Хевисайда.
В теории нейронных сетей функцию φ, преобразующую значение суммарного импульса в выходное значение нейрона, принято называть функцией активации.
Таким образом, модель МакКаллока-Питтса эквивалентна линейному пороговому
классификатору.
Достижения модели
Теоретические основы нейроматематики были заложены в начале 40-х годов. В 1943 году У. Маккалок и его ученик У. Питтс сформулировали основные положения теории деятельности головного мозга.
Ими были получены следующие результаты:
- разработана модель нейрона как простейшего процессорного элемента, выполняющего вычисление переходной функции от скалярного *произведения вектора входных сигналов и вектора весовых коэффициентов;
- предложена конструкция сети таких элементов для выполнения логических и арифметических операций;
- сделано основополагающее предположение о том, что такая сеть способна обучаться, распознавать образы, обобщать полученную информацию.
Недостатки модели
Несмотря на то, что за прошедшие годы нейроматематика ушла далеко вперед, многие утверждения Макклоха остаются актуальными и поныне. В частности, при большом разнообразии моделей нейронов принцип их действия, заложенный Макклохом и Питтсом, остается неизменным. Недостатком данной модели является сама модель нейрона "пороговой" вид переходной функции. В формализме У. Маккалока-Питтса нейроны имеют состояния 0, 1 и пороговую логику перехода из состояния в состояние. Каждый нейрон в сети определяет взвешенную сумму состояний всех других нейронов и сравнивает ее с порогом, чтобы определить свое собственное состояние.
Пороговый вид функции не предоставляет нейронной сети достаточную гибкость при обучении и настройке на заданную задачу. Если значение вычисленного скалярного произведения, даже незначительно, не достигает до заданного порога, то выходной сигнал не формируется вовсе и нейрон "не срабатывает". Это значит, что теряется интенсивность выходного сигнала (аксона) данного нейрона и, следовательно, формируется невысокое значение уровня на взвешенных входах в следующем слое нейронов.
| Данная статья является непроверенным учебным заданием.
До указанного срока статья не должна редактироваться другими участниками проекта MachineLearning.ru. По его окончании любой участник вправе исправить данную статью по своему усмотрению и удалить данное предупреждение, выводимое с помощью шаблона {{Задание}}. См. также методические указания по использованию Ресурса MachineLearning.ru в учебном процессе. |
