Модель МакКаллока-Питтса

Материал из MachineLearning.

(Различия между версиями)

Текущая версия

Статья написана с использованием LLM Gemini 3.1 Pro и проверена участником Osman Osmanov 14:42, 16 июля 2026 (MSD)

Промпт приводится полностью в Обсуждение:Модель МакКаллока-Питтса Однако в статье нет изображений из-за существующего сбоя в системе.

Содержание

1 Нейрон Мак-Каллока—Питтса
2 Содержание статьи
- 2.1 Принцип "всё или ничего"
- 2.2 Термины
3 Архитектура
- 3.1 Оригинальная формулировка
- 3.2 Упрощённая форма
4 Влияние на архитектуру фон Неймана
5 Критика
6 См. также
7 Ссылки

Нейрон Мак-Каллока—Питтса

Нейрон Мак-Каллока—Питтса (англ. McCulloch-Pitts neuron) — это исторически первая математическая модель искусственного нейрона, предложенная нейрофизиологом Уорреном Мак-Каллоком и математиком Уолтером Питтсом в статье A Logical Calculus of the Ideas Immanent in Nervous Activity^[1] в 1943 году. Стремясь имитировать задержки, обусловленные временем на передачу импульса от нейрона к нейрону, в модели Мак-Каллока и Питтса все процессы рассматриваются в контексте дискретных моментов времени, где каждая передача импульса занимает один такт.

Модель была мотивирована стремлением доказать, что биологическая нервная система и процессы мышления могут быть описаны в терминах математической логики. Оригинальная статья написана с использованием логического синтаксиса языка философа и логика Рудольфа Карнапа, а также опирается на строгую логическую систему математиков Альфреда Норта Уайтхеда и Бертрана Рассела из их фундаментального труда Principia Mathematica. Таким образом, нейрон Мак-Каллока—Питтса является прямой формализацией биологического нейрона на строгом языке пропозициональной логики.

Содержание статьи

Идея Мак-Каллока и Питтса была представлена в статье A Logical Calculus of the Ideas Immanent in Nervous Activity^[1] (русский перевод: Логическое исчисление идей, имманентных нервной деятельности)^[1] . Статья начинается с описания работы биологического нейрона человека.

Головной мозг человека является главным образом нейронной сетью. Утверждается, что нейроны – клетки (функциональные единицы) мозга – связываются между собой, передавая электрические импульсы. Нейроны передают импульсы через специальные отростки – аксоны. Между двумя нейронами располагается синапс – место контакта двух связанных нейронов. Он отвечает за преобразование (торможение или усиление) электрического импульса. В зависимости от типа преобразования импульса выделяют тормозящие синапсы и возбуждающие синапсы.

Авторы статьи выделили пять допущений для формализации устройства головного мозга (сохранены оригинальные формулировки перевода на русский язык^[1]):

Активность нейрона удовлетворяет принципу "всё или ничего".
Возбуждению нейрона в какой-либо момент времени должен предшествовать латентный период накопления возбуждений определенного фиксированного числа синапсов. Это число не зависит от предыдущей активности и от расположения синапсов на нейроне.
Единственным запаздыванием в нервной системе, имеющим значение, является синаптическая задержка (время, необходимое для передачи импульса).
Активность какого-либо тормозящего синапса абсолютно исключает возбуждение данного нейрона в рассматриваемый момент времени.
С течением времени структура сети не изменяется.

Заметим, что часто фигурируют формулировки "в момент времени", "задержка". Все рассматриваемые предикаты в статье зависят от некоторого момента времени. Таким образом, $Pr_1(t)$ — некоторое утверждение, зависящее от времени. В качестве примера может выступить утверждение «нейрон 1 активен в момент времени $t$ ».

Модель, построенная на времени, позволяет Мак-Каллоку и Питтсу рассматривать время как расстояние между нейронами.

Принцип "всё или ничего"

Мак-Каллок и Питтс выделили два типа связей между нейронами – тормозящие и возбуждающие. Если нейрон связан с другим нейроном тормозящей связью и по этой тормозящей связи второй нейрон подал импульс первому, то первый нейрон не подаёт импульса. Если же по тормозящим связям импульса нет, то рассматриваются возбуждающие связи. Если совокупность нейронов, передающих импульс по возбуждающим связям создаст достаточный импульс, превышающий некоторый порог, то нейрон подаст импульс. Такой принцип имеет название "всё или ничего".

Термины

В начале статьи вводятся следующие термины для формального описания модели нейрона.

Оператор временного сдвига

В отличие от современных моделей нейронных сетей, где сигнал проходит через слои мгновенно, в модели Мак-Каллока—Питтса, как уже говорилось ранее, каждая передача импульса занимает один такт. Авторы вводят функтор $S$ , устроенный так, что если есть логическое правило $Pr(t)$ , описывающее состояние сети, то применение к нему оператора $S$ принудительно сдвигает его временной аргумент на один шаг назад:

$S(Pr(t)) \equiv Pr(t-1).$

В оригинальной статье^[1] приведена следующая формула:

$S(P)(t) \equiv P(Kx)(t = x'),$

где $x'$ – следующий за $x$ такт (в нотации Пеано), а $(Kx)(t = x')$ – обозначение наименьшего значения $x$ такого, что $t = x'$ .

Также применяется оператор $S^n$ , что является $n$ -кратной композицией $S$ . Например, $S^2(P) \equiv S(S(P))$ .

Действие нейрона

Действием $N_i(t)$ нейрона $c_i$ называется утверждение « $c_i$ возбуждён в момент времени $t$ ».

В статье^[1] часто применяется такая нотация, поскольку она характеризует значение нейрона.

Рецепторы

Рецепторы — это нейроны, у которых нет входящих синапсов от других клеток внутри системы. Их состояние в каждый момент времени определяется исключительно внешними стимулами из окружающей среды. В современных архитектурах это тождественно вектору признаков на входном слое.

Вероятно, получили своё название от биологических рецепторов, которые отдают сигнал головному мозгу при появлении какого-то стимула и не получают никаких сигналов от других органов; только от внешней среды.

Решение сети

Решение сети — это итоговое логическое уравнение (пропозициональная формула), которое полностью описывает условия, при которых главный выходной нейрон перейдет в состояние 1 в текущий момент времени.

Главное требование к решению сети заключается в том, что оно должно зависеть исключительно от истории состояний рецепторов. Получить решение сети — означает свернуть всю архитектуру сети в одну формулу.

Проводя аналогию с современными персептронами, можно утверждать, что в персептронах выход некоторого нейрона из выходного слоя, очевидно, зависит от входа нейронной сети. Поскольку модель Мак-Каллока и Питтса построена на времени, нам необходимо знать значения рецепторов в каждый момент времени до достижения выхода, для того чтобы получить решение сети.

Циклические сети

Сеть называется циклической, если в ней можно выделить петлю – цепочку нейронов, каждый член которой имеет аксоны на следующем по порядку нейроне и начало которой совпадает с концом. Петля является аналогом цикла в теории графов, если построить сеть в виде графа.

Стоит заметить, что в современных нейронных сетях никаких петель нет. Мак-Каллок и Питтс строили более общую модель, в которой нейроны могли соединяться произвольным образом.

Пусть существует минимальный набор нейронов такой, что если каждый нейрон из этого набора удалить из сети (вместе со связями с другими нейронами), то сеть останется без петель. Тогда количество нейронов в таком минимальном наборе называется порядком сети. Порядок сети характеризует её сложность. Если порядок сети положителен, то в этой сети есть хотя бы одна петля. Если же порядок равен 0, то в сети нет петель.

Современные нейронные сети прямого распространения (FFNN) являются частным случаем сети порядка 0, а рекуррентные нейронные сети (RNN) являются частным случаем сети положительного порядка.

Временное пропозициональное выражение

Поскольку Мак-Каллок и Питтс оперируют временными утверждениями (функциями), т.е. зависящими от времени, следует более формало определить эти утверждения как временные пропозициональные выражения (ВПВ).

ВПВ определяются рекурсивно:

$p(z_1)$ есть ВПВ, где $p$ – предикат.
Если $S_1$ и $S_2$ – ВПВ с общей временной шкалой, то каждое из выражений $S(S_1)$ (применение функтора S), $S_1 \vee S_2$ ( $S_1$ ИЛИ $S_2$ ), $S_1 \wedge S_2$ ( $S_1$ И $S_2$ ), $S_1 \wedge \neg S_2$ ( $S_1$ И (НЕ $S_2$ )) – тоже ВПВ.
Никакое другое выражение не является ВПВ.

Реализуемость

Вводится два понятия реализуемости некоторого утверждения: в узком смысле и общий случай – в широком (расширенном – дословный перевод с оригинала) смысле. Стоит рассматривать концепцию утверждения как бинарную функцию.

Реализуемость утверждения в узком смысле — это идеализированная математическая ситуация, когда значение выходного нейрона в текущий момент $z_1$ зависит от значений рецепторов в этот же самый момент $z_1$ . В реальности (из-за задержки синапсов в 1 такт) в узком смысле можно реализовать только тривиальные сети, где выход "припаян" к рецепторам напрямую, без скрытых слоев.
Реализуемость утверждения в широком (расширенном) смысле — это вычисление с задержкой во времени. Поведение называется реализуемым в широком смысле, если сеть выдает ответ спустя $n$ тактов. Иначе говоря, как это приводится в оригинале, утверждение $P$ реализуемо в общем смысле, если существует $n$ такой, что утверждение $S^n(P)$ реализуемо в узком смысле.

Понятие реализуемости позволяет формализовать, возможна ли реализация какого-то утверждения (например, построения функции по таблице истинности) нейронной сетью такой, что за некоторое количество тактов вычисляет значение функции по входным значениям.

В этой статье Мак-Каллок и Питтс доказали, что любое логическое утверждение является реализуемым нейронной сетью порядка 0 (то есть, не содержащая петель).

Теорема 2.

Каждое временное пропозициональное выражение (ВПВ) реализуемо сетью порядка 0.

Архитектура

Одним из центральных результатов статьи^[1] является Теорема 1:

Теорема 1.

Каждая сеть порядка 0 может быть решена в терминах временных пропозициональных выражений

Математически это выражается через конъюнкцию и дизъюнкцию предшествующих состояний. Нейрон $i$ с порогом $\theta$ активируется тогда и только тогда, когда в предыдущий момент нет ни одного активного тормозящего синапса, и количество активных возбуждающих синапсов больше или равно порогу.

Оригинальная формулировка

В оригинальной нотации статьи принцип "всё или ничего" для одного изолированного нейрона записывается в виде следующего логико-темпорального уравнения:

$N_i(z_1) \equiv S \left\{ \prod_{m=1}^{q} \sim N_{j_m}(z_1) \cdot \sum_{\alpha \in \kappa_i} \prod_{s \in \alpha} N_{i_s}(z_1) \right\},$

где:

$\equiv$ — логическая эквивалентность (тождество).
$z_1$ — свободная переменная, обозначающая текущий момент времени (такт вычисления).
$S$ — темпоральный оператор сдвига (рассматриваемый ранее функтор $S$ ).
$\prod_{m=1}^{q} \sim N_{j_m}(z_1)$ — конъюнкция (И) отрицаний состояний всех $q$ тормозящих синапсов, подключенных к данному нейрону. Значок $\sim$ обозначает логическое отрицание. Если хотя бы один тормозящий нейрон активен ( $N_{j_m} = 1$ ), всё произведение зануляется, аппаратно реализуя абсолютное торможение.
$\kappa_i$ — семейство подмножеств возбуждающих синапсов, мощность (количество элементов) каждого из которых строго больше или равна порогу активации $\theta_i$ .
$\sum$ и $\prod$ во второй части формулы выполняют роль дизъюнкции (ИЛИ) и конъюнкции (И).

Данная формула описывает локальный шаг работы одного элемента сети. Теорема 1 использует это уравнение как базис для математической индукции; авторы доказывают, что путём последовательной послойной подстановки (суперпозиции) таких локальных уравнений друг в друга, любая ацикличная сеть (порядка 0) гарантированно сворачивается в одну монолитную формулу, выраженную исключительно через состояния входных рецепторов в прошлом.

Упрощённая форма

Для лучшего понимания логическую запись, в которой каждая переменная является булевой, можно перевести на язык чисел, представив её в виде пороговой функции активации (функции Хевисайда):

$N_i(z_1) = \varphi \left( \sum_{s=1}^{p} N_{i_s}(z_1 - 1) - \theta_i \right) \cdot \prod_{m=1}^{q} \big(1 - N_{j_m}(z_1 - 1)\big),$

где:

$\varphi(x)$ — функция Хевисайда (равна $1$ , если аргумент больше или равен нулю, и $0$ в противном случае).
$\sum_{s=1}^{p} N_{i_s}(z_1 - 1)$ — сумма всех возбуждающих сигналов, пришедших на предыдущем такте.
$\theta_i$ — порог активации нейрона.
$\prod_{m=1}^{q} \big(1 - N_{j_m}(z_1 - 1)\big)$ — мультипликативный тормозной блок. Если хотя бы один тормозной нейрон активен ( $N_{j_m} = 1$ ), выражение в скобках становится равным $0$ , и всё произведение мгновенно зануляет выход нейрона, независимо от суммы возбуждения.

Таким образом, если по тормозящим синапсам импульса нет, то рассматриваются возбуждающие синапсы. Если их количество достигает или превышает установленный порог, то нейрон не подаёт импульс.

Влияние на архитектуру фон Неймана

Идеи, заложенные в статье 1943 года, вышли далеко за пределы нейробиологии. Джон фон Нейман, работая над проектом компьютера EDVAC (1945), использовал нотацию Мак-Каллока — Питтса для описания логической архитектуры вычислительной машины^[1] . Вместо того чтобы чертить электрические схемы с лампами и реле, фон Нейман описывал АЛУ и память с помощью абстрактных сетей формальных нейронов, что заложило основы для отделения архитектуры программного обеспечения от физического оборудования.

Критика

Триумф первых искусственных нейронных сетей столкнулся с непреодолимым на тот момент барьером, который был фундаментально исследован Марвином Минским и Сеймуром Пейпертом в их книге «Перцептроны» (1969)^[1].

Минский математически доказал, что однослойные сети принципиально не способны решать задачи, не являющиеся линейно разделимыми. Классическим примером стала проблема XOR (исключающее ИЛИ). Несмотря на то, что Теорема I Мак-Каллока — Питтса постулировала возможность решения любой логической функции, для функции XOR требовалась сеть как минимум с одним скрытым слоем. Отсутствие в то время алгоритма обучения для многослойных сетей привело к резкому сокращению финансирования исследований в области нейросетей, что ознаменовало начало первой так называемой зимы искусственного интеллекта.

См. также

Ссылки

Источник — «http://machinelearning.ru/wiki/index.php?title=%D0%9C%D0%BE%D0%B4%D0%B5%D0%BB%D1%8C_%D0%9C%D0%B0%D0%BA%D0%9A%D0%B0%D0%BB%D0%BB%D0%BE%D0%BA%D0%B0-%D0%9F%D0%B8%D1%82%D1%82%D1%81%D0%B0»

Категории: Машинное обучение | Нейронные сети | История машинного обучения