Нейрофизиология

Нейрофизиология – раздел физиологии, изучающий функции нервной системы на всех уровнях организации от молекулярных механизмов работы ионных каналов до интегративной деятельности целых ансамблей и систем мозга. С позиции теории информации нервная система рассматривается как распределенная, асинхронная, стохастическая вычислительная структура, преобразующая сенсорные сигналы в моторные команды и внутренние репрезентации. Кибернетический фундамент дисциплины был заложен в 1940–1950-х годах работами Клода Шеннона (теория связи, пропускная способность каналов), Норберта Винера (фильтрация сигналов, обратная связь) и У. Росса Эшби (гомеостаз, самоорганизация). Эти концепции позволили перейти от качественного анатомического описания к функциональным моделям мозга как системы обработки сигналов с адаптацией.

Сравнение биологических и кремниевых вычислительных систем показывает существенные различия в энергоэффективности и устойчивости к переобучению. По биофизическим оценкам, мозг человека потребляет около 20 Вт, при этом его вычислительная мощность оценивается величиной порядка $10^{16}$ FLOP/s, хотя методология такого пересчёта остается предметом дискуссий^[1]. Современные GPU и TPU потребляют сотни ватт, ограничены архитектурой фон Неймана (узкое место памяти) и демонстрируют феномен катастрофического забывания – резкое снижение точности на ранее изученных выборках при дообучении на новых данных. Эти различия мотивируют поиск биологически обоснованных принципов организации вычислений.

Известные личности

Переход от описания свойств отдельных нейронов к алгоритмическим моделям обучения опирался на ряд ключевых открытий. Каждое из них впоследствии было формализовано в виде конкретных вычислительных правил.

У. Маккалок и У. Питтс

В работе "A Logical Calculus of the Ideas Immanent in Nervous Activity" 1943 года была предложена первая математическая модель нейрона, где синаптическое возбуждение и торможение описывались булевой логикой^[1]. Формальный нейрон Маккалока-Питтса представляет собой бинарный пороговый элемент: $y = f\left(\sum_i w_i x_i - \theta\right)$ , где $w_i \in \{-1, +1\}$ , $\theta$ – порог, а $f(\cdot)$ – ступенчатая функция. Модель заложила основы теории цифровых нейронных сетей и предшествовала разработке персептронов Розенблатта.

Д. Хебб

В книге "The Organization of Behavior" Дональд Хебб постулировал базовый механизм нейропластичности: если аксон клетки A возбуждает клетку B и многократно участвует в её активации, то синаптическая связь A→B усиливается^[1]. Правило Хебба записывается как:

$\Delta w_{ij} = \eta \, a_i \, a_j,$

где $\eta$ – скорость обучения, $a_i, a_j$ – активности пре- и постсинаптического нейронов. В нормализованной форме с учетом ограничения роста весов:

$\Delta w_{ij} = \eta \, (a_i a_j - \gamma w_{ij}),$

где $\gamma$ – коэффициент забывания. Этот принцип лег в основу обучения без учителя (сети Хопфилда, соревновательные слои) и алгоритмов кластеризации.

Д. Хьюбел и Т. Визель

Эксперименты на зрительной коре кошек с использованием микроэлектродов выявили два типа клеток: "простые" (реагирующие на ориентацию и положение полосы) и "сложные" (инвариантные к сдвигу в пределах рецептивного поля)^[1]. Иерархическая организация обработки послужила архитектурным прообразом "Неокогнитрона" Кунихико Фукусимы и современных сверточных нейронных сетей (CNN). Сверточная операция математически записывается как:

$(f * g)(x,y) = \sum_{u,v} f(u,v) \, g(x-u, y-v),$

что соответствует пространственной фильтрации рецептивными полями простых клеток.

В. Шульц

Исследования Вольфрама Шульца на приматах показали, что дофаминовые нейроны в черной субстанции кодируют отклонение между ожидаемой и полученной наградой – ошибку предсказания (Reward Prediction Error, RPE)^[1]. Эта величина выражается как $\delta = r + \gamma V(s') - V(s)$ в алгоритме Temporal Difference (TD), где $r$ – награда, $\gamma$ – коэффициент дисконтирования (представляет собой важность будущих наград), $V(s)$ – оценка ценности состояния. Обновление ценности состояния в TD(0):

$V(s) \leftarrow V(s) + \alpha \, \delta.$

Открытие установило прямую связь между нейрофизиологией подкрепления и алгоритмами машинного обучения с подкреплением (RL).

К. Фристон

Принцип свободной энергии, предложенный Карлом Фристоном, утверждает, что самоорганизующиеся системы минимизируют вариационную свободную энергию, что эквивалентно максимизации точности внутренней модели и минимизации фактора "удивления"^[1]. Свободная энергия определяется как:

$F = \mathbb{E}_{q_\phi(z|x)}[-\log p(x,z)] + \mathbb{E}_{q_\phi}[\log q_\phi(z|x)] = -\log p(x) + D_{KL}(q_\phi(z|x) \| p(z|x)).$

В предиктивном кодировании верхние уровни иерархии генерируют предсказания, а нижние передают ошибки предсказания вверх. Этот подход концептуально близок вариационным автоэнкодерам (VAE).

Структурно-функциональные уровни нейрофизиологии

Для математического моделирования биологические механизмы традиционно разделяют на клеточный и ансамблевый уровни. Каждый из них задает свои фундаментальные ограничения для вычислений.

Общая (клеточная) нейрофизиология

На клеточном уровне нейрон представляет собой поляризованную клетку с мембранным потенциалом. Равновесные потенциалы для отдельных ионов описываются уравнением Нернста:

$E_{ion} = \frac{RT}{zF} \ln \frac{[ion]_o}{[ion]_i},$

а совместное действие нескольких ионов – уравнением Гольдмана-Ходжкина-Катца:

$V_m = \frac{RT}{F} \ln \frac{P_K[K^+]_o + P_{Na}[Na^+]_o + P_{Cl}[Cl^-]_i}{P_K[K^+]_i + P_{Na}[Na^+]_i + P_{Cl}[Cl^-]_o}.$

В отличие от статических функций активации в ML (ReLU или сигмоиды), биологический выходной сигнал является временным рядом спайков, разделенных рефрактерным периодом – интервалом, в течение которого клетка не может сгенерировать новый импульс^[1].

Системная нейрофизиология

На уровне нейронных ансамблей ключевую роль играют сетевые эффекты: рецептивные поля, фазовое кодирование и латеральное торможение (подавление соседних активных нейронов для усиления контраста). Биологическое торможение концептуально сопоставимо с методами регуляризации в глубоком обучении.

Биологические принципы и их ML-аналоги
Биологический принцип	ML-аналог	Вычислительная функция
Латеральное торможение	Конкурентное подавление (Sparse Coding)	Повышение контраста, разреженность представлений
Общее ингибирование	L1/L2 регуляризация	Ограничение суммарной активности сети
Синаптическая депрессия	Pruning (редукция весов)	Уменьшение избыточных связей, снижение вычислительной сложности
Гомеостатическая пластичность	Batch Normalization, весовое затухание	Поддержание средней активности на заданном уровне

Обратная инженерия черного ящика

Для сбора эмпирических данных применяются методы различных пространственно-временных масштабов. Они генерируют многомерные временные ряды, требующие сложных алгоритмических пайплайнов для декодирования.

Электрофизиология

Метод Patch-clamp позволяет регистрировать токи одиночных ионных каналов с микросекундным разрешением. Токи описываются как марковский процесс: переходы между состояниями (открыто/закрыто) задаются матрицей интенсивностей $Q$ , а вероятности переходов – экспонентой $P_{ij}(t) = e^{-Q t}$ .

Интегративные методы

Электроэнцефалография (ЭЭГ) и Магнитоэнцефалография (МЭГ) измеряют суммарную активность больших популяций. Спектральная плотность мощности вычисляется как $S(f) = |\mathcal{F}\{x(t)\}|^2$ ^[1].
Функциональная МРТ (фМРТ) и ПЭТ регистрируют BOLD-сигнал (уровень оксигенации крови) с секундной задержкой. Данные используются для построения графов функциональной связности мозга.

Математический мост

Нейрофизиология использует машинное обучение для анализа мозга, после чего полученные знания улучшают само машинное обучение. Для декодирования сигналов применяются:

PCA и ICA – для выделения независимых источников сигнала.
SVM и сверточные сети – для классификации паттернов (например, распознавания намерений в интерфейсах "мозг-компьютер").

Математическое моделирование нейрона

Для количественного описания нейронной динамики разработаны модели разной степени детализации.

Модель Ходжкина-Хаксли

Система обыкновенных дифференциальных уравнений, описывающая потенциал действия через кинетику ионных каналов^[1]:

$C_m \frac{dV}{dt} = I_{\text{ext}} - \bar{g}_{Na} m^3 h (V - E_{Na}) - \bar{g}_K n^4 (V - E_K) - g_L (V - E_L),$

где переменные активации $m, n$ и инактивации $h$ подчиняются кинетике:

$\frac{dm}{dt} = \alpha_m(V)(1-m) - \beta_m(V) m.$

Эта модель считается биофизическим эталоном, но требует колоссальных вычислительных затрат.

Упрощенные модели

Leaky Integrate-and-Fire (LIF) – интегрирует входной ток с утечкой:

$\tau_m \frac{dV}{dt} = - (V - V_{\text{rest}}) + R I(t).$

Модель Ижикевича – двумерная система, способная воспроизводить богатую динамику (берстинг, чаттеринг) при вычислительной сложности, сопоставимой с LIF-нейронами^[1]:

$\frac{dV}{dt} = 0.04 V^2 + 5 V + 140 - U + I,$

$\frac{dU}{dt} = a(bV - U).$

Сравнительная характеристика моделей нейрона
Модель	Математический аппарат	Вычислительная сложность	Область применения
Ходжкина-Хаксли	4 ОДУ, нелинейная кинетика	Высокая (~10³ flop/шаг)	Точное моделирование ионных механизмов, фармакология
Leaky I&F	1 ОДУ, пороговое условие	Низкая (~10 flop/шаг)	Крупномасштабные симуляции, SNN
Ижикевича	2 ОДУ, квадратичный член	Средняя (~50 flop/шаг)	Моделирование паттернов спайковой активности
Формальный нейрон	Аффинное преобразование	Крайне низкая (1–5 flop/нейрон)	Глубокое обучение, инференс на GPU

Спайковые сети

На основе описанных дифференциальных моделей развиваются архитектуры третьего поколения — спайковые нейросети (SNN). В отличие от классических ANN, информация в них передается точным временем спайков. Обучение часто опирается на локальное биофизическое правило STDP (Spike-Timing-Dependent Plasticity)^[1]:

$\Delta w = \begin{cases}A_+ e^{-\Delta t/\tau_+}, & \Delta t > 0 \\-A_- e^{+\Delta t/\tau_-}, & \Delta t < 0\end{cases}$

Классический алгоритм обратного распространения ошибки (Backpropagation) считается биологически неправдоподобным из-за требования строгой симметрии весов, необходимости глобального координатора градиентов и недифференцируемости спайков. Для преодоления этих ограничений разрабатываются альтернативные подходы, такие как алгоритм Forward-Forward (Джеффри Хинтона) и Равновесное распространение. Энергоэффективный запуск таких сетей реализуется на специализированном нейроморфном оборудовании (например, чипы Intel Loihi).

См. также

Литература

Источник — «http://machinelearning.ru/wiki/index.php?title=%D0%9D%D0%B5%D0%B9%D1%80%D0%BE%D1%84%D0%B8%D0%B7%D0%B8%D0%BE%D0%BB%D0%BE%D0%B3%D0%B8%D1%8F»

Нейрофизиология

Материал из MachineLearning.

Содержание