Спектральное смещение нейронных сетей

Материал из MachineLearning.

Версия от 20:56, 15 июля 2026; Kirill Novoselov (Обсуждение | вклад)

(разн.) ← Предыдущая | Текущая версия (разн.) | Следующая → (разн.)

Содержание

1 Мотивация
2 Что называется спектром
3 Историческая справка
4 Фурье-структура ReLU-сети
- 4.1 Эксперимент с гармониками
5 Спектральная динамика NTK
- 5.1 Неравномерная плотность данных
6 Геометрия многообразия данных
7 Связь с обобщением и запоминанием
8 Управление спектральным смещением
9 Практические области
10 Ограничения интерпретации
11 Открытые вопросы
12 См. также
13 Литература
14 Внешние ссылки

Спектральное смещение нейронных сетей (англ. spectral bias, также frequency principle, F-principle) — зависимость скорости обучения нейронной сети от сложности спектральной моды целевой функции. Во многих стандартных режимах обучения сначала восстанавливаются низкочастотные, глобально меняющиеся компоненты, а затем высокочастотные, отвечающие за мелкие детали и быстрые осцилляции. Эффект относится к динамике оптимизации, а не к абсолютной выразительной способности: достаточно широкая сеть может представить высокочастотную функцию, но градиентному спуску может потребоваться существенно больше итераций, чтобы её найти.

Термин «спектр» в этой области не имеет единственного значения. В зависимости от постановки рассматривают коэффициенты преобразования Фурье, разложение по собственным функциям ядерного оператора или нейронного касательного ядра (NTK), сферические гармоники, собственные функции оператора Лапласа — Бельтрами на многообразии, собственные векторы графового лапласиана либо коэффициенты Уолша — Адамара на булевом кубе. Поэтому утверждение о спектральном смещении математически содержательно лишь после указания базиса, меры на пространстве объектов, модели и режима обучения.

Работа Н. Рахамана и соавторов On the Spectral Bias of Neural Networks (2019) связала частотно-зависимую динамику обучения глубоких ReLU-сетей со структурой их фурье-спектра. Последующие исследования описали этот эффект через спектр NTK, изучили роль неравномерной плотности данных, активации и инициализации, а также предложили способы ускоренного восстановления высоких частот.

Мотивация

Пусть по наблюдениям

$D=\{(x_i,y_i)\}_{i=1}^n,\qquad y_i=f^{\ast}(x_i)+\xi_i$

обучается функция $f_{\theta}$ . Если число параметров велико, существует много интерполянтов, для которых $f_{\theta}(x_i)=y_i$ . Значение имеет не только конечная ошибка на обучающей выборке, но и путь, по которому оптимизация выбирает один из интерполянтов.

Для ортонормированной системы $\{\phi_j\}_{j\geq 0}$ в $L_2(\rho)$ запишем

$f^{\ast}=\sum_{j\geq 0}a_j\phi_j,\qquad f_{\theta(t)}=\sum_{j\geq 0}a_j(t)\phi_j.$

Восстановлением спектра называется приближение коэффициентов $a_j(t)$ к $a_j$ . Спектральное смещение наблюдается, если характерное время восстановления существенно зависит от номера или частоты моды и низкочастотные коэффициенты обычно стабилизируются раньше высокочастотных.

Такой порядок обучения объясняет несколько эмпирических явлений.

На ранней остановке сеть часто строит гладкий интерполянт, хотя способна точно запомнить случайные метки.
Структурная часть сигнала может усваиваться раньше высокочастотного шума; это один из механизмов неявной регуляризации, но не универсальная гарантия обобщающей способности.
В координатных сетях для изображений, трёхмерных сцен, звука и решений дифференциальных уравнений мелкие детали могут восстанавливаться недопустимо медленно.
Изменение входного кодирования, функции активации или инициализации способно менять порядок и скорость восстановления мод, не меняя обучающую выборку.

Что называется спектром

Непрерывный фурье-спектр

Для функции $f:\mathbb R^d\to\mathbb C$ используется соглашение

$\widetilde f(k)=(2\pi)^{-d/2}\int_{\mathbb R^d}f(x)\exp(-i k^T x)\,dx.$

Вектор $k$ задаёт пространственную частоту, $|\widetilde f(k)|$ — амплитуду, а $|\widetilde f(k)|^2$ — спектральную энергию. Малые $\|k\|$ соответствуют глобальным изменениям, большие — быстрым локальным осцилляциям. Для функций, не принадлежащих $L_1$ или $L_2$ , преобразование понимается в смысле обобщённых функций.

На периодической области $\mathbb T^d$ интеграл заменяется рядом Фурье:

$f(x)=\sum_{k\in\mathbb Z^d}\widehat f_k\exp(2\pi i k^T x),\qquad \widehat f_k=\int_{\mathbb T^d}f(x)\exp(-2\pi i k^T x)\,dx.$

Дискретный спектр наблюдений

Если функция известна только на равномерной сетке $x_j=j/N$ , оценивают дискретные коэффициенты

$\widehat f_m^{(N)}=\frac1N\sum_{j=0}^{N-1}f(x_j)\exp(-2\pi i m j/N).$

Это спектр массива отсчётов, а не полный спектр функции между ними. Частоты, различающиеся на кратное $N$ , дают одинаковые отсчёты; без условия Найквиста возникает наложение спектров (алиасинг). Поэтому наблюдение «сеть восстановила спектр обучающей выборки» само по себе не определяет интерполяцию вне выборки.

Спектр ядра и NTK

Пусть $K$ — положительно определённое ядро, а $\rho$ — распределение объектов. Интегральный оператор

$(T_K g)(x)=\int K(x,x')g(x')\,d\rho(x')$

имеет собственные пары

$T_K\phi_j=\lambda_j\phi_j,\qquad \lambda_j\geq 0.$

В таком случае спектр функции относительно ядра — коэффициенты $\langle f,\phi_j\rangle_{L_2(\rho)}$ , а спектр ядра — собственные значения $\lambda_j$ . Они связаны с фурье-частотой только при дополнительной симметрии. Например, для стационарного ядра и равномерной меры на торе собственными функциями являются гармоники Фурье. При произвольной мере собственная функция с малым номером не обязана быть обычной низкой частотой.

Нейронное касательное ядро модели $f_{\theta}$ в точке инициализации $\theta_0$ определяется формулой

$K_{\rm NTK}(x,x')=\left\langle \nabla_{\theta}f_{\theta_0}(x),\nabla_{\theta}f_{\theta_0}(x')\right\rangle.$

В пределе бесконечной ширины и при малом перемещении параметров обучение приближается ядерной динамикой. Здесь словом «спектр» называют собственные значения оператора $T_{K_{\rm NTK}}$ или матрицы Грама на конечной выборке.

Геометрический и дискретный гармонический спектр

На римановом многообразии $\mathcal M$ естественный базис задаёт оператор Лапласа — Бельтрами:

$-\Delta_{\mathcal M}\phi_j=\nu_j\phi_j,\qquad 0=\nu_0\leq\nu_1\leq\cdots.$

Моды с малым $\nu_j$ медленно меняются вдоль многообразия. Для выборки многообразие приближают графом соседства и используют собственные векторы графового лапласиана. Этот спектр зависит от внутренней геометрии данных и может существенно отличаться от фурье-спектра в объемлющем евклидовом пространстве.

На сфере роль гармоник играют сферические гармоники, упорядоченные по степени. На булевом кубе $\{-1,1\}^d$ используется базис Уолша — Адамара

$\chi_S(x)=\prod_{j\in S}x_j,\qquad S\subseteq\{1,\ldots,d\},$

а сложность моды измеряют степенью $|S|$ . Смещение к малой степени является дискретным аналогом предпочтения низких частот.

Постановка	Спектральные моды	Что означает «низкая частота»
Евклидова или периодическая область	гармоники Фурье	малое $\\|k\\|$
Ядерная регрессия и NTK	собственные функции $T_K$	обычно большая $\lambda_j$ ; связь с геометрической частотой требует симметрии
Сфера	сферические гармоники	малая степень гармоники
Многообразие или граф	собственные функции Лапласа — Бельтрами или графового лапласиана	малое собственное значение $\nu_j$
Булев куб	функции Уолша — Адамара $\chi_S$	малая степень $\|S\|$

Спектр функции по входным координатам не следует смешивать со спектром весовых матриц, гессиана функции потерь, ковариации признаков или пространственных частот самого изображения. Это разные объекты, между которыми могут существовать связи, но нет автоматического тождества.

Историческая справка

Частотный взгляд на аппроксимацию существовал задолго до глубокого обучения в гармоническом анализе, теории приближений и ядерных методах. Новым вопросом стало не то, может ли нейронная сеть представить гармонику, а то, в каком порядке градиентные методы восстанавливают разные гармоники переопределённой модели.

В 2018 году Жако, Габриэль и Онгон ввели NTK и показали, что обучение бесконечно широкой сети допускает описание через ядерную динамику. В 2019 году две близкие линии работ сформулировали частотный принцип для глубоких сетей. Сюй и соавторы наблюдали переход от низких частот к высоким на синтетических и реальных данных. Рахаман и соавторы получили явную структуру фурье-спектра ReLU-сети, исследовали частотно-зависимую скорость обучения, устойчивость мод к возмущению параметров и роль геометрии многообразия данных.

В 2020–2021 годах анализ через собственные функции NTK сделал понятие спектрального смещения применимым за пределами обычного преобразования Фурье. Басри и соавторы исследовали неравномерную плотность данных; Цао и соавторы связали скорость сходимости каждой моды с соответствующим собственным значением NTK. Одновременно Fourier features и периодические сети SIREN показали, что смещение можно целенаправленно менять архитектурой представления.

В последующих работах эффект проверялся на современных классификаторах, уточнялась его связь с обобщением и запоминанием, изучались активации, инициализация и дискретный спектр Уолша — Адамара. Эти результаты ослабили слишком широкую формулировку «нейронные сети всегда предпочитают гладкие функции»: порядок обучения зависит от выбранного спектра, распределения данных и параметризации.

Фурье-структура ReLU-сети

Рассмотрим скалярную сеть $f:\mathbb R^d\to\mathbb R$ с $L$ скрытыми слоями:

$f(x)=T^{(L+1)}\circ\sigma\circ T^{(L)}\circ\cdots\circ\sigma\circ T^{(1)}(x),$

где $T^{(l)}(u)=W^{(l)}u+b^{(l)}$ , а $\sigma(u)=\max(0,u)$ действует покоординатно. Такая сеть задаёт непрерывную кусочно-линейную функцию. Для её линейных областей $P_{\varepsilon}$

$f(x)=\sum_{\varepsilon}{\bf 1}_{P_{\varepsilon}}(x)(W_{\varepsilon}x+b_{\varepsilon}).$

Поскольку общая ReLU-сеть может линейно расти на бесконечности, далее её преобразование Фурье понимается в смысле умеренных распределений.

Лемма о разложении фурье-образа. Для кусочно-линейного представления выше

$\widetilde f(k)=i\sum_{\varepsilon}\frac{W_{\varepsilon}k}{\|k\|^2}\widetilde{{\bf 1}}_{P_{\varepsilon}}(k).$

Теорема Рахамана и соавторов. Фурье-компоненты ReLU-сети $f_{\theta}$ имеют вид

$\widetilde f_{\theta}(k)=\sum_{n=0}^{d}\frac{C_n(\theta,k){\bf 1}_{H_n^{\theta}}(k)}{\|k\|^{n+1}},$

где $H_n^{\theta}$ — объединение $n$ -мерных подпространств, ортогональных граням коразмерности $n$ некоторых линейных областей сети, а $C_n(\theta,k)$ остаётся порядка единицы при $\|k\|\to\infty$ вдоль соответствующего направления.

Следствие имеет важную геометрическую оговорку: спад анизотропен. В почти всех направлениях он имеет порядок $\|k\|^{-d-1}$ , однако в специальных направлениях, ортогональных граням линейных областей, может быть таким медленным, как $\|k\|^{-2}$ . Числитель оценивается величиной порядка $N_fL_f$ , где $N_f$ — число линейных областей, а $L_f$ — липшицева константа сети. Для неё справедлива оценка

$L_f\leq\prod_{l=1}^{L+1}\|W^{(l)}\|\leq\|\theta\|_{\infty}^{L+1}\sqrt{\prod_{l=1}^{L}d_l}.$

Таким образом, высокие частоты не запрещены, но требуют достаточной сложности разбиения и согласованных значений параметров. Авторы также показали, что высокочастотные компоненты менее устойчивы к возмущениям параметров.

Эксперимент с гармониками

В исходном эксперименте целевая функция имела вид

$f^{\ast}(z)=\sum_j A_j\sin(2\pi k_jz+\varphi_j),\qquad k_j\in\{5,10,\ldots,50\}.$

Шестислойная ReLU-сеть ширины 256 обучалась по 200 равномерным отсчётам. Амплитуды восстановленных гармоник измерялись в ходе обучения. Низкие частоты сходились раньше высоких как при одинаковых, так и при возрастающих амплитудах цели.

Изображение:Spectral bias training dynamics.png

Динамика восстановления гармоник и спектральных норм слоёв. Слева в каждой паре: нормированная амплитуда восстановленной компоненты в зависимости от частоты и итерации; справа: спектральные нормы весов. Источник: Rahaman et al., 2019, рис. 1.

Этот опыт демонстрирует порядок обучения в конкретной архитектуре и режиме оптимизации. Теорема о спаде фурье-образа сама по себе не является общей теоремой о траектории градиентного спуска; связь между представлением и динамикой требует дополнительных аргументов.

Спектральная динамика NTK

В ядерном режиме при квадратичной функции потерь ошибка $e_t=f_t-f^{\ast}$ удовлетворяет линейному уравнению

$\frac{d e_t}{dt}=-T_K e_t.$

Если $T_K\phi_j=\lambda_j\phi_j$ и $e_t=\sum_j c_j(t)\phi_j$ , то

$c_j(t)=c_j(0)\exp(-\lambda_jt).$

Для дискретного градиентного спуска с шагом $\eta$ в идеализированной постоянной ядерной модели

$c_j^{(m)}=(1-\eta\lambda_j)^m c_j^{(0)}.$

Следовательно, моды с большими собственными значениями ядра восстанавливаются быстрее. Если для геометрически низких частот $\lambda_j$ больше, возникает обычное спектральное смещение. Это объяснение строго относится к NTK- или ленивому режиму, в котором признаки мало меняются. В конечной сети ядро зависит от времени, и собственные направления могут поворачиваться.

Для равномерного распределения на сфере NTK вращательно инвариантен, его собственные функции — сферические гармоники. Результаты Цао и соавторов показывают, что гармоники меньшей степени обучаются быстрее. Для двухслойных ReLU-сетей в постановке Басри и соавторов собственные значения гармоник частоты $\kappa$ убывают как $O(\kappa^{-d})$ , поэтому число итераций растёт как $O(\kappa^d)$ .

Неравномерная плотность данных

При распределении с плотностью $p(x)$ обычные гармоники перестают быть глобальными собственными функциями оператора. Басри и соавторы показали, что для чистой гармоники частоты $\kappa$ локальное время сходимости на сфере имеет порядок

$O\left(\frac{\kappa^d}{p(x)}\right).$

Поэтому высокочастотная компонента в плотной области может быть выучена раньше низкочастотной компоненты в разреженной области. Это не опровержение спектрального анализа, а указание на то, что мера $\rho$ входит в определение оператора и его спектра.

Геометрия многообразия данных

Пусть данные лежат на образе вложения $\psi:[0,1]^m\to\mathbb R^d$ , а целевая функция на многообразии равна $\tau$ . В скрытых координатах требуется обучить композицию $g=\tau\circ\psi$ . Фурье-образ композиции связан с фурье-образом продолжения $f$ в объемлющем пространстве формулой

$\widehat{f\circ\psi}(l)=\int_{\mathbb R^d}\widetilde f(k)P_{\psi}(l,k)\,dk,$

где

$P_{\psi}(l,k)=\int_{[0,1]^m}\exp(i(k^T\psi(z)-l^Tz))\,dz.$

В приближении стационарной фазы существенный вклад дают пары частот, для которых

$l=J_{\psi}(z)^Tk.$

Изгиб вложения может смешивать внутренние и внешние частоты: высокочастотная функция в параметре $z$ иногда представляется более низкой частотой в пространстве $x=\psi(z)$ . В экспериментах Рахамана и соавторов усложнение цветкообразного многообразия облегчало восстановление некоторых высоких внутренних частот.

Изображение:Spectral bias manifold complexity.png

Восстановление одного и того же спектра на многообразиях возрастающей сложности $L$ . Более сложное вложение в этом эксперименте ускоряет обучение части высоких частот. Источник: Rahaman et al., 2019, рис. 8.

Этот результат не означает, что всякое более сложное многообразие полезно. Эффект определяется якобианом вложения, ориентацией частот и распределением данных. Для координатно-инвариантного анализа предпочтительнее спектр Лапласа — Бельтрами, но его оценивание по конечной выборке само является нетривиальной задачей.

Связь с обобщением и запоминанием

Смещение к низким частотам часто действует как неявная регуляризация: гладкая по данным компонента цели восстанавливается раньше осциллирующего шума. Ранняя остановка может использовать временное окно между этими фазами. Однако из спектрального смещения не следует, что низкие частоты всегда полезны, а высокие всегда являются шумом.

Фридович-Кейл, Гонтихо-Лопес и Рулофс предложили два способа измерять частотную динамику современных классификаторов: синусоидальное возмущение меток заданной частоты и дискретный спектр выхода сети вдоль отрезков между изображениями. В их опытах модели с большей точностью обычно имели меньшую частотность внутри класса, но более резкий, то есть более высокочастотный, переход между классами. Поэтому глобальная гладкость и хорошая классификация не совпадают.

Для булевых признаков Горджи, Амроллахи и Краузе наблюдали смещение к коэффициентам Уолша — Адамара малой степени и показали задачи, где оно ухудшает обобщение. Работа Рамасингхе и соавторов подчёркивает роль инициализации: очень высокочастотные компоненты, присутствующие уже при старте, могут изменяться крайне медленно и сохраняться после обучения.

Наконец, частота функции классификатора по входу не равна пространственной частоте изображения. Шахматная текстура содержит высокие частоты пикселей, но правило классификации может медленно меняться в пространстве изображений; и наоборот, почти неразличимые изображения могут лежать по разные стороны резко меняющейся границы решения.

Управление спектральным смещением

Fourier features и позиционное кодирование

Для координаты $v\in\mathbb R^d$ используется отображение

$\gamma(v)=\bigl(\cos(2\pi b_1^Tv),\sin(2\pi b_1^Tv),\ldots,\cos(2\pi b_m^Tv),\sin(2\pi b_m^Tv)\bigr)^T.$

Сеть обучается как $f_{\theta}(\gamma(v))$ . Векторы $b_j$ могут быть заданы регулярной сеткой или случайно выбраны из распределения с настраиваемым масштабом. Танчик и соавторы показали, что такое отображение превращает эффективный NTK координатной MLP-сети в стационарное ядро с управляемой полосой пропускания. Расширение спектра ядра ускоряет обучение высоких частот.

Изображение:Fourier features ntk spectrum.png

Обычный NTK, стационарный NTK после базового периодического отображения и управление его шириной и фурье-спектром. Меньшие значения $p$ соответствуют более широкому спектру. Источник: Tancik et al., 2020, рис. 2.

Слишком узкий спектр приводит к недообучению деталей, слишком широкий — к алиасингу и интерполяции шума. Поэтому масштаб частот является параметром регуляризации и выбирается по контрольным данным или из априорного диапазона частот задачи.

Периодические и локальные активации

В сетях SIREN используется активация

$h_l=\sin(\omega_0(W_lh_{l-1}+b_l)).$

Периодическая активация вместе со специальной инициализацией позволяет эффективно представлять сигналы и их производные. Это особенно важно для неявных нейронных представлений изображений, звука, трёхмерной геометрии и решений дифференциальных уравнений.

Хонг, Сигел, Тан и Сюй связали спектральное смещение ReLU-сетей с кусочно-линейным базисом метода конечных элементов и показали, что замена ReLU локальной кусочно-линейной hat-функцией может существенно ослабить наблюдаемое смещение. Более поздние работы связывают выбор нелинейности с конкретным спектральным полунормом, который неявно минимизируется в ядерном режиме.

Другие способы

К практическим средствам относятся многомасштабные архитектуры, адаптивное изменение частот входного кодирования, предобусловливание остатка в задачах с дифференциальными операторами и функциональные регуляризаторы, непосредственно усиливающие нужные моды. Общего оптимального способа нет: устранение смещения к низким частотам может одновременно ускорить восстановление полезной мелкой структуры и облегчить запоминание шума.

Практические области

Координатные представления: При аппроксимации изображения функцией $(x,y)\mapsto(R,G,B)$ стандартная MLP сначала передаёт крупные цветовые области и размывает края. Fourier features, SIREN и многомасштабные кодирования ускоряют восстановление текстур и границ.

Трёхмерные сцены и геометрия: Нейронные поля плотности, цвета, occupancy- и signed-distance-функции содержат широкий диапазон пространственных частот. Спектральная полоса входного кодирования определяет доступный уровень детализации и устойчивость реконструкции.

Дифференциальные уравнения: Осциллирующие и многомасштабные решения, например уравнения Гельмгольца и волнового уравнения, трудны для обычных ReLU- или tanh-сетей. Кроме спектра решения важен спектр дифференциального оператора: производные умножают фурье-моды на степени частоты и меняют обусловленность функции потерь.

Обучение с шумными метками: Если сигнал и шум разделены по скорости восстановления, ранняя остановка или спектрально-зависимая регуляризация могут задержать запоминание шума. При структурированном низкочастотном шуме или высокочастотном полезном сигнале этот аргумент перестаёт работать.

Научное машинное обучение и обратные задачи: Неполные измерения не определяют все частоты одинаково. Индуктивное спектральное смещение сети взаимодействует с нуль-пространством оператора наблюдений, поэтому восстановленный спектр определяется одновременно физикой измерения, архитектурой и оптимизацией.

Ограничения интерпретации

Низкая частота определяется только относительно выбранных координат, меры и базиса. Нелинейная замена координат способна превратить низкую частоту в высокую.
Теория NTK описывает прежде всего широкие сети вблизи инициализации. В режиме обучения признаков ядро меняется, поэтому постоянные собственные моды дают лишь приближение.
Амплитуда моды и скорость её обучения — разные характеристики. Большая высокочастотная амплитуда не гарантирует раннее восстановление.
Неравномерная выборка смешивает частоту и плотность. Обычное дискретное преобразование Фурье по неравномерным точкам может давать неверную картину.
Конечная выборка допускает алиасинг: разные функции имеют одинаковые значения на обучающих объектах.
Наблюдаемая динамика зависит от оптимизатора, шага, функции потерь, нормализации, глубины, ширины и инициализации.
Предпочтение низких частот не тождественно предпочтению семантически простых правил. Для классификации полезная граница может быть локально высокочастотной.

Открытые вопросы

За пределами NTK. Требуется теория спектральной динамики конечных сетей в режиме активного обучения признаков, где собственные функции и собственные значения меняются вместе с параметрами.
Инвариантное определение частоты. Для данных на неизвестном многообразии обычный фурье-базис зависит от координат и вложения. Остаётся построить устойчивые оценки внутреннего спектра по конечным, шумным и неравномерным выборкам.
Переход от регрессии к классификации. Необходима теория, одновременно описывающая гладкость внутри классов, резкие межклассовые переходы и нелинейную динамику кросс-энтропии.
Архитектура и оптимизатор. Нет полного описания того, как остаточные связи, свёртки, внимание, нормализация, адаптивные оптимизаторы и стохастический шум меняют скорость отдельных мод.
Полезный сигнал или шум. Нужны критерии выбора полосы пропускания по данным, которые ускоряют полезные высокие частоты, но не усиливают алиасинг и запоминание ошибок разметки.
Высокая размерность. Прямое оценивание многомерного фурье-спектра экспоненциально сложно, а измерения вдоль прямых могут проходить вне многообразия данных. Требуются масштабируемые спектральные диагностики.
Связь с робастностью. Высокочастотность границы решения, чувствительность к возмущениям и состязательные примеры связаны эмпирически, но общая причинная теория отсутствует.
Научные задачи. Для дифференциальных и интегральных операторов важно совместно учитывать спектр искомого решения, спектр оператора и спектр параметризации сети; универсального предобусловливателя пока нет.

См. также

Литература

Rahaman N., Baratin A., Arpit D., Draxler F., Lin M., Hamprecht F. A., Bengio Y., Courville A. On the Spectral Bias of Neural Networks // Proceedings of the 36th International Conference on Machine Learning. — PMLR. — 2019. — Vol. 97. — P. 5301–5310.
Xu Z.-Q. J., Zhang Y., Luo T., Xiao Y., Ma Z. Frequency Principle: Fourier Analysis Sheds Light on Deep Neural Networks. — 2019.
Jacot A., Gabriel F., Hongler C. Neural Tangent Kernel: Convergence and Generalization in Neural Networks // Advances in Neural Information Processing Systems. — 2018. — Vol. 31.
Basri R., Galun M., Geifman A., Jacobs D., Kasten Y., Kritchman S. Frequency Bias in Neural Networks for Input of Non-Uniform Density // Proceedings of the 37th International Conference on Machine Learning. — PMLR. — 2020. — Vol. 119. — P. 685–694.
Cao Y., Fang Z., Wu Y., Zhou D.-X., Gu Q. Towards Understanding the Spectral Bias of Deep Learning // Proceedings of the Thirtieth International Joint Conference on Artificial Intelligence. — 2021. — P. 2205–2211.
Tancik M., Srinivasan P. P., Mildenhall B., Fridovich-Keil S., Raghavan N., Singhal U., Ramamoorthi R., Barron J. T., Ng R. Fourier Features Let Networks Learn High Frequency Functions in Low Dimensional Domains // Advances in Neural Information Processing Systems. — 2020. — Vol. 33. — P. 7537–7547.
Sitzmann V., Martel J. N. P., Bergman A. W., Lindell D. B., Wetzstein G. Implicit Neural Representations with Periodic Activation Functions // Advances in Neural Information Processing Systems. — 2020. — Vol. 33. — P. 7462–7473.
Fridovich-Keil S., Gontijo-Lopes R., Roelofs R. Spectral Bias in Practice: The Role of Function Frequency in Generalization // Advances in Neural Information Processing Systems. — 2022. — Vol. 35. — P. 7368–7382.
Hong Q., Siegel J. W., Tan Q., Xu J. On the Activation Function Dependence of the Spectral Bias of Neural Networks. — 2022.
Ramasinghe S., Macdonald L. E., Farazi M., Saratchandran H., Lucey S. How Much Does Initialization Affect Generalization? // Proceedings of the 40th International Conference on Machine Learning. — PMLR. — 2023. — Vol. 202. — P. 28637–28655.
Gorji A., Amrollahi A., Krause A. A Scalable Walsh–Hadamard Regularizer to Overcome the Low-Degree Spectral Bias of Neural Networks // Proceedings of the 39th Conference on Uncertainty in Artificial Intelligence. — PMLR. — 2023. — Vol. 216. — P. 723–733.
Canatar A., Bordelon B., Pehlevan C. Spectral Bias and Task-Model Alignment Explain Generalization in Kernel Regression and Infinitely Wide Neural Networks // Nature Communications. — 2021. — Vol. 12. — Art. 2914.
Luo T., Ma Z., Wang Z., Xu Z.-Q. J., Zhang Y. An Upper Limit of Decaying Rate with Respect to Frequency in Linear Frequency Principle Model // Proceedings of Mathematical and Scientific Machine Learning. — PMLR. — 2022. — Vol. 190. — P. 205–214.
Sahs J., Pyle R., Anselmi F., Patel A. The Spectral Bias of Shallow Neural Network Learning Is Shaped by the Choice of Non-linearity. — 2025.

Внешние ссылки

Источник — «http://machinelearning.ru/wiki/index.php?title=%D0%A1%D0%BF%D0%B5%D0%BA%D1%82%D1%80%D0%B0%D0%BB%D1%8C%D0%BD%D0%BE%D0%B5_%D1%81%D0%BC%D0%B5%D1%89%D0%B5%D0%BD%D0%B8%D0%B5_%D0%BD%D0%B5%D0%B9%D1%80%D0%BE%D0%BD%D0%BD%D1%8B%D1%85_%D1%81%D0%B5%D1%82%D0%B5%D0%B9»

Категории: Нейронные сети | Машинное обучение