Сплайн

Материал из MachineLearning.

Версия от 18:34, 19 июля 2026; Iurii Zhuravlev (Обсуждение | вклад)

(разн.) ← Предыдущая | Текущая версия (разн.) | Следующая → (разн.)

Статья написана с использованием LLM Qwen3.7-Plus и проверена участником Участник:Iurii Zhuravlev 21:34, 19 июля 2026 (MSD)

Промпт приводится полностью в Обсуждение:Сплайн

Содержание

1 Историческая справка
2 Математическое определение
- 2.1 B-сплайны (Базисные сплайны)
3 Классификация сплайнов
4 Сплайны в статистике и машинном обучении
5 Выбор узлов и практические аспекты
6 Практическое руководство для инженера
7 См. также
8 Примечания
9 Литература

Сплайн (от англ. spline — кораблестроительный гибкий шаблон, рейка) — в вычислительной математике и статистике кусочно-заданная функция, определённая на множестве действительных чисел, которая на каждом подынтеревале своего носителя является полиномом заданной степени, причём в точках соединения подынтервалов (узлах) она и её производные до определённого порядка непрерывны.

Сплайны являются фундаментальным инструментом интерполяции, аппроксимации и сглаживания данных. В контексте статистики и машинного обучения сплайны выступают в роли базисных функций для моделирования нелинейных зависимостей, являясь ключевым компонентом обобщённых аддитивных моделей (GAM), алгоритма MARS и современных архитектур нейронных сетей, таких как сети Колмогорова-Арнольда (KAN).

Историческая справка

Происхождение термина

Термин «сплайн» пришёл из судостроения. До появления компьютеров для проектирования обводов корпусов кораблей и крыльев самолётов использовались длинные гибкие деревянные или металлические рейки (сплайны). Их закрепляли в заданных точках (узлах) с помощью свинцовых грузов, после чего рейка изгибалась, принимая форму, минимизирующую энергию деформации, то есть форму, обладающую минимальной кривизной.

Математическое формализование

Первые математические исследования кусочно-полиномиальной интерполяции восходят к работам Исаака Ньютона (1670-е годы). Однако строгая теория сплайнов была разработана лишь в середине XX века. В 1946 году американский математик Исаак Якоб Шёнберг (Isaac Jacob Schoenberg) ввёл термин «сплайн» в математический обиход, исследуя вероятностные аспекты кусочно-полиномиальной аппроксимации^[1].

В 1970-х годах Карл де Бур (Carl de Boor) систематизировал теорию B-сплайнов (базисных сплайнов), создав алгоритмы их вычисления, которые до сих пор лежат в основе большинства вычислительных библиотек^[1].

Применение в статистике и машинном обучении

В 1980-1990-х годах сплайны перешли из чистой вычислительной математики в прикладную статистику. Джером Фридман (Jerome Friedman) в 1991 году предложил алгоритм MARS (Multivariate Adaptive Regression Splines), который использовал сплайны для автоматического построения нелинейных регрессионных моделей^[1].

Параллельно Тревор Хейсти и Роберт Тибширани интегрировали сглаживающие сплайны в обобщённые аддитивные модели (GAM), что сделало сплайны стандартом для интерпретируемого моделирования табличных данных^[1]. Наконец, в 2024 году сплайны стали основой для весов в архитектуре KAN, что открыло новую эру в научном машинном обучении^[1].

Математическое определение

Пусть задан отрезок $[a, b]$ и его разбиение на подынтервалы с помощью узлов $a = t_0 < t_1 < \dots < t_K = b$ . Функция $S(x)$ называется сплайном степени $d$ (или порядком $k = d + 1$ ), если: 1. На каждом подынтервале $[t_i, t_{i+1}]$ функция $S(x)$ является алгебраическим полиномом степени не выше $d$ . 2. Функция $S(x)$ и её производные до порядка $d-1$ включительно непрерывны на всём отрезке $[a, b]$ (то есть $S \in C^{d-1}[a, b]$ ).

На практике чаще всего используются кубические сплайны ( $d = 3$ ), так как они обеспечивают непрерывность не только самой функции, но и её первой и второй производных ( $C^2$ ), что визуально и физически соответствует гладким кривым без изломов и скачков кривизны.

B-сплайны (Базисные сплайны)

Для вычислительной устойчивости и локальности сплайны представляют не в виде кусков полиномов, а в виде линейной комбинации базисных функций — B-сплайнов:

$S(x) = \sum_{i=1}^{N} c_i B_{i, p}(x)$

где $c_i$ — коэффициенты (веса), а $B_{i, p}(x)$ — B-сплайн степени $p$ (где $p = d-1$ ), определённый на расширенной последовательности узлов.

B-сплайны задаются рекурсивно (формула Кокса — де Бура):

$B_{i,0}(x) = \begin{cases} 1, & \text{если } t_i \le x < t_{i+1} \\ 0, & \text{иначе} \end{cases}$

$B_{i,p}(x) = \frac{x - t_i}{t_{i+p} - t_i} B_{i,p-1}(x) + \frac{t_{i+p+1} - x}{t_{i+p+1} - t_{i+1}} B_{i+1,p-1}(x)$

Ключевое свойство B-сплайнов — локальный носитель: функция $B_{i,p}(x)$ отлична от нуля только на интервале $[t_i, t_{i+p+1}]$ . Это означает, что изменение коэффициента $c_i$ влияет на форму сплайна только в локальной окрестности, что предотвращает эффект Рунге и обеспечивает численную стабильность.

Классификация сплайнов

В зависимости от постановки задачи и накладываемых ограничений, сплайны делятся на несколько классов:

Интерполяционные сплайны: Проходят точно через все заданные узлы данных $(x_i, y_i)$ . Используются, когда данные считаются точными (например, в компьютерной графике или CAD-системах).
Сглаживающие сплайны (Smoothing Splines): Не проходят точно через узлы, а находят компромисс между близостью к данным и гладкостью кривой. Являются основным инструментом в непараметрической регрессии.
Натуральные сплайны (Natural Splines): Кубические сплайны, которые налагают дополнительное условие: за пределами крайних узлов функция становится линейной. Это предотвращает нежелательные осцилляции на краях диапазона данных.
Регрессионные сплайны (Regression Splines): Используются как базисные функции для расширения признакового пространства в линейных моделях.

Сплайны в статистике и машинном обучении

1. 1. Сглаживающие сплайны и регуляризация

В статистике сглаживающий сплайн $f(x)$ для выборки $(x_i, y_i)$ находится путём минимизации функционала:

$L(f) = \sum_{i=1}^n (y_i - f(x_i))^2 + \lambda \int_a^b [f''(x)]^2 dx$

Первое слагаемое — это метод наименьших квадратов (RSS), обеспечивающий близость к данным. Второе слагаемое — это штраф за шероховатость (roughness penalty), где $\lambda \ge 0$ — параметр сглаживания.

Если $\lambda = 0$ , мы получаем интерполяционный сплайн.
Если $\lambda \to \infty$ , штраф за кривизну бесконечен, и решением становится прямая линия (линейная регрессия).

С точки зрения машинного обучения, параметр $\lambda$ играет роль коэффициента регуляризации (аналогично $L2$ в гребневой регрессии), предотвращая переобучение.

1. 1. Сплайны как генераторы признаков (Feature Engineering)

В классическом машинном обучении сплайны используются для преобразования нелинейных числовых признаков в линейные модели. Исходный признак $x$ заменяется на набор базисных функций $B_1(x), B_2(x), \dots, B_K(x)$ . Затем эти новые признаки подаются на вход линейной регрессии или GLM. Это позволяет линейным моделям улавливать сложные нелинейные паттерны, сохраняя интерпретируемость и скорость обучения.

1. 1. Сплайны в глубоком обучении (KAN)

В 2024 году сплайны совершили прорыв в глубоком обучении. В архитектуре KAN традиционные скалярные веса и фиксированные функции активации заменены на обучаемые одномерные функции, параметризованные B-сплайнами. В отличие от MLP, где нелинейность находится в узлах, в KAN нелинейные сплайны находятся на рёбрах графа. Это позволяет сети не только аппроксимировать данные, но и извлекать из них аналитические символьные формулы, что критически важно для задач символьной регрессии и научного машинного обучения (SciML).

Выбор узлов и практические аспекты

Для инженера по машинному обучению критически важно правильно настраивать узлы сплайна:

Количество и расположение узлов: Чем больше узлов, тем выше гибкость модели, но тем выше риск переобучения. На практике узлы часто располагают в квантилях распределения признака (например, в 25-м, 50-м и 75-м перцентилях), чтобы обеспечить равномерное покрытие области значений.
Граничные узлы: Для кубических сплайнов необходимо добавлять «фиктивные» (boundary) узлы за пределами диапазона данных. Обычно их располагают симметрично крайним узлам, чтобы корректно вычислять B-сплайны на границах.
Подбор параметра $\lambda$ : В сглаживающих сплайнах параметр регуляризации $\lambda$ подбирается с помощью кросс-валидации (обычно по минимуму обобщённой кросс-валидации, GCV).

Практическое руководство для инженера

Как применять сплайны в задачах анализа данных:

1. Используйте сплайны для EDA и интерпретации: Постройте график зависимости целевой переменной от непрерывного признака с помощью сглаживающего сплайна (например, через `seaborn.regplot` или `pyGAM`). Это даст вам интуитивное понимание нелинейности связи до построения сложных моделей. 2. Применяйте в табличных данных: Если вы используете линейные модели (Logistic Regression, GLM) для табличных данных, замените «сырые» числовые признаки на их сплайновое разложение (используйте библиотеки `patsy`, `category_encoders` или `scipy.interpolate`). Это часто даёт прирост к качеству (AUC-ROC) без потери скорости инференса. 3. Избегайте в неструктурированных данных: Не пытайтесь использовать сплайны для обработки изображений, текста или аудио. Для задач высокой размерности и пространственных зависимостей используйте CNN или трансформеры. 4. Экспериментируйте с KAN: Если ваша задача связана с физикой, инженерией или требует вывода явных уравнений из данных, попробуйте библиотеку `efficient-kan` для построения сетей Колмогорова-Арнольда.

См. также

Примечания

Литература

Schoenberg I. J. Contributions to the problem of approximation of equidistant data by analytic functions // Quarterly of Applied Mathematics. — 1946. — Vol. 4, no. 2. — P. 112-141.
de Boor C. A Practical Guide to Splines. — Springer-Verlag, 1978. — 325 p.
Hastie T. J., Tibshirani R. J. Generalized Additive Models. — CRC Press, 1990. — 335 p.
Friedman J. H. Multivariate adaptive regression splines // The Annals of Statistics. — 1991. — Vol. 19, no. 1. — P. 1-67.
Green P. J., Silverman B. W. Nonparametric Regression and Generalized Linear Models: A Roughness Penalty Approach. — CRC Press, 1994. — 198 p.
Liu Z., Wang Y., Vaidya S., Ruehle F., Halbleib A., Chen Y., ... & Tegmark M. KAN: Kolmogorov-Arnold Networks // Advances in Neural Information Processing Systems (NeurIPS). — 2024. — arXiv:2404.19756.

Источник — «http://machinelearning.ru/wiki/index.php?title=%D0%A1%D0%BF%D0%BB%D0%B0%D0%B9%D0%BD»