Метод наименьших углов (пример)

Материал из MachineLearning.

(Различия между версиями)

Версия 13:51, 21 апреля 2009

Метод наименьших углов (англ. least angle regression, LARS) - алгоритм отбора признаков в задачах линейной регрессии. Алгоритм предложили Бредли Эфрон, Тревор Хасти и Роберт Тибширани [1].

LARS решает следующую задачу. Пусть назначена линейная регрессионная модель. При большом количестве свободных переменных возникает проблема неустойчивого оценивания весов модели. LARS предлагает метод выбора такого набора свободных переменных, который имел бы наиболее значимую статистическую связь с зависимой переменной. Также LARS предлагает метод оценки весов.

Алгоритм LARS похож на алгоритм шаговой регрессии. Различие в том, что вместо последовательного добавления свободных, на каждом шаге алгоритмов происходит измерение весов модели. Веса увеличиваются так, чтобы доставить наибольшую корреляцию с вектором регрессионных остатков. Основным достоинством LARS является то, что он выполняется за число шагов, не превышающее число свободных переменных. Частным случаем алгоритма LARS является алгоритм LASSO.

Постановка задачи

Задана выборка - матрица $X$ , столбцы которой соответствуют независимым переменным, а строки - элементам выборки и вектор $\mathbf{y}$ , содержащий элементы выборки. Назначена линейная модель $\mathbf{y}=X\mathbf{\beta}+\mathbf{\varepsilon}$ .

Обозначим множество столбцов матрицы $X$ как $\{\mathbf{x}_1,\ldots,\mathbf{x}_n\}$ . Пусть выполнены условия нормировки

$\|\mathbf{y}\|_1=0,$ $\|\mathbf{x}_j\|_1=0,$ $\|\mathbf{x}_j\|_2^2=0,$ nbsp; где j=1,\ldots,n.</tex>

Предполагается, что векторы $\mathbf{x}_1,\ldots,\mathbf{x}_n$ линейно независимы.

Критерием качества модели назначена среднеквадратичная ошибка

$S(\mathbf{\beta}) = \|\mathbf{y}-\mathbf{\mu}\|^2,$ где $\mathbf{\mu} = X\mathbf{\beta}.$

Требуется найти для каждого шага LARS вектор весов $\mathbf{\beta}$ и набор столбцов, доставляющий наибольшую корреляцию векторов $\mathbf{\mu}$ и $\mathbf{y}$ .

Описание алгоритма

LARS последовательными шагами строит оценку коэффициентов $\hat{\mathbf{\beta}}$ . На $k$ -м шаге только $k$ элементов вектора $\hat{\mathbf{\beta}}$ отличны от нуля. Алгоритм последовательно вычисляет приближение вектора значений зависимой переменной

$\mathbf{\mu}=X\mathbf{\beta}.$

Для приближений используется вектор корреляций столбцов матрицы $X$ с вектором остатков $\mathbf{y}-\mathbf{\mu}$

$\mathbf{c}(\mathbf{\mu})=X^T(\mathbf{y}-\mathbf{\mu}).$

Пример работы алгоритма в случае двух переменных. Пусть вектор является проекцией вектора на линейное подпространство . Назначим начальное приближение . Вектор регрессионных остатков коррелирует с вектором больше, чем с вектором . Первый шаг заключается в оценке . Скаляр выбирается таким образом, что вектор остатков делит пополам угол между векторами и . Далее получаем значение , где - единичный вектор, делящий этот угол пополам. Так как мы рассматриваем случай двух переменных, то .

Пример работы алгоритма в случае двух переменных. Пусть вектор $\bar{\mathbf{y}}_2$ является проекцией вектора $\mathbf{y}$ на линейное подпространство $\text{span}(\mathbf{x}_1,\mathbf{x}_2)$ . Назначим начальное приближение $\hat{\mathbf{\mu}}_0= </p> \mathbf{0}$ . Вектор регрессионных остатков $\bar{\mathbf{y}}_2-\hat{\mathbf{\mu}}_0$ коррелирует с вектором $\mathbf{x}_1$ больше, чем с вектором $\mathbf{x}_2$ . Первый шаг заключается в оценке $\hat{\mathbf{\mu}}_1=\hat{\mathbf{\mu}}_0+\gamma_1\mathbf{x}_1$ . Скаляр $\gamma_1$ выбирается таким образом, что вектор остатков $\bar{\mathbf{y}}_2-\hat{\mathbf{\mu}}_0$ делит пополам угол между векторами $\mathbf{x}_1$ и $\mathbf{x}_2$ . Далее получаем значение $\hat{\mathbf{\mu}}_2=\hat{\mathbf{\mu}}_1+\gamma_2\mathbf{u}_2$ , где $\mathbf{u}_2$ - единичный вектор, делящий этот угол пополам. Так как мы рассматриваем случай двух переменных, то $\hat{\mathbf{\mu}}_2=\bar{\mathbf{y}}_2$ .

На $k$ -м шаге новое значение приближения вектора значений зависимой переменной $\mathbf{y}$ вычисляется как

$\hat{\mathbf{\mu}}_k=\hat{\mathbf{\mu}}_{k-1}+\gamma_k\mathbf{u}_k.$

Здесь $\mathbf{u}_k$ - единичный вектор, задающий биссектрису векторов--столбцов матрицы $X$ .

Он вычисляется следующим образом. Пусть $\mathcal{A}$ - подмножество индексов $\{1,\dots,n\}$ столбцов матрицы $X$ . Это подмножество задает подматрицу

$X_\mathcal{A} = [s_{j_1}\mathbf{x}_{j_1},\ldots,s_{j_{|\mathcal{A}|}}\mathbf{x}_{j_{|\mathcal{A}|}}], j\in\mathcal{A},$

где множитель $s\in\{+1, -1\}$ и $|\mathcal{A}|$ - мощность множества $\mathcal{A}$ . Обозначим ковариационную матрицу

$\mathcal{G} = X_{\mathcal{A}}^TX_{\mathcal{A}}$ и $A_{\mathcal{A}} = (\mathbf{1}_{\mathcal{A}}^T\mathcal{G}^{-1}_{\mathcal{A}}\mathbf{1}_{\mathcal{A}})^{-\frac{1}{2}},$

где $\mathbf{1}_{\mathcal{A}}$ - вектор, состоящий из $|\mathcal{A}|$ единиц.

Вычислим единичный вектор

$\mathbf{u}_{\mathcal{A}} = X_{\mathcal{A}}\mathbf{w}_{\mathcal{A}}, </p>$ где $\mathbf{w}_{\mathcal{A}} = A_{\mathcal{A}}\mathcal{G}_{\mathcal{A}}^{-1}\mathbf{1}_{\mathcal{A}}.$

Вектор $\mathbf{u}$ образует со столбцами матрицы $X_{\mathcal{A}}$ одинаковые углы, меньшие $\frac{\pi}{2}$ . Справедливы равенства

$X'_{\mathcal{A}}\mathbf{u}_{\mathcal{A}} = A_{\mathcal{A}}\mathbf{1}_{\mathcal{A}}$ и $\|\mathbf{u}_{\mathcal{A}}\|^{2} = 1.$

Выполнение алгоритма

Назначим начальную оценку вектора значений зависимой переменной $\hat{\mathbf{\mu}}=\mathbf{0}$ . Вычислим текущую оценку $\hat{\mathbf{\mu}}_{\mathcal{A}}$ и вектор корреляций

$\hat{\mathbf{c}} = X^T(\mathbf{y}-\hat{\mathbf{\mu}}_{\mathcal{A}}).$

Найдем текущий набор индексов $\mathcal{A}$ , соответствующих признакам с наибольшими абсолютными значениями корреляций

$\hat C = \max_{j=1,\ldots,n}\{|\hat c_j|\}$ и $\mathcal{A} = \{j:|\hat c_j| = \hat C\}.$

Пусть $s_j = \text{sign}(\hat c_j)$ для $j\in\mathcal{A}.$ Построим матрицы $X_{\mathcal{A}}$ , $A_{\mathcal{A}}$ . Вычислим вектор $\mathbf{u}_{\mathcal{A}}$ и вектор скалярных произведений

$\mathbf{a}=X^T\mathbf{u}_{\mathcal{A}}.$

Пересчитаем значение вектора $\hat{\mathbf{\mu}}_{\mathcal{A}}$

$\hat{\mathbf{\mu}}_{\mathcal{A_{+}}} = \hat{\mathbf{\mu}}_{\mathcal{A}} + \hat\gamma\mathbf{u}_{\mathcal{A}},$

где

$\hat\gamma = {\min_{j\in\mathcal{A}^c}}^{+}\lbrace\frac{\hat{C}-\hat c_i}{A_{\mathcal{A}}-a_j},\frac{\hat C + \hat c_j}{A_{\mathcal{A}}+a_j}\rbrace.$ (*)

Минимум берется по всем положительным значениям аргументов для каждого $j$ .

Алгоритм повторяется $n$ раз.

Замечание

Величина $\gamma$ в формуле (*) интерпретируется следующим образом. Определим

$\mathbf{\mu}(\gamma) = {\mathbf{\mu}}_{\mathcal{A}}+\gamma\mathbf{u}_{\mathcal{A}}$

при условии $\gamma>0$ . Корреляция по добавляемому $j$ -му признаку равна

$c_j(\gamma)=\mathbf{x}_j^T(\mathbf{y}-\mathbf{\mu}(\gamma)) = c_{j} - \gamma a_{j}.$

Для $j\in\mathcal{A}$ получаем

$|c_{j}(\gamma)|=C-\gamma A_{\mathcal{A}}.$

Это означает, что все рассматриваемые на данном шаге максимальные абсолютные корреляции уменьшаются на одну и ту же величину. Из предыдущих двух соотношений мы видим, что при $j\in \mathcal{A}^c$ корреляция $c_j(\gamma)$ принимает наибольшее значение при

$\gamma = \frac{C-c_{j}}{A_{\mathcal{A}}-a_j}.$

Аналогично, корреляция $-c_j(\gamma)$ принимает наибольшее значение при

$\gamma = \frac{C+c_{j}}{A_{\mathcal{A}}+a_j}.$

Таким образом, $\gamma$ в выражении (*) - минимальная положительная величина, при которой новый индекс $j$ может быть добавлен в набор $\mathcal{A}$ .

Пример

Литература

Tibshirani R. Regression shrinkage and Selection via the Lasso. // Journal of the Royal Statistical Society.Series B(Metodological). 1996 Vol. 32, \No 1, p.267-288.
Efron B., Hastie T., Johnstone J., Tibshirani R. Least Angle Regression. // The Annals of Statistics, 2004. Vol. 32, \No 2, p. 407-499.

\end{thebibliography} \end{document}

См. также

Источник — «http://machinelearning.ru/wiki/index.php?title=%D0%9C%D0%B5%D1%82%D0%BE%D0%B4_%D0%BD%D0%B0%D0%B8%D0%BC%D0%B5%D0%BD%D1%8C%D1%88%D0%B8%D1%85_%D1%83%D0%B3%D0%BB%D0%BE%D0%B2_%28%D0%BF%D1%80%D0%B8%D0%BC%D0%B5%D1%80%29»

Категория: Регрессионный анализ

@@ Строка 1: / Строка 1: @@
-Метод наименьших углов (англ.&nbsp;least angle regression, LARS) — алгоритм отбора признаков в задачах линейной [[регрессия|регрессии]].
+Метод наименьших углов (англ.&nbsp;least angle regression,&nbsp;LARS)&nbsp;-
-Алгоритм предложили Бредли Эфрон, Тревор Хасти и Роберт Тибширани [http://stat.stanford.edu/~imj/WEBLIST/2004/LarsAnnStat04.pdf].
+алгоритм отбора признаков в задачах линейной [[регрессия|регрессии]].
+Алгоритм предложили Бредли Эфрон, Тревор Хасти и Роберт Тибширани
+[http://stat.stanford.edu/&nbsp;imj/WEBLIST/2004/LarsAnnStat04.pdf].
-LARS решает следующую задачу. Пусть назначена [[линейная регрессия|линейная регрессионная модель]].
+LARS решает следующую задачу. Пусть назначена [[линейная регрессия (пример)|линейная регрессионная модель]].
-При большом количестве свободных переменных возникает проблема [[регуляризация|неустойчивого оценивания]] весов модели.
+При большом количестве свободных переменных возникает проблема [[ридж-регрессия|неустойчивого оценивания]] весов модели.
 LARS предлагает метод выбора такого набора свободных переменных, который имел бы наиболее значимую статистическую связь с
 зависимой переменной. Также LARS предлагает метод оценки весов.
@@ Строка 11: / Строка 13: @@
 с вектором [[анализ регрессионных остатков|регрессионных остатков]].
 Основным достоинством LARS является то, что он выполняется за число шагов, не превышающее число свободных переменных.
 Частным случаем алгоритма LARS является алгоритм [[Лассо|LASSO]].
-{{stub}}
+== Постановка задачи ==
+Задана выборка&nbsp;- матрица&nbsp;<tex>X</tex>, столбцы которой соответствуют независимым переменным, а строки&nbsp;- элементам выборки и вектор&nbsp;<tex>\mathbf{y}</tex>,
+содержащий элементы выборки. Назначена линейная модель <tex>\mathbf{y}=X\mathbf{\beta}+\mathbf{\varepsilon}</tex>.
+Обозначим множество столбцов матрицы <tex>X</tex> как <tex>\{\mathbf{x}_1,\ldots,\mathbf{x}_n\}</tex>.
+Пусть выполнены условия нормировки
+<center><tex> \|\mathbf{y}\|_1=0, </tex>&nbsp;&nbsp;&nbsp;<tex> \|\mathbf{x}_j\|_1=0, </tex>&nbsp;&nbsp;&nbsp; <tex>\|\mathbf{x}_j\|_2^2=0, </tex>nbsp;&nbsp;&nbsp;где&nbsp;&nbsp;&nbsp; j=1,\ldots,n.</tex></center>
+Предполагается, что векторы <tex>\mathbf{x}_1,\ldots,\mathbf{x}_n</tex> линейно независимы.
+Критерием качества модели назначена среднеквадратичная ошибка
+<center><tex> S(\mathbf{\beta}) = \|\mathbf{y}-\mathbf{\mu}\|^2, </tex>&nbsp;&nbsp;&nbsp; где&nbsp;&nbsp;&nbsp;<tex>\mathbf{\mu} = X\mathbf{\beta}.</tex></center>
+Требуется найти для каждого шага LARS вектор весов&nbsp;<tex>\mathbf{\beta}</tex> и набор столбцов,
+доставляющий наибольшую корреляцию векторов&nbsp;<tex>\mathbf{\mu}</tex> и&nbsp;<tex>\mathbf{y}</tex>.
+== Описание алгоритма ==
+LARS последовательными шагами строит оценку коэффициентов <tex>\hat{\mathbf{\beta}}</tex>.
+На&nbsp;<tex>k</tex>-м шаге только&nbsp;<tex>k</tex> элементов вектора <tex>\hat{\mathbf{\beta}}</tex> отличны от нуля.
+Алгоритм последовательно вычисляет приближение вектора значений зависимой переменной
+<center><tex>\mathbf{\mu}=X\mathbf{\beta}.</tex></center>
+Для приближений используется вектор корреляций столбцов матрицы&nbsp;<tex>X</tex> с&nbsp;вектором остатков&nbsp;<tex>\mathbf{y}-\mathbf{\mu}</tex>
+<center><tex>\mathbf{c}(\mathbf{\mu})=X^T(\mathbf{y}-\mathbf{\mu}).</tex></center>
+[[Изображение:lars_2d.png|right|frame|
+Пример работы алгоритма в случае двух переменных. Пусть вектор&nbsp;<tex>\bar{\mathbf{y}}_2</tex> является проекцией вектора&nbsp;<tex>\mathbf{y}</tex>
+на линейное подпространство <tex>\text{span}(\mathbf{x}_1,\mathbf{x}_2)</tex>. Назначим начальное приближение&nbsp;<tex>\hat{\mathbf{\mu}}_0=
+\mathbf{0}</tex>. Вектор регрессионных остатков&nbsp;<tex>\bar{\mathbf{y}}_2-\hat{\mathbf{\mu}}_0</tex> коррелирует с&nbsp;вектором&nbsp;<tex>\mathbf{x}_1</tex> больше,
+чем с вектором&nbsp;<tex>\mathbf{x}_2</tex>. Первый шаг заключается в оценке&nbsp;<tex>\hat{\mathbf{\mu}}_1=\hat{\mathbf{\mu}}_0+\gamma_1\mathbf{x}_1</tex>.
+Скаляр&nbsp;<tex>\gamma_1</tex> выбирается таким образом, что вектор остатков&nbsp;<tex>\bar{\mathbf{y}}_2-\hat{\mathbf{\mu}}_0</tex>
+делит пополам угол между векторами&nbsp;<tex>\mathbf{x}_1</tex> и&nbsp;<tex>\mathbf{x}_2</tex>. Далее получаем значение&nbsp;<tex>\hat{\mathbf{\mu}}_2=\hat{\mathbf{\mu}}_1+\gamma_2\mathbf{u}_2</tex>,
+где&nbsp;<tex>\mathbf{u}_2</tex>&nbsp;- единичный вектор, делящий этот угол пополам.
+Так как мы рассматриваем случай двух переменных, то
+<tex>\hat{\mathbf{\mu}}_2=\bar{\mathbf{y}}_2</tex>.
+]]
+На <tex>k</tex>-м шаге новое значение приближения вектора значений зависимой переменной&nbsp;<tex>\mathbf{y}</tex> вычисляется&nbsp;как
+<center><tex>\hat{\mathbf{\mu}}_k=\hat{\mathbf{\mu}}_{k-1}+\gamma_k\mathbf{u}_k.</tex></center>
+Здесь&nbsp;<tex>\mathbf{u}_k</tex>&nbsp;- единичный вектор, задающий биссектрису векторов--столбцов матрицы&nbsp;<tex>X</tex>.
+Он вычисляется следующим образом. Пусть <tex>\mathcal{A}</tex> &nbsp;- подмножество индексов <tex>\{1,\dots,n\}</tex> столбцов матрицы&nbsp;<tex>X</tex>.
+Это подмножество задает подматрицу
+<center><tex>X_\mathcal{A} = [s_{j_1}\mathbf{x}_{j_1},\ldots,s_{j_{|\mathcal{A}|}}\mathbf{x}_{j_{|\mathcal{A}|}}], j\in\mathcal{A},</tex></center>
+где множитель&nbsp;<tex>s\in\{+1, -1\}</tex> и <tex>|\mathcal{A}|</tex>&nbsp;- мощность множества&nbsp;<tex>\mathcal{A}</tex>.
+Обозначим ковариационную матрицу
+<center><tex>\mathcal{G} = X_{\mathcal{A}}^TX_{\mathcal{A}} </tex>&nbsp;&nbsp;и&nbsp;&nbsp; <tex>A_{\mathcal{A}} = (\mathbf{1}_{\mathcal{A}}^T\mathcal{G}^{-1}_{\mathcal{A}}\mathbf{1}_{\mathcal{A}})^{-\frac{1}{2}},</tex></center>
+где <tex>\mathbf{1}_{\mathcal{A}}</tex> &nbsp;- вектор, состоящий из&nbsp;<tex>|\mathcal{A}|</tex> единиц.
+Вычислим единичный вектор
+<center><tex>\mathbf{u}_{\mathcal{A}} = X_{\mathcal{A}}\mathbf{w}_{\mathcal{A}},
+</tex>&nbsp;&nbsp;где&nbsp;&nbsp;<tex>\mathbf{w}_{\mathcal{A}} = A_{\mathcal{A}}\mathcal{G}_{\mathcal{A}}^{-1}\mathbf{1}_{\mathcal{A}}.</tex></center>
+Вектор&nbsp;<tex>\mathbf{u}</tex> образует со столбцами матрицы&nbsp;<tex>X_{\mathcal{A}}</tex> одинаковые углы, меньшие <tex>\frac{\pi}{2}</tex>.
+Справедливы равенства
+<center><tex>X'_{\mathcal{A}}\mathbf{u}_{\mathcal{A}} = A_{\mathcal{A}}\mathbf{1}_{\mathcal{A}}</tex>&nbsp;&nbsp;и&nbsp;&nbsp;<tex>\|\mathbf{u}_{\mathcal{A}}\|^{2} = 1.</tex></center>
+== Выполнение алгоритма ==
+Назначим начальную оценку вектора значений зависимой переменной&nbsp;<tex>\hat{\mathbf{\mu}}=\mathbf{0}</tex>.
+Вычислим текущую оценку&nbsp;<tex>\hat{\mathbf{\mu}}_{\mathcal{A}}</tex> и вектор корреляций
+<center><tex>\hat{\mathbf{c}} = X^T(\mathbf{y}-\hat{\mathbf{\mu}}_{\mathcal{A}}).</tex></center>
+Найдем текущий набор индексов&nbsp;<tex>\mathcal{A}</tex>, соответствующих признакам с наибольшими абсолютными значениями корреляций
+<center><tex>\hat C = \max_{j=1,\ldots,n}\{|\hat c_j|\} </tex>&nbsp;&nbsp;и&nbsp;&nbsp;<tex>\mathcal{A} = \{j:|\hat c_j| = \hat C\}.</tex></center>
+Пусть&nbsp;<tex>s_j = \text{sign}(\hat c_j)</tex> для <tex>j\in\mathcal{A}.</tex>
+Построим матрицы <tex>X_{\mathcal{A}}</tex>,&nbsp;<tex>A_{\mathcal{A}}</tex>. Вычислим вектор&nbsp;<tex>\mathbf{u}_{\mathcal{A}}</tex> и вектор скалярных произведений
+<center><tex>\mathbf{a}=X^T\mathbf{u}_{\mathcal{A}}.</tex></center>
+Пересчитаем значение вектора <tex>\hat{\mathbf{\mu}}_{\mathcal{A}}</tex>
+<center><tex>\hat{\mathbf{\mu}}_{\mathcal{A_{+}}} = \hat{\mathbf{\mu}}_{\mathcal{A}} + \hat\gamma\mathbf{u}_{\mathcal{A}},</tex></center>
+где
+<center><tex>\hat\gamma = {\min_{j\in\mathcal{A}^c}}^{+}\lbrace\frac{\hat{C}-\hat c_i}{A_{\mathcal{A}}-a_j},\frac{\hat C + \hat c_j}{A_{\mathcal{A}}+a_j}\rbrace. </tex> (*)</center>
+Минимум берется по всем положительным значениям аргументов для каждого&nbsp;<tex>j</tex>.
+Алгоритм повторяется&nbsp;<tex>n</tex> раз.
+== Замечание ==
+Величина&nbsp;<tex>\gamma</tex> в формуле&nbsp;(*) интерпретируется следующим образом.
+Определим
+<center><tex>\mathbf{\mu}(\gamma) = {\mathbf{\mu}}_{\mathcal{A}}+\gamma\mathbf{u}_{\mathcal{A}}</tex></center>
+при условии <tex>\gamma>0</tex>. Корреляция по добавляемому&nbsp;<tex>j</tex>-му признаку равна
+<center><tex>c_j(\gamma)=\mathbf{x}_j^T(\mathbf{y}-\mathbf{\mu}(\gamma)) =  c_{j} - \gamma a_{j}.</tex></center>
+Для <tex>j\in\mathcal{A}</tex> получаем
+<center><tex>|c_{j}(\gamma)|=C-\gamma A_{\mathcal{A}}.</tex></center>
+Это означает, что все рассматриваемые на данном шаге максимальные абсолютные корреляции уменьшаются на одну и ту же величину.
+Из предыдущих двух соотношений мы видим,
+что при <tex>j\in \mathcal{A}^c</tex> корреляция <tex>c_j(\gamma)</tex> принимает наибольшее значение при
+<center><tex>\gamma = \frac{C-c_{j}}{A_{\mathcal{A}}-a_j}.</tex></center>
+Аналогично, корреляция <tex>-c_j(\gamma)</tex> принимает наибольшее значение при
+<center><tex>\gamma = \frac{C+c_{j}}{A_{\mathcal{A}}+a_j}.</tex></center>
+Таким образом,&nbsp;<tex>\gamma</tex> в выражении&nbsp;(*)&nbsp;- минимальная положительная величина, при которой новый индекс&nbsp;<tex>j</tex>
+может быть добавлен в набор&nbsp;<tex>\mathcal{A}</tex>.
+== Пример ==
+== Литература ==
+* Tibshirani&nbsp;R. Regression shrinkage and Selection via the Lasso.&nbsp;// Journal of the Royal Statistical Society.Series B(Metodological). 1996&nbsp; Vol.&nbsp;32,&nbsp;\No&nbsp;1, p.267-288.
+* Efron&nbsp;B., Hastie&nbsp;T., Johnstone&nbsp;J., Tibshirani&nbsp;R. Least Angle Regression.&nbsp;// The Annals of Statistics, 2004. Vol.&nbsp;32, \No&nbsp;2, p.&nbsp;407-499.
+\end{thebibliography}
+\end{document}
+== См. также ==
+* [http://strijov.com/sources/demo_lars.php Полный текст данного примера]
+* [[Регрессионный анализ]]
+* [[Регрессионная модель]]
+* [[Линейная регрессия (пример)]]
+* [[Порождение линейных регрессионных моделей (постановка задачи)]]
+* [[Лассо]]
+[[Категория:Регрессионный анализ]]

Метод наименьших углов (пример)

Материал из MachineLearning.

Версия 13:51, 21 апреля 2009

Содержание

Постановка задачи

Описание алгоритма

Выполнение алгоритма

Замечание

Пример

Литература

См. также

Просмотры

Личные инструменты

Навигация

Поиск

Инструменты