МЛР

Материал из MachineLearning.

Версия 21:43, 4 января 2010 (править) Касперский Иван (Обсуждение | вклад) ← К предыдущему изменению		Текущая версия (18:57, 8 января 2010) (править) (отменить) Касперский Иван (Обсуждение | вклад) (Перенаправление на Многомерная линейная регрессия)
(34 промежуточные версии не показаны)
Строка 1:		Строка 1:
-	{{Задание|Касперский Иван|Константин Воронцов|{{дата|6|1|2009}}, а сейчас {{дата}}}}	+	#REDIRECT [[Многомерная линейная регрессия]]
-	== Многомерная линейная регрессия ==	+
-	Имеется множество объектов <tex>X = \mathbb{R} ^n</tex> и множество ответов <tex>Y = \mathbb{R}</tex>. Также имеется набор <tex>n</tex> вещественнозначных признаков <tex>f_j(x), \ j=1, \ \ldots , \ n</tex>. Введём матричные обозначения: матрицу информации <tex>F</tex>, целевой вектор <tex>y</tex> и вектор параметров <tex>\alpha</tex>:	+
-	:<tex>F=\(f_1(x_1)\ \ \ldots\ \ f_n(x_1)<br>\ \vdots\ \ \ \ \ \ \ \ \ \ \ddots\ \ \ \ \vdots<br>f_1(x_l)\ \ \ldots\ \ f_n(x_l)\)\;, \ \ \ y=\(y_1<br>\ \vdots<br>y_l\)\;, \ \ \ \alpha=\(\alpha_1<br>\ \vdots<br>\alpha_n\)\ .</tex>	+
-		+
-	Алгоритм:	+
-	:<tex>a(x) = \sum_{j=1}^n\alpha_jf_j(x)</tex>.	+
-		+
-	Оценим качество его работы на выборке <tex>X^l = (x_i,\ y_i)_{i=1}^l \in X*Y</tex> [[Метод наименьших квадратов| методом наименьших квадратов]]:	+
-	:<tex>Q(\alpha, X^l) = \sum_{i=1}^l(a(x_i) - y_i)^2 \rightarrow \min_{\alpha \in \mathbb{R}^n}</tex>, или, в матричных обозначениях,<br />	+
-	:<tex>Q(\alpha)\ =\ \parallel (F\alpha\ -\ y)\parallel^2 \rightarrow \min_{\alpha \in \mathbb{R}^n}</tex>.	+
-		+
-	Найдём минимум <tex>Q(\alpha)</tex> по α:	+
-	:<tex>\frac{\partial Q (\alpha)}{\partial \alpha} = 2 F^T (F\alpha - y) = 0\ \Rightarrow\ (F^TF)\alpha = F^Ty</tex>	+

---

Текущая версия

1. REDIRECT Многомерная линейная регрессия