Обсуждение участника:Riabenko

Материал из MachineLearning.

Версия от 04:25, 24 октября 2011; Riabenko (Обсуждение | вклад)

(разн.) ← Предыдущая | Текущая версия (разн.) | Следующая → (разн.)

М-оценки — широкий класс статистических оценок, доставляющих минимум суммы каких-либо функций от данных:

$\hat{\theta}=\arg\min_{\displaystyle\theta}\left(\sum_{i=1}^N\rho(x_i, \theta)\right) \,\!$

М-оценками являются, в частности, оценки наименьших квадратов, а также многие оценки максимального правдоподобия.

Функция $\rho$ выбирается таким образом, чтобы обеспечить желаемые свойства оценки (несмещённость и эффективность) в условиях, когда данные взяты из известного распределения, и достаточную устойчивость к отклонениям от этого распределения.

M-оценки положения распределения

Для положения распределения М-оценки задаются следующим образом:

$\hat{\theta}=\arg\min_{\displaystyle\theta}\left(\sum_{i=1}^N\rho(x_i - \theta)\right), \,\!$

$\rho(0)=0, \;\; \rho(x)\geq 0 \forall x, \;\; \rho(-x)=\rho(x), \;\; \rho(x_1)\geq\rho(x_2)$ при $|x_1|>|x_2|.$

Задача минимизации приводит к уравнению

$\sum_{i=1}^N \psi(x_i-\theta)=0,$

где $\psi$ – производная $\rho$ .

М-оценка	$\rho(x)$	$\psi(x)$	$w(x)$
Huber	$\begin{cases}x^2/2, & \|x\|\leq k \\ k\left(\|x\|-k/2\right), & \|x\|>k \end{cases}$	$\begin{cases}x, & \|x\|\leq k \\ k\operatorname{sgn}(x), & \|x\|>k \end{cases}$	$\begin{cases}1, & \|x\|\leq k \\ \frac{k}{x}, & \|x\|>k\end{cases}$
"fair"	$c^2\left(\frac{\|x\|}{c}-\log\left(1+\frac{\|x\|}{c}\right)\right)$	$\frac{x}{1+\frac{\|x\|}{c}}$	$\frac{1}{1+\frac{\|x\|}{c}}$
Cauchy	$\frac{c}{2}\log\left(1+\left(x/c\right)^2\right)$	$\frac{x}{1+\left(x/c\right)^2}$	$\frac{1}{1+\left(x/c\right)^2}$
Geman-McClure	$\frac{x^2/2}{1+x^2}$	$\frac{x}{\left(1+x^2\right)^2}$	$\frac{1}{\left(1+x^2\right)^2}$
Welsch	$\frac{c^2}{2}\left(1-\exp\left(-\left(x/c\right)^2\right)\right)$	$x\exp\left(-\left(x/c\right)^2\right)$	$\exp\left(-\left(x/c\right)^2\right)$
Tukey	$\begin{cases}\frac{c^2}{6}\left(1-\left(1-\left(x/c\right)^2\right)^3\right), & \|x\|\leq c \\ \frac{c^2}{6}, & \|x\|>c \end{cases}$	$\begin{cases}x\left(1\left(x/c\right)^2\right)^2 , & \|x\|\leq c \\ 0 , & \|x\|>c \end{cases}$	$\begin{cases}\left(1\left(x/c\right)^2\right)^2, & \|x\|\leq c \\ 0, & \|x\|>c \end{cases}$
Andrews	$\begin{cases}k^2\left(1-\cos\left(x/k\right)\right), & \|x\|\leq k\pi \\ 2k^2, & \|x\|>k\pi \end{cases}$	$\begin{cases}k\sin\left(x/k\right), & \|x\|\leq k\pi \\ 0, & \|x\|>k\pi \end{cases}$	$\begin{cases}\frac{\sin\left(x/k\right)}{x/k}, & \|x\|\leq k\pi \\ 0, & \|x\|>k\pi \end{cases}$

Следующая таблица содержит значения параметров методов, подобранные таким образом, чтобы при применении к стандартному нормальному распределению методы имели 95% эффективность.

М-оценка	Значение параметра
Huber	1.345
"fair"	1.3998
Cauchy	2.3849
Welsch	2.9846
Tukey	4.6851
Andrews	1.339

Ссылки

M-estimator - статья из английской Википедии

Категоризация статей

Женя, я вижу, ты активно работаешь над улучшением статей по статистике. Старайся уделять внимание категоризации статей, которые правишь. Необходимым является наличие хотя бы одной категории в статье, но их может быть и несколько. Подробнее о категоризации можно прочитать здесь: MachineLearning:Категоризация. И вообше, не стесняйся спрашивать, если нужна помощь или что-то не понятно. :) --Yury Chekhovich 22:17, 17 мая 2010 (MSD)

Хорошо, спасибо! --Riabenko 11:03, 25 мая 2010 (MSD)

Источник — «http://machinelearning.ru/wiki/index.php?title=%D0%9E%D0%B1%D1%81%D1%83%D0%B6%D0%B4%D0%B5%D0%BD%D0%B8%D0%B5_%D1%83%D1%87%D0%B0%D1%81%D1%82%D0%BD%D0%B8%D0%BA%D0%B0:Riabenko»

Категория: Прикладная статистика