Обсуждение:Логистическая регрессия (пример)

Материал из MachineLearning.

Версия от 09:25, 2 августа 2009; Strijov (Обсуждение | вклад)

(разн.) ← Предыдущая | Текущая версия (разн.) | Следующая → (разн.)

Содержание

1 Зачем плодить статьи об одном и том же?
2 А вот зачем!
3 Предлагаю пересмотреть критерий останова для данного примера
4 Поддреживаю предложение

Зачем плодить статьи об одном и том же?

Почему данный материал не дописан в конец уже существующей статьи Логистическая регрессия? Там как раз оставлена заготовка раздела под методы оптимизации. Если не нравятся введённые там обозначения, так надо поменять их на более стандартные. Что теперь, по каждому методу или понятию, если появляется пример, так его оформлять как отдельную статью? А если второй пример появится — снова отдельная статья? — К.В.Воронцов 23:09, 10 ноября 2008 (MSK)

А вот зачем!

Статьи с пометкой «(пример)» являются отдельным жанром и отвечают на важный вопрос «как делать?», а не на вопрос «что это?» и не на вопрос «почему?». Эти статьи ничего не объясняют и не будут объяснять. (Этот вопрос обсуждался ранее.)

Да. По каждому методу или понятию, если появится пример, он будет помещен в отдельную статью. Во-первых, потому, что в статье формата «(пример)» есть описание исходных данных. Оно не относится к теме статьи. Во-вторых, там приведен код. Иногда довольно длинный. Это удобно для использования кода, но неудобно для понимания теоретической сути предмета.

Да. Если появиться второй пример, будет написана отдельная статья. Не нужно смешивать два разных примера в одну кучу.

Кстати, когда была написана статья Линейная регрессия (пример), никто не предлагал слить ее с другой, например, с этой.

Заготовку видел, как только появиться время или потребность (делай запрос ;-) с удовольствием помещу туда метод Ньютона-Рафсона применительно к логистической регрессии — с объяснением «почему сделано именно так». Жду запроса!

Последнее. Риторический вопрос, что лучше для проекта: одна большая эклектичная статья или две маленьких целостных и указывающих друг на друга?

Плодитесь и размножайтесь! — В.В.Стрижов 10:32, 11 ноября 2008 (MSK)

Предлагаю пересмотреть критерий останова для данного примера

Мысли:

sumsqr никак не нормируется на длину выборки, а значит константа 0.1 для выброк с разной длинной будет означать разное время останова.
Невероятно, но факт - алгоритм начинает расходиться после некоторого шага так и не достигнув критерия останова на некоторых данных! Для решения этой проблемы я ввел дополнительную проверку - неувеличение sumsqr(b - b_old) при очередном шаге. Если вдруг эта величина увеличилась, то необходимо остановиться и выдать b_old в качестве ответа. Скорее всего это происходит из-за зануления некоторых весов. Еще один вариант решения - удалять объекты со слишком маленькими весами и продолжение обучения.

Поддреживаю предложение

1. Пусть случайная аддитивная переменная $\nu$ регрессионной модели $y=f(\vec{\beta},\x)+\nu$ имеет нормальное распределение $\mathcal{N}(0,\sigma^2_\nu)$ .

Тогда, с учетом гомоскедастичности регрессионных остатков, распределение зависимой переменной имеет вид

$p(y|x,\vec{\beta},\sigma^2_\nu,f)=\frac{\exp(-\frac{1}{\sigma^2_\nu}S(D|\vec{\beta},f))}{(2\pi \sigma^2_\nu)^{\frac{n}{2}}},$

где $S$ - сумма квадратов невязок $y_i-f(\vec{\beta},\x_i)$ , $n$ - число элементо выборки. Это нужно привязать к функции связи и к текущему алгоритму.