Обсуждение:Логистическая регрессия (пример)
Материал из MachineLearning.
(Различия между версиями)
(→Поддреживаю предложение) |
|||
| (3 промежуточные версии не показаны) | |||
| Строка 9: | Строка 9: | ||
* Статьи с пометкой «(пример)» являются отдельным жанром и отвечают на важный вопрос «как делать?», а не на вопрос «что это?» и не на вопрос «почему?». Эти статьи ничего не объясняют и не будут объяснять. (Этот вопрос обсуждался ранее.) | * Статьи с пометкой «(пример)» являются отдельным жанром и отвечают на важный вопрос «как делать?», а не на вопрос «что это?» и не на вопрос «почему?». Эти статьи ничего не объясняют и не будут объяснять. (Этот вопрос обсуждался ранее.) | ||
| - | |||
| - | |||
* Да. По каждому методу или понятию, если появится пример, он будет помещен в отдельную статью. Во-первых, потому, что в статье формата «(пример)» есть описание исходных данных. Оно не относится к теме статьи. Во-вторых, там приведен код. Иногда довольно длинный. Это удобно для использования кода, но неудобно для понимания теоретической сути предмета. | * Да. По каждому методу или понятию, если появится пример, он будет помещен в отдельную статью. Во-первых, потому, что в статье формата «(пример)» есть описание исходных данных. Оно не относится к теме статьи. Во-вторых, там приведен код. Иногда довольно длинный. Это удобно для использования кода, но неудобно для понимания теоретической сути предмета. | ||
| Строка 17: | Строка 15: | ||
* Кстати, когда была написана статья [[Линейная регрессия (пример)]], никто не предлагал слить ее с другой, [[Метод наименьших квадратов|например, с этой]]. | * Кстати, когда была написана статья [[Линейная регрессия (пример)]], никто не предлагал слить ее с другой, [[Метод наименьших квадратов|например, с этой]]. | ||
| + | |||
| + | * Заготовку видел, как только появиться время или потребность (делай запрос ;-) с удовольствием помещу туда метод Ньютона-Рафсона применительно к логистической регрессии — с объяснением «почему сделано именно так». Жду запроса! | ||
* Последнее. Риторический вопрос, что лучше для проекта: одна большая эклектичная статья или две маленьких целостных и указывающих [[Логистическая регрессия|друг]] на [[Логистическая регрессия (пример)|друга]]? | * Последнее. Риторический вопрос, что лучше для проекта: одна большая эклектичная статья или две маленьких целостных и указывающих [[Логистическая регрессия|друг]] на [[Логистическая регрессия (пример)|друга]]? | ||
''Плодитесь и размножайтесь!'' — [[Участник:Strijov|В.В.Стрижов]] 10:32, 11 ноября 2008 (MSK) | ''Плодитесь и размножайтесь!'' — [[Участник:Strijov|В.В.Стрижов]] 10:32, 11 ноября 2008 (MSK) | ||
| + | |||
| + | == Предлагаю пересмотреть критерий останова для данного примера == | ||
| + | |||
| + | Мысли: | ||
| + | # sumsqr никак не нормируется на длину выборки, а значит константа 0.1 для выброк с разной длинной будет означать разное время останова. | ||
| + | # Невероятно, но факт - алгоритм начинает расходиться после некоторого шага так и не достигнув критерия останова на некоторых данных! Для решения этой проблемы я ввел дополнительную проверку - неувеличение sumsqr(b - b_old) при очередном шаге. Если вдруг эта величина увеличилась, то необходимо остановиться и выдать b_old в качестве ответа. Скорее всего это происходит из-за зануления некоторых весов. Еще один вариант решения - удалять объекты со слишком маленькими весами и продолжение обучения. | ||
| + | |||
| + | == Поддреживаю предложение == | ||
| + | |||
| + | 1. Пусть случайная аддитивная переменная <tex>\nu</tex> регрессионной модели | ||
| + | <tex> y=f(\vec{\beta},\x)+\nu </tex> | ||
| + | имеет нормальное распределение <tex>\mathcal{N}(0,\sigma^2_\nu)</tex>. | ||
| + | |||
| + | Тогда, с учетом гомоскедастичности регрессионных остатков, распределение зависимой переменной имеет вид | ||
| + | <center><tex>p(y|x,\vec{\beta},\sigma^2_\nu,f)=\frac{\exp(-\frac{1}{\sigma^2_\nu}S(D|\vec{\beta},f))}{(2\pi \sigma^2_\nu)^{\frac{n}{2}}},</tex></center> | ||
| + | где<tex>S</tex> - сумма квадратов невязок <tex>y_i-f(\vec{\beta},\x_i)</tex>, <tex>n</tex> - число элементо выборки. | ||
| + | Это нужно привязать к функции связи и к текущему алгоритму. | ||
| + | |||
| + | 2. Сделай, пожалуйста, контрольный примерчик из 4-х точек, я бы посмотрел. | ||
| + | |||
| + | 3. Андрей, если бы ты к этой статье добавил бы [http://strijov.com/sources/demoDataGen.php примерчик с классификацией], и прокомментировал бы его, я был бы очень тебе признателен. | ||
| + | |||
| + | --[[Участник:Strijov|Strijov]] 02:18, 1 августа 2009 (MSD) | ||
Текущая версия
Содержание |
Зачем плодить статьи об одном и том же?
Почему данный материал не дописан в конец уже существующей статьи Логистическая регрессия? Там как раз оставлена заготовка раздела под методы оптимизации. Если не нравятся введённые там обозначения, так надо поменять их на более стандартные. Что теперь, по каждому методу или понятию, если появляется пример, так его оформлять как отдельную статью? А если второй пример появится — снова отдельная статья? — К.В.Воронцов 23:09, 10 ноября 2008 (MSK)
А вот зачем!
- Статьи с пометкой «(пример)» являются отдельным жанром и отвечают на важный вопрос «как делать?», а не на вопрос «что это?» и не на вопрос «почему?». Эти статьи ничего не объясняют и не будут объяснять. (Этот вопрос обсуждался ранее.)
- Да. По каждому методу или понятию, если появится пример, он будет помещен в отдельную статью. Во-первых, потому, что в статье формата «(пример)» есть описание исходных данных. Оно не относится к теме статьи. Во-вторых, там приведен код. Иногда довольно длинный. Это удобно для использования кода, но неудобно для понимания теоретической сути предмета.
- Да. Если появиться второй пример, будет написана отдельная статья. Не нужно смешивать два разных примера в одну кучу.
- Кстати, когда была написана статья Линейная регрессия (пример), никто не предлагал слить ее с другой, например, с этой.
- Заготовку видел, как только появиться время или потребность (делай запрос ;-) с удовольствием помещу туда метод Ньютона-Рафсона применительно к логистической регрессии — с объяснением «почему сделано именно так». Жду запроса!
- Последнее. Риторический вопрос, что лучше для проекта: одна большая эклектичная статья или две маленьких целостных и указывающих друг на друга?
Плодитесь и размножайтесь! — В.В.Стрижов 10:32, 11 ноября 2008 (MSK)
Предлагаю пересмотреть критерий останова для данного примера
Мысли:
- sumsqr никак не нормируется на длину выборки, а значит константа 0.1 для выброк с разной длинной будет означать разное время останова.
- Невероятно, но факт - алгоритм начинает расходиться после некоторого шага так и не достигнув критерия останова на некоторых данных! Для решения этой проблемы я ввел дополнительную проверку - неувеличение sumsqr(b - b_old) при очередном шаге. Если вдруг эта величина увеличилась, то необходимо остановиться и выдать b_old в качестве ответа. Скорее всего это происходит из-за зануления некоторых весов. Еще один вариант решения - удалять объекты со слишком маленькими весами и продолжение обучения.
Поддреживаю предложение
1. Пусть случайная аддитивная переменная регрессионной модели
имеет нормальное распределение
.
Тогда, с учетом гомоскедастичности регрессионных остатков, распределение зависимой переменной имеет вид
где - сумма квадратов невязок
,
- число элементо выборки.
Это нужно привязать к функции связи и к текущему алгоритму.
2. Сделай, пожалуйста, контрольный примерчик из 4-х точек, я бы посмотрел.
3. Андрей, если бы ты к этой статье добавил бы примерчик с классификацией, и прокомментировал бы его, я был бы очень тебе признателен.
--Strijov 02:18, 1 августа 2009 (MSD)
