Обсуждение участника:ADY

Материал из MachineLearning.

(Различия между версиями)

Версия 13:36, 18 июля 2008

Содержание

1 Вниманию участников
2 О правилах хорошего тона и некоторых отличиях машинного обучения от философии
3 Статья RapidMiner
4 Статья про RapidMiner уже приведена в божеский вид
5 Возник вот форумный вопрос...
6 Статьи GATE, Joone и LinguaStream
7 Обсуждение задачи о восстановлении дискретной функции плотности вероятности
8 Как оценить качество эмпирической ф.п.в.?
9 Где можно почитать об оценивании с функцией штрафа?
10 Достаточно общая аппроксимация для плотности (для рассматриваемой задачи)

Вниманию участников

Появилась страница Вниманию участников предназначенная для общения участников по проекту. Предлагаю все идеи и проблемы вносить туда. --Yury Chekhovich 13:56, 29 февраля 2008 (MSK)

О правилах хорошего тона и некоторых отличиях машинного обучения от философии

Уважаемый участник! 1. На персональной странице неплохо бы первым делом представиться. Нам нечего скрывать друг от друга. 2. А вот за этими словами про машинное обучение стоит ли конкретное знание, опыт, десятки раздавленных граблей? Если это просто философствования, то я не рекомендовал бы это держать даже на личной страничке. Пока этот текст абсолютно непонятен. — К.В.Воронцов 13:45, 5 апреля 2008 (MSD)

Статья RapidMiner

Правильнее будет дать описание системы на русском языке и своими словами.

В качестве примера описания системы рекомендую использовать статью WEKA.

Andrew 15:35, 15 апреля 2008 (MSD)

Статья про RapidMiner уже приведена в божеский вид

Андрей, не зевай — я за тебя доделал RapidMiner! Но остальные три статьи за тобой! ;) Давай будем стараться не плодить столь неотёсанных заготовок. Признаться, я и сам грешен, но стараюсь хотя бы наметить структуру, поставить шаблончик {{stub}}) или {{UnderConstruction|Подпись=~~~~}}. Ещё рекомендую заглядывать в англоязычную Википедию и другие непредвзятые источники. На страницах производителей некоторые высказывания носят рекламный характер. Ещё, по RapidMiner-у проверь пож-ста факты: я не слишком глубоко в нём разбираюсь. Например, он все или только многие операторы WEKA поддерживает? — К.В.Воронцов 23:40, 15 апреля 2008 (MSD)

>он все или только многие операторы WEKA поддерживает

Я два года назад его изучал... Тогда в документации было написано, что по счастливому совпадению WEKA оказалась полностью совместима с YALE(RapidMiner) :). | ADY 23:55, 21 апреля 2008 (MSD)

Возник вот форумный вопрос...

Допустим требуется выбрать одну лучшую из двух дискретных функций распределения вероятностей $P1_i$ и $P2_i$ согласно функционалу качества: $V(f, P) = \sum{P_i/f_i}$ , где $P_i$ — истинные значения вероятностей.

Насколько я понимаю, если верно соотношение: $|P_i-P^*_i| < \epsilon_\alpha$ (для всех i), при уровне справедливости $1-\alpha$ , где $P*_i$ — оценка вероятностей на конкретных данных (то есть, другими словами, есть доверительный интервал для оценок вероятностей), то: $|V(P1, P)-V*(P1, P*)| < \delta1_\alpha$ и $|V(P2, P)-V^*(P2, P^*)| < \delta2_\alpha$ , а значит: P1 лучше P2 в смысле функционала V на уровне справедливости $1-\alpha$ , если $\sup_{P: \alpha}{V(P1, P)} < \inf_{P: \alpha}{V(P2, P)}$ . И, аналогично, P2 лучше P1 в смысле функционала V на уровне справедливости $1-\alpha$ , если $sup_{P: \alpha}{V(P2, P)} < \inf_{P: \alpha}{V(P1, P)}$ . Верно ли такое утверждение и как построить доверительные интервалы для вероятности для частотной оценки вероятностей? | ADY 14:45, 23 мая 2008 (MSD)

Ответ

Понять вопрос затруднительно: не ясно, что такое $V^*$ , $P:\alpha$ , $\epsilon_\alpha$ , $\delta1_\alpha$ , $\delta2_\alpha$ .
Уровень значимости, а не справедливости.
Почему именно такая функция качества, а не какая-либо стандартная: Колмогорова-Смирнова, Кульбака-Лейблера, хи-квадрат?
Кажется, в формуле $|V(P2, P)-V^*(P1, P^*)| < \delta2_\alpha$ имелось в виду $V^*(P2, P^*)$ ?
Этому вопросу здесь не место (см. шапку этой страницы). Лучше написать мне письмо — К.В.Воронцов 15:43, 25 мая 2008 (MSD).

Ответ[2]

$V^*$ - функция V, в которую входят значения с *; $P:\alpha$ - множество допустимых значений вероятностей на уровне $\alpha$ ; $\epsilon_\alpha$ - максимальное допустимое отклонение от оценки вероятности на уровне $\alpha$ ; $\delta1_\alpha$ , $\delta2_\alpha$ - максимальное допустимое отклонение функционалов на уровне $\alpha$ .
Всегда путаю, что обзывается этим уровнем - мощность критического множества или дополнительного к критическому - посему использовал "уровень справедливости" (мощность множества: множество = все_множество - критическое_множество).
Такая функция напрямую следует из задачи.
Да, там действительно была очепятка (должна быть такая же формула, что и для $P1$ ).
А где место?... :) — Сейчас веду работы по подключению к ресурсу ML форума. Одно из предназначений — вопросы/ответы. Пока лучше обращаться к конкретному участнику по почте или в обсуждении, или кратко задавать вопрос на странице Вниманию участников (Другие вопросы) и давать ссылку на свою страницу обсуждения с полной постановкой. Andrew 17:05, 26 мая 2008 (MSD)
Спасибо за комментарий. | ADY 13:41, 26 мая 2008 (MSD)

Статьи GATE, Joone и LinguaStream

Андрей, созданные Вами страницы (см. заголовок) уже полтора месяца висят без изменений, хотя очень в них нуждаются. Необходимо привести их в порядок (переписать на русском языке в рекомендованном виде). Иначе придется их удалить, чего делать не хотелось бы. Если в чем то могу помочь, обращайтесь. --Yury Chekhovich 16:33, 30 мая 2008 (MSD)

Ответ

Есть несколько причин, из-за которых я не могу выполнить Вашу просьбу: 1) в ближайшем месяце - нет времени на то, чтобы выполнить эти работы; 2) z не работал с этими системами и знаю о них только то, что написано в документации; 3) плохо знаю теги для оформления вики-страниц. На самом деле, я просто хотел поделиться ссылками на бесплатные системы, которые считаю интересными и актуальными. В итоге, я не возражаю против удаления недоделанных статей о них. -- ADY 13:39, 7 июня 2008 (MSD)

Обсуждение задачи о восстановлении дискретной функции плотности вероятности

Ищу литературу (покупаю и готов покупать дальше необходимые книжки на английском), но еще не совсем уверен в точной постановке задачи, которую решаю.

Задача состоит в восстановлении дискретной функции плотности вероятности.

Есть большой набор данных:

{ Real: x, Real: y, X(x,y) }, где X - точка-множество в дискретном вероятностном пространстве (например, {{0,0},{1,2}). x, y - экспертные оценки на некоторые общие вероятностные характеристики события, реализация которого есть X(x,y) (в первом приближении это можно не учитывать).

Стоит задача для заданных (x0, y0) найти лучшую оценку фпв Pr*{ X(x,y) }(x0, y0) в смысле функционала качества: $\sum_ {X} {Pr\{ X \}(x0, y0) / Pr^*\{ X \}(x0, y0) } - 1$ , где $Pr\{ X \}(x0, y0)$ - истинные значения вероятностей.

Первое, что приходит в голову - это разбить данные на группы по интервалам для x и y, и построить фпв для каждой группы - частотные функции. Но возникают как минимум две проблемы: 1) Как сглаживать фпв для малых выборок? 2) Как комбинировать функционалы от частотные функции фпв, чтобы результаты оставались в рамках выбранного уровня значимости?

Может ли кто-нибудь что-нибудь подсказать/посоветовать?

Как оценить качество эмпирической ф.п.в.?

Не до конца понимаю, как оценить качество эмпирической функции плотности вероятностей $Pr^*\{ X \}$ , для выборки *конечного* объема N, для заданного функционала качества: $q(Pr^*)=\sum_ {X} {Pr\{ X \} / Pr^*\{ X \} } - 1$ , где $Pr\{ X \}$ - истинные значения вероятностей. Хочется иметь строгую оценку в терминах уровня значимости. Пока в голову приходит лишь мысль разбить выборку на случайные подвыборки одинакового объема $n > \min_{X} {\: 1/Pr\{ X \} * K1}$ (K1 ~ 10) и попробовать что-то сделать с последовательностью функционалов q(...) для этих подвыборок, считая за истинные вероятности эмпирические вероятности от оставшихся данных...

Вообще, про выборки конечного объема почему-то нигде не пишут :(...

Где можно почитать об оценивании с функцией штрафа?

Где можно почитать об оценивании параметров известного распределения Pr*( {t} ), c функцией штрафа: $W[Pr^*] = (\sum_ {x} { Pr\{ x \} / Pr^*\{ x; {t} \} } / n - 1)^2$ , $(Pr\{ x \}$ - эмпирические частоты, n - число исходов ), для конечной выборки объема N (то есть нужна состоятельная оценка параметров {t'}, у которой E{W({t'})} минимально)? Похоже нужно как-то "исправить" оценку методом $\chi^2$ , чтобы она осталась состоятельной и при этом удовлетворяла условию задачи.

Ответ на всё скопом. По поводу последних трёх разделов. Что-то я опять не могу продраться сквозь твои обозначения и самовыдуманные термины. Что такое «точка-множество»? Чем не устраивают стандартные методы непараметрического оценивания плотности? Чем не устраивает критерий Колмогорова-Смирнова и иже с ними? Видимо, пора встречаться ;). — К.В.Воронцов 00:38, 12 июля 2008 (MSD)

>Что такое «точка-множество»?

Вектор значений (пример данных указан в условии) из множества значений векторов.

>Чем не устраивают стандартные методы непараметрического оценивания плотности?

Может и устраивают, только, к своему стыду, я не смог продраться через обозначения и как-то введенные объекты. К счастью, из самой задачи удалось построить вполне хорошую апроксимация плотности (практически с любой точностью).

>Чем не устраивает критерий Колмогорова-Смирнова и иже с ними?

Критерий тоже следует из задачи.

>Видимо, пора встречаться ;).

Я только за :). | ADY 18:19, 12 июля 2008 (MSD)

Достаточно общая аппроксимация для плотности (для рассматриваемой задачи)

Стоит задача построить достаточно общую аппроксимацию для плотности вероятностей для рассматриваемой задачи и построить быстрый алгоритм для оценки параметров. В рассматриваемом процессе, в течении некоторого заданного времени, происходит несколько 0-4 событий (в среднем 2-3). Есть основания считать, что чем больше прошло времени, тем вероятность того, что событие не произойдет слабо растет. Пуассоновская плотность не устраивает по точности.

Достаточно общей аппроксимацией выглядит следующая. Все время разбивается на достаточно большое число равных интервалов и принимается, что вероятность того, что событие произойдет в одной элементарном интервале два раза (q=2) мала (и всеми следующими вероятностями для q>2 можно пренебречь). Вероятности для интервала (для q=(0,1,2)): (p0(n), (1-p0(n)) * (1 - beta(n)), (1-p0(n)) * beta(n)).

Число интервалов нужно взять таким, чтобы величина beta(n) показывала ошибку такой аппроксимации. Теперь, подбирая последовательности p0(n) и beta(n) можно достаточно хорошо аппроксимировать общую плотность.

Принимаем: beta(n) = const(n) = beta, p0(n) = p0 * Exp(n * tau). Тогда общая плотность (для принятой гипотезы о p0(n) и beta(n)) будет выражаться в виде (Q - полное число событий во всех интервалах):

$P\{Q=0\} = p0^N Exp( (N*(N+1)/2) tau )$

$P\{Q=1\} = p0^{(N-1)} \sum_{ n = 1,N } { Exp( (N*(N+1)/2) - n ) * tau ) (1-beta) * ( 1 - p0 * Exp( n * tau ) ) }$

$P\{Q=2\} = p0^{(N-2)} ( \sum_{ n1 = 1,N; n2>n1 } { Exp( (N*(N+1)/2) - n1 - n2 ) * tau ) (1-beta) * ( 1 - p0 * Exp( n1 * tau ) ) (1-beta) * ( 1 - p0 * Exp( n2 * tau ) )} +$ $+ \sum_{ n1 = 1,N } { Exp( (N*(N+1)/2) - n1 ) * tau ) * beta * ( 1 - p0 * Exp( n1 * tau ) * p0 )}$

$P\{Q>q,Q<N\}=...$

В идеале хотелось бы построить некоторое достаточное разложение функции правдоподобия: $log(L) = \sum_{Q=0;4} {\nu_q * log(P\{Q=q\})} = log( P\{Q=0\}) + \sum_{Q=0;\infty} {\nu_q * Log(P\{Q=q\} / P\{Q=0\})}$

, чтобы было возможно найти ее максимальное значение.

Источник — «http://machinelearning.ru/wiki/index.php?title=%D0%9E%D0%B1%D1%81%D1%83%D0%B6%D0%B4%D0%B5%D0%BD%D0%B8%D0%B5_%D1%83%D1%87%D0%B0%D1%81%D1%82%D0%BD%D0%B8%D0%BA%D0%B0:ADY»

@@ Строка 124: / Строка 124: @@
 <tex>P\{Q=2\} = p0^{(N-2)}  ( \sum_{ n1 = 1,N; n2>n1 } { Exp( (N*(N+1)/2) - n1 - n2 ) * tau )  (1-beta) * ( 1 - p0 * Exp( n1 * tau )  )  (1-beta) * ( 1 - p0 * Exp( n2 * tau )  )} + </tex>
 <tex> + \sum_{ n1 = 1,N } { Exp( (N*(N+1)/2) - n1 ) * tau ) * beta * ( 1 - p0 * Exp( n1 * tau ) * p0  )} </tex>
-...
+<tex>P\{Q>q,Q<N\}=...</tex>
 В идеале хотелось бы построить некоторое достаточное разложение функции правдоподобия:
-<tex>logL = \sum_{Q=0;\infty} {\nu_q * Log(P\{Q=q\})} </tex>
+<tex>log(L) = \sum_{Q=0;4} {\nu_q * log(P\{Q=q\})} = log( P\{Q=0\}) + \sum_{Q=0;\infty} {\nu_q * Log(P\{Q=q\} / P\{Q=0\})} </tex>
 , чтобы было возможно найти ее максимальное значение.