Обсуждение:Оценивание дискретных распределений при дополнительных ограничениях на вероятности некоторых событий (виртуальный семинар)

Материал из MachineLearning.

(Различия между версиями)
Перейти к: навигация, поиск
(→Дальнейшее обобщение задачи)
м (→Дальнейшее обобщение задачи)
Строка 19: Строка 19:
<tex>q(Pr')= 1/M \sum_{l=1,M}(1/n_l \sum_ {X_l \in \Omega_{X_l}} {Pr_l\{ X \} / Pr_l'\{ X_l \} } - 1)</tex>,
<tex>q(Pr')= 1/M \sum_{l=1,M}(1/n_l \sum_ {X_l \in \Omega_{X_l}} {Pr_l\{ X \} / Pr_l'\{ X_l \} } - 1)</tex>,
а при оценки снизу минимизировать: <tex>q(Pr')= - 1/M \sum_{l=1,M}(1/n_l \sum_ {X_l \in \Omega_{X_l}} {Pr_l\{ X \} / Pr_l'\{ X_l \} } - 1)</tex>, для <tex>Pr_l'\{ X_l \} > \epsilon</tex> (где <tex>\epsilon</tex> - мин. допустимая оценка на вероятность).
а при оценки снизу минимизировать: <tex>q(Pr')= - 1/M \sum_{l=1,M}(1/n_l \sum_ {X_l \in \Omega_{X_l}} {Pr_l\{ X \} / Pr_l'\{ X_l \} } - 1)</tex>, для <tex>Pr_l'\{ X_l \} > \epsilon</tex> (где <tex>\epsilon</tex> - мин. допустимая оценка на вероятность).
-
* В задаче, оценки на вероятность всегда имеют некоторую естественную ошибку (обозначим ее <tex>\epsilon_0</tex>), не связанную с величиной выборки. Ее природа в невозможности точно отнести эмпирические данные к одному из семейству распределений. Поэтому, нет смысла строить бесконечно точные оценки (точные оценки в пределе): достаточно строить оценки, точноcть которых быстро стремиться к <tex>\epsilon_0</tex> при росте числа элементов выборки. В частной постановке задачи </tex>\epsilon_0 ~ 10^{-3}</tex>.
+
* В задаче, оценки на вероятность всегда имеют некоторую естественную ошибку (обозначим ее <tex>\epsilon_0</tex>), не связанную с величиной выборки. Ее природа в невозможности точно отнести эмпирические данные к одному из семейству распределений. Поэтому, нет смысла строить бесконечно точные оценки (точные оценки в пределе): достаточно строить оценки, точноcть которых быстро стремиться к <tex>\epsilon_0</tex> при росте числа элементов выборки. В частной постановке задачи <tex>\epsilon_0 ~ 10^{-3}</tex>.
 +
| [[Участник:ADY|ADY]] 12:13, 6 августа 2008 (MSD)

Версия 08:13, 6 августа 2008

Обсуждение

  • > ...Время считается дискретным...
    1. Подход, в котором плотность вначале представляется как непрерывная функция времени, мне представляется лучшим. Поскольку в таком подходе можно выбирать различное число интервалов разбиения. Интересно, что

\omega = \int_{0}^{T} {w_t dt} = (i_1, ...,i_D) = super(seq_{l=1,M} {\int_{T/M*(l-1)+\delta_+}^{T/M*l} {w_t dt}}) = super ( (s^{(1)}_1,...,s^{(1)}_D),...,(s^{(M)}_1,...,s^{(M)}_D)) = (s^{(1)}_1,...,s^{(1)}_D) | ... | (s^{(M)}_1,...,s^{(M)}_D) , где seq - операция построения последовательности, а super (или |) - операция суперпозиции (сложения) многомерных дискретных элементарных исходов (s^{(r)}_k - число исходов типа k в интервале r).| ADY 11:31, 6 августа 2008 (MSD)

  • > ...это приводит к появлению дополнительных ограничений типа равенств в задаче максимизации правдоподобия;...
    1. Это справедливо только в параметрическом случае и в случае, когда обратные функции (которые появятся при решении связей) будут удовлетворять некоторым условиям? | ADY 11:31, 6 августа 2008 (MSD)
    2. Максимизация правдоподобия - только один из методов получения оценок (пусть даже и с "хорошими" свойствами).
  • > ...выборка может быть «немного» неоднородной;...
    1. Если вводить веса (через ядро), то, такое впечатление, это эквивалентно тому, что мы делаем выборку однородной, но во всех функционалах учитываем веса. Если решение пойдет по этому пути, тогда можно подумать на тему введения весов для каждого элемента эмпирических данных? | ADY 11:31, 6 августа 2008 (MSD)

Дальнейшее обобщение задачи

  • При восстановлении плотности (для выбранного числа интервалов) в качестве функционала качества хотелось бы принять описанный функционал:

q(Pr')= 1/M \sum_{l=1,M}(1/n_l \sum_ {X_l \in \Omega_{X_l}} {Pr_l\{ X \} / Pr_l'\{ X_l \} } - 1)^2. Возможно, этот функционал можно как-то упростить.

  • Нужны критерии для сравнения различных плотностей и схема тестирования.
  • Хотелось бы построить доверительные интервалы для оценок плотностей. При построении доверительных интервалов можно отказаться от квадратичного функционала при оценки вероятностей сверху использовать минимизацию:

q(Pr')= 1/M \sum_{l=1,M}(1/n_l \sum_ {X_l \in \Omega_{X_l}} {Pr_l\{ X \} / Pr_l'\{ X_l \} } - 1), а при оценки снизу минимизировать: q(Pr')= - 1/M \sum_{l=1,M}(1/n_l \sum_ {X_l \in \Omega_{X_l}} {Pr_l\{ X \} / Pr_l'\{ X_l \} } - 1), для Pr_l'\{ X_l \} > \epsilon (где \epsilon - мин. допустимая оценка на вероятность).

  • В задаче, оценки на вероятность всегда имеют некоторую естественную ошибку (обозначим ее \epsilon_0), не связанную с величиной выборки. Ее природа в невозможности точно отнести эмпирические данные к одному из семейству распределений. Поэтому, нет смысла строить бесконечно точные оценки (точные оценки в пределе): достаточно строить оценки, точноcть которых быстро стремиться к \epsilon_0 при росте числа элементов выборки. В частной постановке задачи \epsilon_0 ~ 10^{-3}.

| ADY 12:13, 6 августа 2008 (MSD)

Источник — «http://machinelearning.ru/wiki/index.php?title=%D0%9E%D0%B1%D1%81%D1%83%D0%B6%D0%B4%D0%B5%D0%BD%D0%B8%D0%B5:%D0%9E%D1%86%D0%B5%D0%BD%D0%B8%D0%B2%D0%B0%D0%BD%D0%B8%D0%B5_%D0%B4%D0%B8%D1%81%D0%BA%D1%80%D0%B5%D1%82%D0%BD%D1%8B%D1%85_%D1%80%D0%B0%D1%81%D0%BF%D1%80%D0%B5%D0%B4%D0%B5%D0%BB%D0%B5%D0%BD%D0%B8%D0%B9_%D0%BF%D1%80%D0%B8_%D0%B4%D0%BE%D0%BF%D0%BE%D0%BB%D0%BD%D0%B8%D1%82%D0%B5%D0%BB%D1%8C%D0%BD%D1%8B%D1%85_%D0%BE%D0%B3%D1%80%D0%B0%D0%BD%D0%B8%D1%87%D0%B5%D0%BD%D0%B8%D1%8F%D1%85_%D0%BD%D0%B0_%D0%B2%D0%B5%D1%80%D0%BE%D1%8F%D1%82%D0%BD%D0%BE%D1%81%D1%82%D0%B8_%D0%BD%D0%B5%D0%BA%D0%BE%D1%82%D0%BE%D1%80%D1%8B%D1%85_%D1%81%D0%BE%D0%B1%D1%8B%D1%82%D0%B8%D0%B9_%28%D0%B2%D0%B8%D1%80%D1%82%D1%83%D0%B0%D0%BB%D1%8C%D0%BD%D1%8B%D0%B9_%D1%81%D0%B5%D0%BC%D0%B8%D0%BD%D0%B0%D1%80%29»
Личные инструменты