Оценивание дискретных распределений при дополнительных ограничениях на вероятности некоторых событий (виртуальный семинар)

Материал из MachineLearning.

(Различия между версиями)
Перейти к: навигация, поиск
м (→Частная постановка задачи)
м (→Частная постановка задачи)
Строка 13: Строка 13:
В качестве функционала качества можно принять среднее среди функционалов качества для интегральных по времени исходов для деления всего времени на M одинаковых интервалов:
В качестве функционала качества можно принять среднее среди функционалов качества для интегральных по времени исходов для деления всего времени на M одинаковых интервалов:
<tex>q(Pr^*)= 1/M \sum_{l=1,M}(1/n_l \sum_ {X_l \in \Omega_{X_l}} {Pr_l\{ X \} / Pr_l^*\{ X_l \} } - 1)^2</tex>, где
<tex>q(Pr^*)= 1/M \sum_{l=1,M}(1/n_l \sum_ {X_l \in \Omega_{X_l}} {Pr_l\{ X \} / Pr_l^*\{ X_l \} } - 1)^2</tex>, где
-
<tex>X_l = \int_{M/T*(l-1) + \delta_+}^{M/T * l} { ( \omega^{(1)}_t }, \omega^{(2)}_t )} dt</tex> ( <tex>\delta_+</tex> - положительное бесконечно малое число введено, чтобы не учитывать два раза события на границе интервала). Для M=1 и D=2 множество <tex>X_l</tex> превращается в множество типа <tex>(i_1,j_1)</tex>, а множество функции плотности вероятности для двух интервалов (M=2) есть <tex>((i_1,j_1),(i_2,j_2))</tex>, где <tex>(i_1,j_1)</tex> - количества событий типа i и j, соответственно, которые произошли в интервале [0,T].
+
<tex>X_l = \int_{M/T*(l-1) + \delta_+}^{M/T * l} { ( \omega^{(1)}_t }, \omega^{(2)}_t )} dt</tex> ( <tex>\delta_+</tex> - положительное бесконечно малое число введено, чтобы не учитывать два раза события на границе интервала). Для M=1 и D=2 множество <tex>X_l</tex> превращается в множество типа <tex>(i_1,j_1)</tex>, а множество функции плотности вероятности для двух интервалов (M=2) есть <tex>((i_1,j_1),(i_2,j_2))</tex>, где <tex>(i_1,j_1)</tex> - количества событий типа i и j, соответственно, которые произошли в интервале [0,T/2].
: Известны результаты реализации этого случайного процесса, из которых можно построить эмпирическую плотность распределения <tex>f*(\omega_t)</tex>.
: Известны результаты реализации этого случайного процесса, из которых можно построить эмпирическую плотность распределения <tex>f*(\omega_t)</tex>.

Версия 07:43, 4 августа 2008

Содержание

Общая постановка задачи

Задача состоит в восстановлении дискретной функции плотности вероятности f(\omega_t) (где \omega_t - элементарные исходы, зависящие от времени t \in [0, T], T < \infty, \omega_t = ( \delta_D(t-t^{(1)}_1)) * 1 + \delta_D(t-t^{(1)}_2)) * 1 + ... , \delta_D(t-t^{(2)}_1)) * 1 + \delta_D(t-t^{(2)}_2)) * 1 + ... , ) \in ( (0|1) , (0|1) , ..., (0|1) ), где \delta_D(.) - дельта-функция Дирака. То есть, проще говоря, события разного вида j происходят в случайные моменты времени t^{(j)}_k) ) при условии, что заданы условия на P(\omega_{A_i}) = X_{A_i} (где \omega_{A_i} - суперпозиция финальных исходов (интегрированных по времени: \omega = \int_{0}^{T} {w_t dt} = (i_1, ...,i_D);\; i_k \in Z_{0,+} \; ( k=1,D ))), P(.) - функция распределения вероятностей, X_{A_i} - заданные вероятности, i = 1,...,K).

Эмпирические частоты для \omega_t заданы.

В качестве функционала качества предлагается использовать: q(Pr^*)=(1/n \sum_ {X \in \Omega_X} {Pr\{ X \} / Pr^*\{ X \} } - 1)^2, где Pr^* - оценки на вероятности исходов, которые строятся из элементарных исходов интегрированием по времени и суперпозицией получившихся исходов; сумма берется по полному набору исходов (n - полное число исходов в \Omega_X), Pr\{ X \} - истинные значения вероятностей.

Частная постановка задачи

В частном случае: D=2, P(\omega_{A_1}) = \sum_{i>j; i,j \in Z_{0,+}} {Pr\{(i,j)\}} = Q_1, \; P(\omega_{A_2}) = \sum_{i<j; i,j \in Z_{0,+}} {Pr\{(i,j)\}} = Q_2, \; P(\omega_{A_3}) = \sum_{i+j \le T; i,j \in Z_{0,+}} {Pr\{(i,j)\}} = Q_3

В качестве функционала качества можно принять среднее среди функционалов качества для интегральных по времени исходов для деления всего времени на M одинаковых интервалов: q(Pr^*)= 1/M \sum_{l=1,M}(1/n_l \sum_ {X_l \in \Omega_{X_l}} {Pr_l\{ X \} / Pr_l^*\{ X_l \} } - 1)^2, где X_l = \int_{M/T*(l-1) + \delta_+}^{M/T * l} { ( \omega^{(1)}_t }, \omega^{(2)}_t )} dt ( \delta_+ - положительное бесконечно малое число введено, чтобы не учитывать два раза события на границе интервала). Для M=1 и D=2 множество X_l превращается в множество типа (i_1,j_1), а множество функции плотности вероятности для двух интервалов (M=2) есть ((i_1,j_1),(i_2,j_2)), где (i_1,j_1) - количества событий типа i и j, соответственно, которые произошли в интервале [0,T/2].

Известны результаты реализации этого случайного процесса, из которых можно построить эмпирическую плотность распределения f*(\omega_t).

Проблема выбора функции и параметризации для маргинальных плотностей (декомпозиция) и подгонка совместной плотности для удовлетворения связям (обратная композиция)

Проблемы:

  • допустимость перехода к маргинальных плотностям;
  • выбор класса функции плотности вероятностей;
  • выбор метода оценки параметров. Хорош ли метод максимального правдоподобия для оценки параметров функции плотности распределения, если при оценивании используются только интегральные по времени величины (интегральные эмпирическая функция и интегральная функция распределения вероятностей)).
  • метод подгонки совместной плотности для удовлетворения связям. (1) Для случая одного интервала разбиения: \min_{[ Pr**\{(i,j)\}; \lambda_k ; \sum_{i,j=0,N} {Pr**\{(i,j)\} < 1]}}{\; \; \sum_{i,j = 0,N} {( (Pr_i*\{(i)\} \, Pr_j*\{(j)\}) - Pr**\{(i,j)}\} ) ^2 + \sum_{k=1,3} { \lambda_k \, ( Pr*\{\omega_{A_k}\} - Q_k)} } , Pr**\{(i,j)\} = \int_{0}^{T}{f**(\omega_t) dt}. (2) Для случая двух интервалов разбиения: \min_{[ Pr**\{((i_1,j_1),(i_2,j_2))\}; \lambda_k ; \sum_{i1,j1,i2,j2=0,N} {Pr**\{((i1,j1),(i2,j2))\}} < 1 ]}{\; \; \sum_{i1,i2,j1,j2 = 0,N} {( (Pr_{i_1}*\{(i_1)\} \, Pr_{j_1}*\{(j_1)\} \, Pr_{i_2}*\{(i_2)\} \, Pr_{j_2}*\{(j_2)\}) - Pr**\{((i_1,j_1),(i_2,j_2))}\} ) ^2 + \sum_{k=1,3} { \lambda_k \, ( Pr*\{\omega_{A_k}\} - Q_k)} } .
    1. статистические свойства метода подгонки;
    2. возможность введения в квадратичное выражение констант C_{i,j}, зависящих от эмпирических данных для улучшения статистических свойств оценок.
  • статистические свойства и свойства функционала качества итоговой оценки плотности.

Сглаживание и подгонка совместной плотности (без декомпозиции к маргинальным плотностям)

Проблемы:

  • сглаживание совместной плотности в зависимости от эмпирических данных и значения связей при сохранении статистических свойств;
  • подгонка совместной плотности для удовлетворения связям.

Достаточно общая аппроксимация для маргинальной плотности (для рассматриваемой задачи)

Стоит задача построить достаточно общую аппроксимацию для плотности вероятностей для рассматриваемой задачи и построить быстрый алгоритм для оценки параметров. Есть основания считать, что зависимость от времени вероятности того, что событие не произойдет слабое.

Достаточно общей аппроксимацией выглядит следующая. Все время разбивается на достаточно большое число равных интервалов и принимается, что вероятность того, что событие произойдет в одной элементарном интервале один раз (q=1) мала (и всеми следующими вероятностями для q>1 можно пренебречь). Вероятности для интервала (для q=(0,1)): (p0(n), (1-p0(n)) * (1 - beta), (1-p0(n)) * beta), где величина beta будет характеризовать погрешность (и допустимость) данной модели при заданном числе интервалов N.

Теперь, подбирая последовательности p0(n) и beta можно достаточно хорошо аппроксимировать общую плотность.

Принимаем: p0(n) = p0 * Exp(a_n tau). Тогда общая плотность (для принятой гипотезы о p0(n) и beta(n)) будет выражаться в виде (Q=\sum_{i=1,N}{q_i} - полное число событий во всех интервалах). Для случая a_n = n:

P\{Q=0\} = p0^N Exp( (N*(N+1)/2) tau )

P\{Q=1\} = p0^{(N-1)} \sum_{ n = 1,N } { Exp( (N*(N+1)/2) - n ) * tau ) (1-beta) * ( 1 - p0 * Exp( n * tau ) ) }

P\{Q=2\} = p0^{(N-2)} ( \sum_{ n1 = 1,N; n2>n1 } { Exp( (N*(N+1)/2) - n1 - n2 ) * tau ) (1-beta) * ( 1 - p0 * Exp( n1 * tau ) ) (1-beta) * ( 1 - p0 * Exp( n2 * tau ) )} + + \sum_{ n1 = 1,N } { Exp( (N*(N+1)/2) - n1 ) * tau ) * beta * ( 1 - p0 * Exp( n1 * tau ) * p0 )}

P\{Q>q,Q<N\}=...

В идеале хотелось бы построить некоторое достаточное разложение функции правдоподобия: log(L) = \sum_{Q=0;\infty} {\nu_q * log(P\{Q=q\})} = log( P\{Q=0\}) + \sum_{Q=0;\infty} {\nu_q * log(P\{Q=q\} / P\{Q=0\})}

, чтобы было возможно найти ее максимальное значение.

На первый взгляд, начальные члены разложения не должны быть слишком сложными (напрашиваются какие-то рекурсивные последовательности).

Однако, на практике оценка плотности через поиск максимума правдоподобия, как оказалось имеет некоторые особенности...

Ссылки

Литература

  1. У. Гренандер, "Вероятности на алгебраических структурах".
  2. Гнеденко, Колмогоров, "Предельные распределения для сумм независимых случайных величин".
  3. Дуб Дж. Л., "Вероятностные процессы", 1956
Источник — «http://machinelearning.ru/wiki/index.php?title=%D0%9E%D1%86%D0%B5%D0%BD%D0%B8%D0%B2%D0%B0%D0%BD%D0%B8%D0%B5_%D0%B4%D0%B8%D1%81%D0%BA%D1%80%D0%B5%D1%82%D0%BD%D1%8B%D1%85_%D1%80%D0%B0%D1%81%D0%BF%D1%80%D0%B5%D0%B4%D0%B5%D0%BB%D0%B5%D0%BD%D0%B8%D0%B9_%D0%BF%D1%80%D0%B8_%D0%B4%D0%BE%D0%BF%D0%BE%D0%BB%D0%BD%D0%B8%D1%82%D0%B5%D0%BB%D1%8C%D0%BD%D1%8B%D1%85_%D0%BE%D0%B3%D1%80%D0%B0%D0%BD%D0%B8%D1%87%D0%B5%D0%BD%D0%B8%D1%8F%D1%85_%D0%BD%D0%B0_%D0%B2%D0%B5%D1%80%D0%BE%D1%8F%D1%82%D0%BD%D0%BE%D1%81%D1%82%D0%B8_%D0%BD%D0%B5%D0%BA%D0%BE%D1%82%D0%BE%D1%80%D1%8B%D1%85_%D1%81%D0%BE%D0%B1%D1%8B%D1%82%D0%B8%D0%B9_%28%D0%B2%D0%B8%D1%80%D1%82%D1%83%D0%B0%D0%BB%D1%8C%D0%BD%D1%8B%D0%B9_%D1%81%D0%B5%D0%BC%D0%B8%D0%BD%D0%B0%D1%80%29»
Личные инструменты