Обсуждение:Слабая вероятностная аксиоматика
Материал из MachineLearning.
(Различия между версиями)
(→Вопрос о гипотезе о новой выборке) |
(→Простейшая содержательная интерпретация. Схема Бернулли.: Новая тема) |
||
| (8 промежуточных версий не показаны.) | |||
| Строка 1: | Строка 1: | ||
| - | Мне трудно судить о преимуществах | + | Мне трудно судить о преимуществах «слабой вероятностной аксиоматики» (и не всегда понимаю, зачем копаться в построении новой аксиоматики, если есть уже готовые :). Да, иногда теоремы формулируются вместе с ново-введенными понятиями и объектами, и, таким образом, очень часто вся сложность первоначальной задачи упрятывается в эти объекты (с которыми не понятно, что делать на практике), но таков естественный путь развития математики как науки (будем ждать, пока не появится новый математик и не придумает новую теорему, как же эти объекты строить в практической задаче с гарантированной точность/погрешностью)… Мне представляется, что бесконечность — естественное математическое понятие и бороться с ним не нужно :)…), но могу поделиться ссылкой на книгу, на случай, если она окажется по теме :) : «Combinatorial Methods in Density Estimation (Luc Devroye, Gabor Lugosi; Springer, 2000)» (меня она привлекла на столько, что пришлось ее даже купить :)). — ''[[Участник:ADY|ADY]] 19:06, 23 апреля 2008 (MSD)'' |
| - | + | : За ссылку огромное спасибо; буду доставать — ''[[Участник:Vokov|К.В.Воронцов]] 20:04, 10 июля 2008 (MSD)'' | |
| - | Также и | + | Возникает ассоциация с «конструктивной математикой», где исследуется, какую часть математики можно получить, не пользуясь доказательством «от противного». Это действительно любопытный вопрос. |
| + | |||
| + | Также и «слабая вероятностная аксиоматика» интересна в теоретическом плане. И от «лишних» аксиом действительно лучше отказываться. Но у меня есть подозрение, что для многих практических задач «слабая вероятностная аксиоматика» окажется недостаточно мощной, чтобы адекватно отразить их особенности. [[Участник:Nvm|Nvm]] 18:41, 24 июня 2008 (MSD) | ||
| + | |||
| + | : Мне тоже так кажется. Но оптимизм вытекает из того, что искусственное суммирование (усреднение) по всем перестановкам независимой выборки является ключевым приёмом при доказательстве огромного количества хорошо известных вероятностных фактов. Вот и возникла идея «вытащить его наружу» и обозвать «слабой аксиоматикой». Но суть, конечно, не в названии. Хочется выяснить границы применимости этого приёма и попробовать их расширить; а это большая работа — ''[[Участник:Vokov|К.В.Воронцов]] 20:04, 10 июля 2008 (MSD)'' | ||
== Комментарии == | == Комментарии == | ||
| - | * | + | * Опираться только на конечные выборки — действительно интересный шаг. |
| - | * | + | * Нет ли известных мостов между теории «слабой вероятностной аксиоматики» и «теории конечных автоматов» (на первый взгляд, теория конечных автоматов могла бы помочь с конструированием и анализом сложных дискретных распределений)? — ''[[Участник:ADY|ADY]] 19:00, 7 июля 2008 (MSD)'' |
| + | |||
| + | : Наверняка есть. Займёшься? ;) — ''[[Участник:Vokov|К.В.Воронцов]] 20:04, 10 июля 2008 (MSD)'' | ||
== Вопрос о гипотезе о новой выборке == | == Вопрос о гипотезе о новой выборке == | ||
| - | * | + | * Может ли слабая вероятностная аксиоматика дать какие-либо количественные (объективные) оценки в задаче с заданной выборкой <tex>\{X_1,...,X_N\}</tex> объема ''N'' для следующей гипотезы: вероятность появления в будущем (новой) выборки <tex>\{X_1,...,X_n\}</tex> объема <tex>n = r N</tex>, <tex>r\approx 0.5 < 1</tex>, такая же, как и вероятность выбора последовательности данных <tex>\{X_1,...,X_n\}</tex> из имеющейся выборки (то есть, такая же, как вероятность выбора подвыборки меньшего объема). — ''[[Участник:ADY|ADY]] 12:52, 10 июля 2008 (MSD)'' |
| - | + | : Да. Надо только уточнить, <tex>X_i</tex> принимают дискретное множество значений или это непрерывная величина. От этого многое зависит. — ''[[Участник:Vokov|К.В.Воронцов]] 20:04, 10 июля 2008 (MSD)'' | |
| - | + | :: В моем случае — дискретные величины. | [[Участник:ADY|ADY]] 16:43, 11 июля 2008 (MSD) | |
| + | |||
| + | * Понятно, что эта гипотеза становится менее привлекательной с увеличением r, но для r<0.5 — гипотеза выглядит вполне разумной. — ''[[Участник:ADY|ADY]] 12:52, 10 июля 2008 (MSD)'' | ||
| + | : Оценка выводится для любых ''N'' и ''n''. | ||
| + | :: Поскольку речь идет о данных из будущего, а имеющаяся выборка может быть нерепрезентативной, то надежность этой гипотезы с ростом ''n'' должна уменьшаться. — ''[[Участник:ADY|ADY]] 16:43, 11 июля 2008 (MSD)'' | ||
| + | ::: Так и есть, и соотвествующая теорема в слабой аксиоматике говорит точно, на сколько уменьшается надёжность. — ''[[Участник:Vokov|К.В.Воронцов]] 00:31, 12 июля 2008 (MSD)'' | ||
| + | |||
| + | * Принятие этой гипотезы, на первый взгляд, дает хорошую базу для анализа задач, в которых постоянно происходит накопление новых данных. — ''[[Участник:ADY|ADY]] 12:52, 10 июля 2008 (MSD)'' | ||
| + | : Займёшься? ;) — ''[[Участник:Vokov|К.В.Воронцов]] 20:04, 10 июля 2008 (MSD)'' | ||
| + | :: Да, если это будет коррелировать с задачами, которые передо мной стоят :). Если этот подход даст возможность построить эффективную оценку со [[Обсуждение участника:ADY#Где можно почитать об оценивании с функцией штрафа?|штрафной функцией]], то тем более да :). — ''[[Участник:ADY|ADY]] 16:43, 11 июля 2008 (MSD)'' | ||
| + | ::: Что-то я опять не могу продраться сквозь твои обозначения и самовыдуманные термины. Пора встречаться ;). — ''[[Участник:Vokov|К.В.Воронцов]] 00:31, 12 июля 2008 (MSD)'' | ||
| + | |||
| + | == Связи с частотной вероятностью == | ||
| + | |||
| + | Есть ли связи с частотной вероятностью: [http://en.wikipedia.org/wiki/Frequency_probability] | ||
| + | (см. также [http://www.ma.utexas.edu/~friedman/freq.ps Charles Friedman, The Frequency Interpretation in Probability]) ? | ||
| + | |||
| + | == Простейшая содержательная интерпретация. Схема Бернулли. == | ||
| + | |||
| + | Чтобы легче было "прочувствовать" особенность комбинаторного подхода (слабой вероятностной аксиоматики), есть предложение рассмотреть простейший пример - схему Бернулли. | ||
| + | Пусть есть некоторая генеральная совокупность, например 1000000 объектов. Известно, что они могут быть двух классов, но не известна доля каждого. Пусть было случайно выбрано 10 объектов, которые все оказались первого класса. | ||
| + | что в слабой вероятностной аксиоматике можно сказать о классе объекта, который будет выбран следующим? | ||
| + | Что можно сказать о числе объектов первого класса среди последующей 1000? | ||
| + | |||
| + | В классическом вероятностном подходе один из возможных ответов на первый вопрос следующий: | ||
| + | ставки до 9 к 1 за то, что следующий объект будет первого класса, являются разумными, | ||
| + | ставки более чем 10 к 1 являются неразумными. [[Участник:Nvm|Nvm]] 18:39, 11 мая 2009 (MSD) | ||
Текущая версия
Мне трудно судить о преимуществах «слабой вероятностной аксиоматики» (и не всегда понимаю, зачем копаться в построении новой аксиоматики, если есть уже готовые :). Да, иногда теоремы формулируются вместе с ново-введенными понятиями и объектами, и, таким образом, очень часто вся сложность первоначальной задачи упрятывается в эти объекты (с которыми не понятно, что делать на практике), но таков естественный путь развития математики как науки (будем ждать, пока не появится новый математик и не придумает новую теорему, как же эти объекты строить в практической задаче с гарантированной точность/погрешностью)… Мне представляется, что бесконечность — естественное математическое понятие и бороться с ним не нужно :)…), но могу поделиться ссылкой на книгу, на случай, если она окажется по теме :) : «Combinatorial Methods in Density Estimation (Luc Devroye, Gabor Lugosi; Springer, 2000)» (меня она привлекла на столько, что пришлось ее даже купить :)). — ADY 19:06, 23 апреля 2008 (MSD)
- За ссылку огромное спасибо; буду доставать — К.В.Воронцов 20:04, 10 июля 2008 (MSD)
Возникает ассоциация с «конструктивной математикой», где исследуется, какую часть математики можно получить, не пользуясь доказательством «от противного». Это действительно любопытный вопрос.
Также и «слабая вероятностная аксиоматика» интересна в теоретическом плане. И от «лишних» аксиом действительно лучше отказываться. Но у меня есть подозрение, что для многих практических задач «слабая вероятностная аксиоматика» окажется недостаточно мощной, чтобы адекватно отразить их особенности. Nvm 18:41, 24 июня 2008 (MSD)
- Мне тоже так кажется. Но оптимизм вытекает из того, что искусственное суммирование (усреднение) по всем перестановкам независимой выборки является ключевым приёмом при доказательстве огромного количества хорошо известных вероятностных фактов. Вот и возникла идея «вытащить его наружу» и обозвать «слабой аксиоматикой». Но суть, конечно, не в названии. Хочется выяснить границы применимости этого приёма и попробовать их расширить; а это большая работа — К.В.Воронцов 20:04, 10 июля 2008 (MSD)
Содержание |
Комментарии
- Опираться только на конечные выборки — действительно интересный шаг.
- Нет ли известных мостов между теории «слабой вероятностной аксиоматики» и «теории конечных автоматов» (на первый взгляд, теория конечных автоматов могла бы помочь с конструированием и анализом сложных дискретных распределений)? — ADY 19:00, 7 июля 2008 (MSD)
- Наверняка есть. Займёшься? ;) — К.В.Воронцов 20:04, 10 июля 2008 (MSD)
Вопрос о гипотезе о новой выборке
- Может ли слабая вероятностная аксиоматика дать какие-либо количественные (объективные) оценки в задаче с заданной выборкой
объема N для следующей гипотезы: вероятность появления в будущем (новой) выборки
объема
,
, такая же, как и вероятность выбора последовательности данных
- Да. Надо только уточнить,
принимают дискретное множество значений или это непрерывная величина. От этого многое зависит. — К.В.Воронцов 20:04, 10 июля 2008 (MSD)
- В моем случае — дискретные величины. | ADY 16:43, 11 июля 2008 (MSD)
- Понятно, что эта гипотеза становится менее привлекательной с увеличением r, но для r<0.5 — гипотеза выглядит вполне разумной. — ADY 12:52, 10 июля 2008 (MSD)
- Оценка выводится для любых N и n.
- Поскольку речь идет о данных из будущего, а имеющаяся выборка может быть нерепрезентативной, то надежность этой гипотезы с ростом n должна уменьшаться. — ADY 16:43, 11 июля 2008 (MSD)
- Так и есть, и соотвествующая теорема в слабой аксиоматике говорит точно, на сколько уменьшается надёжность. — К.В.Воронцов 00:31, 12 июля 2008 (MSD)
- Поскольку речь идет о данных из будущего, а имеющаяся выборка может быть нерепрезентативной, то надежность этой гипотезы с ростом n должна уменьшаться. — ADY 16:43, 11 июля 2008 (MSD)
- Принятие этой гипотезы, на первый взгляд, дает хорошую базу для анализа задач, в которых постоянно происходит накопление новых данных. — ADY 12:52, 10 июля 2008 (MSD)
- Займёшься? ;) — К.В.Воронцов 20:04, 10 июля 2008 (MSD)
- Да, если это будет коррелировать с задачами, которые передо мной стоят :). Если этот подход даст возможность построить эффективную оценку со штрафной функцией, то тем более да :). — ADY 16:43, 11 июля 2008 (MSD)
- Что-то я опять не могу продраться сквозь твои обозначения и самовыдуманные термины. Пора встречаться ;). — К.В.Воронцов 00:31, 12 июля 2008 (MSD)
- Да, если это будет коррелировать с задачами, которые передо мной стоят :). Если этот подход даст возможность построить эффективную оценку со штрафной функцией, то тем более да :). — ADY 16:43, 11 июля 2008 (MSD)
Связи с частотной вероятностью
Есть ли связи с частотной вероятностью: [1] (см. также Charles Friedman, The Frequency Interpretation in Probability) ?
Простейшая содержательная интерпретация. Схема Бернулли.
Чтобы легче было "прочувствовать" особенность комбинаторного подхода (слабой вероятностной аксиоматики), есть предложение рассмотреть простейший пример - схему Бернулли. Пусть есть некоторая генеральная совокупность, например 1000000 объектов. Известно, что они могут быть двух классов, но не известна доля каждого. Пусть было случайно выбрано 10 объектов, которые все оказались первого класса. что в слабой вероятностной аксиоматике можно сказать о классе объекта, который будет выбран следующим? Что можно сказать о числе объектов первого класса среди последующей 1000?
В классическом вероятностном подходе один из возможных ответов на первый вопрос следующий: ставки до 9 к 1 за то, что следующий объект будет первого класса, являются разумными, ставки более чем 10 к 1 являются неразумными. Nvm 18:39, 11 мая 2009 (MSD)
