Участник:Tolstikhin/TODO
Материал из MachineLearning.
< Участник:Tolstikhin(Различия между версиями)
| (4 промежуточные версии не показаны) | |||
| Строка 1: | Строка 1: | ||
| + | '''Excess risk bounds in machine learning''' | ||
| + | #[[Media:Tolst2012slt_raw.pdf|Локальные sup-нормы и неравенство Талаграна в SLT.]] | ||
| + | #:Серия из трех лекций, в которых я постарался 1) коротко резюмировать классические подходы к оценке избыточного риска и обобщающей способности, наглядно продемонстрировав их слабые места, 2) перечислить некоторые сведения из теории концентрации меры, необходимые в описании альтернативного подхода и 3) описать развитый в середине 2000-х подход, позволяющий получать оценки избыточного риска, в большинстве случаев имеющие оптимальный порядок малости. Keywords: эмпирические процессы, sup-нормы, неравенство Талаграна, локальная и глобальная радемахеровская сложность, симметризация. | ||
| + | |||
| + | |||
'''Concentration Inequalities''' | '''Concentration Inequalities''' | ||
#[[Media:Tolst2011talagrandrev.pdf|Концентрация меры, неравенство Талаграна.]] | #[[Media:Tolst2011talagrandrev.pdf|Концентрация меры, неравенство Талаграна.]] | ||
#:Текст, в котором я попытался наглядно продемонстрировать применение метода Талаграна (неравенства Талаграна) для изучения [[Концентрация вероятностной меры|концентрации]] случайных величин вокруг их медиан. В качестве примера приводится задача о длине максимальной возрастающей подпоследовательности случайной последовательности. В заключение приводится оценка для функционала равномерного отклонения частот, полученная с помощью метода Талаграна. | #:Текст, в котором я попытался наглядно продемонстрировать применение метода Талаграна (неравенства Талаграна) для изучения [[Концентрация вероятностной меры|концентрации]] случайных величин вокруг их медиан. В качестве примера приводится задача о длине максимальной возрастающей подпоследовательности случайной последовательности. В заключение приводится оценка для функционала равномерного отклонения частот, полученная с помощью метода Талаграна. | ||
#:Полученная в последнем разделе текста оценка весьма завышена. Более аккуратный подход даёт следующее неравенство: <tex>Z(X\cup \bar{X})\leq c + \frac{L}{\ell k}f_c\bigl(S(c),X\cup\bar{X})\sqrt{n(\mu X, \mathbb{X})}</tex>. | #:Полученная в последнем разделе текста оценка весьма завышена. Более аккуратный подход даёт следующее неравенство: <tex>Z(X\cup \bar{X})\leq c + \frac{L}{\ell k}f_c\bigl(S(c),X\cup\bar{X})\sqrt{n(\mu X, \mathbb{X})}</tex>. | ||
| - | # | + | #Энтропийный подход Ledoux. |
#:Скоро появится обзорный текст по примеру текста выше. | #:Скоро появится обзорный текст по примеру текста выше. | ||
| + | #Из статьи "Local Rademacher Complexities and oracle inequalities in empirical risk minimization" В.И. Колчинского: | ||
| + | #:Despite the fact that in many special statistical problems the use of Talagrand’s inequalities can be avoided and oracle inequalities can be proved relying on more elementary probabilistic methods, one can hardly deny that concentration inequalities are the only universal tool in probability that suits the needs of model selection and oracle inequalities problems extremely well and are, probably, unavoidable when these problems are being dealt with in their full generality (e.g., in a machine learning setting). | ||
'''Rademacher Complexity''' | '''Rademacher Complexity''' | ||
Текущая версия
Excess risk bounds in machine learning
- Локальные sup-нормы и неравенство Талаграна в SLT.
- Серия из трех лекций, в которых я постарался 1) коротко резюмировать классические подходы к оценке избыточного риска и обобщающей способности, наглядно продемонстрировав их слабые места, 2) перечислить некоторые сведения из теории концентрации меры, необходимые в описании альтернативного подхода и 3) описать развитый в середине 2000-х подход, позволяющий получать оценки избыточного риска, в большинстве случаев имеющие оптимальный порядок малости. Keywords: эмпирические процессы, sup-нормы, неравенство Талаграна, локальная и глобальная радемахеровская сложность, симметризация.
Concentration Inequalities
- Концентрация меры, неравенство Талаграна.
- Текст, в котором я попытался наглядно продемонстрировать применение метода Талаграна (неравенства Талаграна) для изучения концентрации случайных величин вокруг их медиан. В качестве примера приводится задача о длине максимальной возрастающей подпоследовательности случайной последовательности. В заключение приводится оценка для функционала равномерного отклонения частот, полученная с помощью метода Талаграна.
- Полученная в последнем разделе текста оценка весьма завышена. Более аккуратный подход даёт следующее неравенство:
.
- Энтропийный подход Ledoux.
- Скоро появится обзорный текст по примеру текста выше.
- Из статьи "Local Rademacher Complexities and oracle inequalities in empirical risk minimization" В.И. Колчинского:
- Despite the fact that in many special statistical problems the use of Talagrand’s inequalities can be avoided and oracle inequalities can be proved relying on more elementary probabilistic methods, one can hardly deny that concentration inequalities are the only universal tool in probability that suits the needs of model selection and oracle inequalities problems extremely well and are, probably, unavoidable when these problems are being dealt with in their full generality (e.g., in a machine learning setting).
Rademacher Complexity
- Оценка равномерного по классу алгоритмов отклонения частот с помощью Радемахеровского среднего.
- В тексте представлен способ оценивать равномерное по классу алгоритмов A отклонение частот с помощью Радемахеровского среднего (Rademacher avarage) класса A в слабой вероятностной аксиоматике. В тексте рассмотрен случай равных по объему обучающих и контрольных выборок (
).
- В тексте представлен способ оценивать равномерное по классу алгоритмов A отклонение частот с помощью Радемахеровского среднего (Rademacher avarage) класса A в слабой вероятностной аксиоматике. В тексте рассмотрен случай равных по объему обучающих и контрольных выборок (
- Неравенство для математического ожидания равномерного отклонения и радемахеровского среднего.
- В тексте представлено утверждение, связывающее в слабой вероятностной аксиоматике математическое ожидание равномерного по классу алгоритмов А отклонения частот от вероятностей с Радемахеровским средним. Случай
.
- В тексте представлено утверждение, связывающее в слабой вероятностной аксиоматике математическое ожидание равномерного по классу алгоритмов А отклонения частот от вероятностей с Радемахеровским средним. Случай
