Участник:Tolstikhin/TODO

Материал из MachineLearning.

< Участник:Tolstikhin

Перейти к: навигация, поиск

Excess risk bounds in machine learning

Локальные sup-нормы и неравенство Талаграна в SLT.
Серия из трех лекций, в которых я постарался 1) коротко резюмировать классические подходы к оценке избыточного риска и обобщающей способности, наглядно продемонстрировав их слабые места, 2) перечислить некоторые сведения из теории концентрации меры, необходимые в описании альтернативного подхода и 3) описать развитый в середине 2000-х подход, позволяющий получать оценки избыточного риска, в большинстве случаев имеющие оптимальный порядок малости. Keywords: эмпирические процессы, sup-нормы, неравенство Талаграна, локальная и глобальная радемахеровская сложность, симметризация.

Concentration Inequalities

Концентрация меры, неравенство Талаграна.
Текст, в котором я попытался наглядно продемонстрировать применение метода Талаграна (неравенства Талаграна) для изучения концентрации случайных величин вокруг их медиан. В качестве примера приводится задача о длине максимальной возрастающей подпоследовательности случайной последовательности. В заключение приводится оценка для функционала равномерного отклонения частот, полученная с помощью метода Талаграна.
Полученная в последнем разделе текста оценка весьма завышена. Более аккуратный подход даёт следующее неравенство: $Z(X\cup \bar{X})\leq c + \frac{L}{\ell k}f_c\bigl(S(c),X\cup\bar{X})\sqrt{n(\mu X, \mathbb{X})}$ .
Энтропийный подход Ledoux.
Скоро появится обзорный текст по примеру текста выше.
Из статьи "Local Rademacher Complexities and oracle inequalities in empirical risk minimization" В.И. Колчинского:
Despite the fact that in many special statistical problems the use of Talagrand’s inequalities can be avoided and oracle inequalities can be proved relying on more elementary probabilistic methods, one can hardly deny that concentration inequalities are the only universal tool in probability that suits the needs of model selection and oracle inequalities problems extremely well and are, probably, unavoidable when these problems are being dealt with in their full generality (e.g., in a machine learning setting).