Участник:Denis Kochedykov
Материал из MachineLearning.
(Различия между версиями)
(→Ближайший план работы) |
м (→Структура кандидатской диссертации) |
||
| Строка 18: | Строка 18: | ||
## Апробация: ИОИ-2008, МФТИ-2007, МФТИ-2008, ММРО-2009(предстоит), семинары ВЦ РАН(предстоит) | ## Апробация: ИОИ-2008, МФТИ-2007, МФТИ-2008, ММРО-2009(предстоит), семинары ВЦ РАН(предстоит) | ||
## Содержание работы по главам и личный вклад. | ## Содержание работы по главам и личный вклад. | ||
| - | |||
# Обзорная часть | # Обзорная часть | ||
## Проблема обобщающей способности. Обзор современных результатов: Вапника, Лэнгфорда, МакАллистера, и т.д. | ## Проблема обобщающей способности. Обзор современных результатов: Вапника, Лэнгфорда, МакАллистера, и т.д. | ||
## Слабая вероятностная аксиоматика | ## Слабая вероятностная аксиоматика | ||
## Постановка задачи диссертации ('''основная задача диссертации пока не до конца ясна''') | ## Постановка задачи диссертации ('''основная задача диссертации пока не до конца ясна''') | ||
| - | |||
# Известные оценки переведенные в слабую аксиоматику (содержательная глава №1) | # Известные оценки переведенные в слабую аксиоматику (содержательная глава №1) | ||
## Вапник | ## Вапник | ||
## Лэнгфорд | ## Лэнгфорд | ||
## Силл | ## Силл | ||
| - | |||
# Эффект сходства алгоритмов при оценивании вероятности переобучения (содержательная глава №2. основная.) | # Эффект сходства алгоритмов при оценивании вероятности переобучения (содержательная глава №2. основная.) | ||
| - | # | + | ## Верхняя оценка вероятности возникновения переобучения в связном семействе при помощи неравенства типа Бонферрони |
| - | # | + | ## Точное значение вероятности возникновения переобучения в цепочке алгоритмов без расслоения |
| - | # | + | ## Точное значение вероятности пеореобучения метода МЭР на цепочке алгоритмов без расслоения |
| - | # | + | ## Верхние оценки вероятности переобучения метода МЭР и вероятности возникновения переобучения для семейства, состоящего из множества цепочек без расслоения |
| - | + | ||
# Эксперименты | # Эксперименты | ||
| - | # | + | ## Сравнение различных оценок |
| Строка 45: | Строка 41: | ||
#* Естественно, есть описание слабой вероятностной аксиоматики. | #* Естественно, есть описание слабой вероятностной аксиоматики. | ||
#* Отсутствует обзор современного состояния по теме. | #* Отсутствует обзор современного состояния по теме. | ||
| - | |||
# В главе про перевод известных оценок в комбинаторный вид | # В главе про перевод известных оценок в комбинаторный вид | ||
#* Естественно, есть стандартная оценка Вапника. | #* Естественно, есть стандартная оценка Вапника. | ||
| Строка 51: | Строка 46: | ||
#* Можно считать, что есть оценка Силла для связных семейств - разобрался, как она устроена, теперь легко можно ее записать в слабой аксиоматике. | #* Можно считать, что есть оценка Силла для связных семейств - разобрался, как она устроена, теперь легко можно ее записать в слабой аксиоматике. | ||
#* Других оценок нет. '''Нужен ли здесь перевод еще каких то известных оценок в слабую аксиоматику?''' | #* Других оценок нет. '''Нужен ли здесь перевод еще каких то известных оценок в слабую аксиоматику?''' | ||
| - | |||
# В главе про эффект сходства | # В главе про эффект сходства | ||
#* Есть верхняя оценка вероятности возникновения переобучения в связном семействе неравенством Бонферрони. | #* Есть верхняя оценка вероятности возникновения переобучения в связном семействе неравенством Бонферрони. | ||
| Строка 59: | Строка 53: | ||
# Получить вероятность переобучения метода МЭР для худшего случая цепочки без расслоения. Это будет оценка с одновременным учетом и метода обучения и структуры сходства семейства. | # Получить вероятность переобучения метода МЭР для худшего случая цепочки без расслоения. Это будет оценка с одновременным учетом и метода обучения и структуры сходства семейства. | ||
| - | |||
# Получить вероятность возникновения переобучения в цепочке без расслоения. Это будет полный учет структуры сходства семейства, без учета метода обучения. | # Получить вероятность возникновения переобучения в цепочке без расслоения. Это будет полный учет структуры сходства семейства, без учета метода обучения. | ||
| - | |||
# Сравнить эти две последние оценки и оценку union bound(Вапник) - какой эффект дают учет структуры сходства и метода обучения. | # Сравнить эти две последние оценки и оценку union bound(Вапник) - какой эффект дают учет структуры сходства и метода обучения. | ||
| - | |||
# Обычным union bound'ом получить для каждой из последних двух оценок оценку для семейства состоящего из цепочек без расслоения ('''здесь пока не совсем понятно - ведь слои в реальных семействах не обязательно представляют из себя цепочки'''). Для union bound'а нужно знать профиль - число алгоритмов в каждом слое. Его можно оценить по наблюдаемому профилю семейства так, как это делается в observable shell Лэнгфорда. | # Обычным union bound'ом получить для каждой из последних двух оценок оценку для семейства состоящего из цепочек без расслоения ('''здесь пока не совсем понятно - ведь слои в реальных семействах не обязательно представляют из себя цепочки'''). Для union bound'а нужно знать профиль - число алгоритмов в каждом слое. Его можно оценить по наблюдаемому профилю семейства так, как это делается в observable shell Лэнгфорда. | ||
[[Участник:Denis Kochedykov|kochede]] 13:41, 8 мая 2009 (MSD) | [[Участник:Denis Kochedykov|kochede]] 13:41, 8 мая 2009 (MSD) | ||
Версия 11:36, 8 мая 2009
| Кочедыков Денис Алексеевич, Forecsys, ВЦ РАН(соискатель).
Научный руководитель Воронцов К.В..
|
Структура кандидатской диссертации
- Введение
- Актуальность
- Новизна: учет эффекта сходства и расслоения в оценках обобщающей способности в комбинаторном подходе
- Апробация: ИОИ-2008, МФТИ-2007, МФТИ-2008, ММРО-2009(предстоит), семинары ВЦ РАН(предстоит)
- Содержание работы по главам и личный вклад.
- Обзорная часть
- Проблема обобщающей способности. Обзор современных результатов: Вапника, Лэнгфорда, МакАллистера, и т.д.
- Слабая вероятностная аксиоматика
- Постановка задачи диссертации (основная задача диссертации пока не до конца ясна)
- Известные оценки переведенные в слабую аксиоматику (содержательная глава №1)
- Вапник
- Лэнгфорд
- Силл
- Эффект сходства алгоритмов при оценивании вероятности переобучения (содержательная глава №2. основная.)
- Верхняя оценка вероятности возникновения переобучения в связном семействе при помощи неравенства типа Бонферрони
- Точное значение вероятности возникновения переобучения в цепочке алгоритмов без расслоения
- Точное значение вероятности пеореобучения метода МЭР на цепочке алгоритмов без расслоения
- Верхние оценки вероятности переобучения метода МЭР и вероятности возникновения переобучения для семейства, состоящего из множества цепочек без расслоения
- Эксперименты
- Сравнение различных оценок
Состояние работы на текущий момент
- В обзорной части
- Частично есть описание постановки задачи.
- Естественно, есть описание слабой вероятностной аксиоматики.
- Отсутствует обзор современного состояния по теме.
- В главе про перевод известных оценок в комбинаторный вид
- Естественно, есть стандартная оценка Вапника.
- Из Лэнгфорда есть оценки Occam Razor, Shell, можно считать, что есть Microchoice, т.к. он переводится тривиально.
- Можно считать, что есть оценка Силла для связных семейств - разобрался, как она устроена, теперь легко можно ее записать в слабой аксиоматике.
- Других оценок нет. Нужен ли здесь перевод еще каких то известных оценок в слабую аксиоматику?
- В главе про эффект сходства
- Есть верхняя оценка вероятности возникновения переобучения в связном семействе неравенством Бонферрони.
- Остального еще нет.
Ближайший план работы
- Получить вероятность переобучения метода МЭР для худшего случая цепочки без расслоения. Это будет оценка с одновременным учетом и метода обучения и структуры сходства семейства.
- Получить вероятность возникновения переобучения в цепочке без расслоения. Это будет полный учет структуры сходства семейства, без учета метода обучения.
- Сравнить эти две последние оценки и оценку union bound(Вапник) - какой эффект дают учет структуры сходства и метода обучения.
- Обычным union bound'ом получить для каждой из последних двух оценок оценку для семейства состоящего из цепочек без расслоения (здесь пока не совсем понятно - ведь слои в реальных семействах не обязательно представляют из себя цепочки). Для union bound'а нужно знать профиль - число алгоритмов в каждом слое. Его можно оценить по наблюдаемому профилю семейства так, как это делается в observable shell Лэнгфорда.
kochede 13:41, 8 мая 2009 (MSD)
