Участник:Andriygav
Материал из MachineLearning.
(→Выступления на конференциях и семинарах) |
|||
| Строка 8: | Строка 8: | ||
| - | ==Весна 2018, 6й семестр== | + | == Весна 2018, 6й семестр == |
'''Автоматическое определение релевантности параметров нейросети'''<br/> | '''Автоматическое определение релевантности параметров нейросети'''<br/> | ||
''Работа посвящена оптимизации структуры нейронной сети. Предполагается, что число параметров нейроной сети можно существенно снизить без значимой потери качества и без значимого повышения дисперсии функции ошибки. Предлагается метод прореживания параметров нейронной сети, основанный на автоматическом определении релевантности параметров. Для определения релевантности параметров, предлагается проанализировать ковариационую матрицу апостериорного распределения параметров и удалить из нейросети наименее релевантные и мультиколлинеарные параметры. Для определения мультиколлинеарности предлагается использовать метод Белсли. Для анализа качества представленного алгоритма проводятся эксперименты на выборке Boston Housing, а также на синтетических данных.'' <br/> | ''Работа посвящена оптимизации структуры нейронной сети. Предполагается, что число параметров нейроной сети можно существенно снизить без значимой потери качества и без значимого повышения дисперсии функции ошибки. Предлагается метод прореживания параметров нейронной сети, основанный на автоматическом определении релевантности параметров. Для определения релевантности параметров, предлагается проанализировать ковариационую матрицу апостериорного распределения параметров и удалить из нейросети наименее релевантные и мультиколлинеарные параметры. Для определения мультиколлинеарности предлагается использовать метод Белсли. Для анализа качества представленного алгоритма проводятся эксперименты на выборке Boston Housing, а также на синтетических данных.'' <br/> | ||
| - | ==Осень 2018, 7й семестр== | + | == Осень 2018, 7й семестр == |
| + | |||
| + | == Весна 2019, 8й семестр == | ||
| + | '''Численные методы оценки объема выборки в задачах регрессии и классификации'''<br/> | ||
| + | ''Исследуется проблема снижения затрат на сбор данных, необходимых для построения адекватной модели. Решаются задачи регрессии и классификации. Для решения этих задач требуется, чтобы выборка содержала необходимое число объектов и не противоречила гипотезе порождения данных. Эта гипотеза состоит из предположений о составе выборки и свойствах модели, которая описывает ее оптимально, согласно принятому критерию. Адекватной называется модель, не противоречащая гипотезе порождения данных. Базовыми предположениями являются предположения о простоте и однородности выборки: выборка, необходимый объем которой требуется оценить, адекватно аппроксимируется одной обобщенно-линейной моделью. Предпочтительны те методы оценки объемы, которые позволяют строить адекватные модели по выборкам возможно меньшего объема. Данная работа анализирует численные свойства методов, используемых для оценки выборки на практике и предлагает пути их улучшения. В анализ включены как методы, оценивающие объем выборки исходя из гипотезы порождения данных, использующие эвристические предположения, так и методы, учитывающие структуру модели, которая будет построена. Вычислительный эксперимент включает часто используемые открытые выборки, а также синтетически сгенерированные выборки. '' <br/> | ||
| Строка 18: | Строка 22: | ||
* 12 октября 2018. '''[[Интеллектуализация обработки информации (конференция)/2018|ИОИ-2018]]'''. '''[[Media:Grabovoy.pdf|Автоматическое определение релевантности параметров нейросети]]'''. | * 12 октября 2018. '''[[Интеллектуализация обработки информации (конференция)/2018|ИОИ-2018]]'''. '''[[Media:Grabovoy.pdf|Автоматическое определение релевантности параметров нейросети]]'''. | ||
* 29 ноября 2019. '''61-я Всероссийская научная конференция МФТИ'''. '''Поиск оптимальной модели при помощи алгоритмов прореживания'''. | * 29 ноября 2019. '''61-я Всероссийская научная конференция МФТИ'''. '''Поиск оптимальной модели при помощи алгоритмов прореживания'''. | ||
| + | |||
| + | == Публикации == | ||
| + | * Грабовой А.В., Бахтеев О.Ю., Стрижов В.В. Определение релевантности параметров нейросети // Информатика и ее применения, 2019, 13(3). | ||
Версия 19:08, 15 марта 2019
Содержание |
Грабовой Андрей
- МФТИ, ФУПМ
- Интеллектуальные системы
- Интеллектуальный анализ данных
- E-mail: grabovoy.av@phystech.edu andriy.graboviy@mail.ru
Весна 2018, 6й семестр
Автоматическое определение релевантности параметров нейросети
Работа посвящена оптимизации структуры нейронной сети. Предполагается, что число параметров нейроной сети можно существенно снизить без значимой потери качества и без значимого повышения дисперсии функции ошибки. Предлагается метод прореживания параметров нейронной сети, основанный на автоматическом определении релевантности параметров. Для определения релевантности параметров, предлагается проанализировать ковариационую матрицу апостериорного распределения параметров и удалить из нейросети наименее релевантные и мультиколлинеарные параметры. Для определения мультиколлинеарности предлагается использовать метод Белсли. Для анализа качества представленного алгоритма проводятся эксперименты на выборке Boston Housing, а также на синтетических данных.
Осень 2018, 7й семестр
Весна 2019, 8й семестр
Численные методы оценки объема выборки в задачах регрессии и классификации
Исследуется проблема снижения затрат на сбор данных, необходимых для построения адекватной модели. Решаются задачи регрессии и классификации. Для решения этих задач требуется, чтобы выборка содержала необходимое число объектов и не противоречила гипотезе порождения данных. Эта гипотеза состоит из предположений о составе выборки и свойствах модели, которая описывает ее оптимально, согласно принятому критерию. Адекватной называется модель, не противоречащая гипотезе порождения данных. Базовыми предположениями являются предположения о простоте и однородности выборки: выборка, необходимый объем которой требуется оценить, адекватно аппроксимируется одной обобщенно-линейной моделью. Предпочтительны те методы оценки объемы, которые позволяют строить адекватные модели по выборкам возможно меньшего объема. Данная работа анализирует численные свойства методов, используемых для оценки выборки на практике и предлагает пути их улучшения. В анализ включены как методы, оценивающие объем выборки исходя из гипотезы порождения данных, использующие эвристические предположения, так и методы, учитывающие структуру модели, которая будет построена. Вычислительный эксперимент включает часто используемые открытые выборки, а также синтетически сгенерированные выборки.
Выступления на конференциях и семинарах
- 12 октября 2018. ИОИ-2018. Автоматическое определение релевантности параметров нейросети.
- 29 ноября 2019. 61-я Всероссийская научная конференция МФТИ. Поиск оптимальной модели при помощи алгоритмов прореживания.
Публикации
- Грабовой А.В., Бахтеев О.Ю., Стрижов В.В. Определение релевантности параметров нейросети // Информатика и ее применения, 2019, 13(3).
