Участник:Andriygav

Материал из MachineLearning.

Версия 19:09, 15 марта 2019

Грабовой Андрей

• МФТИ, ФУПМ
• Интеллектуальные системы
• Интеллектуальный анализ данных
• E-mail: grabovoy.av@phystech.edu, andriy.graboviy@mail.ru

Весна 2018, 6й семестр

Автоматическое определение релевантности параметров нейросети
Работа посвящена оптимизации структуры нейронной сети. Предполагается, что число параметров нейроной сети можно существенно снизить без значимой потери качества и без значимого повышения дисперсии функции ошибки. Предлагается метод прореживания параметров нейронной сети, основанный на автоматическом определении релевантности параметров. Для определения релевантности параметров, предлагается проанализировать ковариационую матрицу апостериорного распределения параметров и удалить из нейросети наименее релевантные и мультиколлинеарные параметры. Для определения мультиколлинеарности предлагается использовать метод Белсли. Для анализа качества представленного алгоритма проводятся эксперименты на выборке Boston Housing, а также на синтетических данных.

Осень 2018, 7й семестр

Весна 2019, 8й семестр

Численные методы оценки объема выборки в задачах регрессии и классификации
Исследуется проблема снижения затрат на сбор данных, необходимых для построения адекватной модели. Решаются задачи регрессии и классификации. Для решения этих задач требуется, чтобы выборка содержала необходимое число объектов и не противоречила гипотезе порождения данных. Эта гипотеза состоит из предположений о составе выборки и свойствах модели, которая описывает ее оптимально, согласно принятому критерию. Адекватной называется модель, не противоречащая гипотезе порождения данных. Базовыми предположениями являются предположения о простоте и однородности выборки: выборка, необходимый объем которой требуется оценить, адекватно аппроксимируется одной обобщенно-линейной моделью. Предпочтительны те методы оценки объемы, которые позволяют строить адекватные модели по выборкам возможно меньшего объема. Данная работа анализирует численные свойства методов, используемых для оценки выборки на практике и предлагает пути их улучшения. В анализ включены как методы, оценивающие объем выборки исходя из гипотезы порождения данных, использующие эвристические предположения, так и методы, учитывающие структуру модели, которая будет построена. Вычислительный эксперимент включает часто используемые открытые выборки, а также синтетически сгенерированные выборки.

Выступления на конференциях и семинарах

• 12 октября 2018. ИОИ-2018. Автоматическое определение релевантности параметров нейросети.
• 29 ноября 2019. 61-я Всероссийская научная конференция МФТИ. Поиск оптимальной модели при помощи алгоритмов прореживания.

Публикации

• Грабовой А.В., Бахтеев О.Ю., Стрижов В.В. Определение релевантности параметров нейросети // Информатика и ее применения, 2019, 13(3).