Участник:Задаянчук Андрей

Материал из MachineLearning.

МФТИ, ФУПМ

Кафедра "Интеллектуальные системы"

Направление "Интеллектуальный анализ данных"

wisemen94@gmail.com

Отчет о научно-исследовательской работе

Весна 2015, 6-й семестр

Выбор оптимальной модели классификации физической активности по измерениям акселерометра

Решается задача построения модели для точной и устойчивой классификации физической активности человека по временным рядам. Нейронные сети с недостаточным или избыточным числом нейронов обладают недостаточной обобщающей способностью и могут давать прогнозы неустойчивые относительно изменения состава выборки. Исследуются модели из класса двухслойных нейронных сетей. Рассматриваются модели с избыточно сложной структурой. Структура модели оптимизируется путем удаления из нее наборов параметров — нейронов. Для оптимизации структуры нейронной сети и обеспечения устойчивости предлагается алгоритм генетического типа. Новизна работы заключается в том, что вероятность удаления наборов параметров определяется дисперсией параметров. В вычислительном эксперименте модели, порождаемые предложенной стратегией, сравниваются по двум критериям качества — точности и устойчивости. Модели оптимизируются на выборках, полученных путем выделения признаков из временных рядов.

Публикация

А.И. Задаянчук, М.В. Попова, В.В.Стрижов Выбор оптимальной модели классификации физической активности по измерениям акселерометра // Информационные технологии..(подана в печать)

Осень 2015, 7-й семестр

Участие в 58-ой открытой конференции МФТИ

Тема доклада: Выбор оптимальной модели классификации физической активности по измерениям акселерометра

Решается задача построения модели для точной и устойчивой классификации физической активности человека по временным рядам. Нейронные сети с недостаточным или избыточным числом нейронов обладают недостаточной обобщающей способностью и могут давать прогнозы неустойчивые относительно изменения состава выборки. Исследуются модели из класса двухслойных нейронных сетей. Рассматриваются модели с избыточно сложной структурой. Структура модели оптимизируется путем удаления из нее наборов параметров — нейронов. Для оптимизации структуры нейронной сети и обеспечения устойчивости предлагается алгоритм генетического типа. Новизна работы заключается в том, что вероятность удаления наборов параметров определяется дисперсией параметров. В вычислительном эксперименте модели, порождаемые предложенной стратегией, сравниваются по двум критериям качества — точности и устойчивости. Модели оптимизируются на выборках, полученных путем выделения признаков из временных рядов.

Технический отчет по курсу Построение эксплуатируемых моделей машинного обучения

Исследована сходимость матрицы ковариации в задаче многоклассовой регрессии, построен итерационный процесс нахождения этой матрицы, который находит матрицу ковариации при которой совместное правдоподобие модели и данных максимально. Подсчитана и оптимизирована вычислительная сложность данного алгоритма, для создания создания необходимых условий его дальнейшего использования в комбинации с другими алгоритмами.

Оценка оптимальной матрицы ковариации в задаче многоклассовой регрессии

Решается задача оценки гиперпараметров в задаче многоклассовой регрессии. Находятся параметры при которых совместное правдоподобие будет максимальным. Используется аппроксимация Лапласа для оценки значения совместного правдоподобия. Решается оптимизационная задача максимизации полученной оценки совместного правдоподобия, зависящей от матрицы ковариации. Для нахождения оптимальной матрицы ковариации был реализован итерационный двухшаговый процесс пересчета матрицы ковариации и гессиана функции ошибки

Публикация

A.I. Zadayanchuk. V.V. Strijov Hyperparameter optimization in multiclass model selection // Optimization, 2016 (in progress).