Участник:Aleksandra.Tokmakova

Материал из MachineLearning.

Текущая версия

МФТИ, ФУПМ

Кафедра "Интеллектуальные системы"

Направление "Интеллектуальный анализ данных"

Mailto: aleksandra-tok@yandex.ru

Отчеты о научно-исследовательской работе

Весна 2011, 6-й семестр

Выделение периодической компоненты из временного ряда

В проекте исследуется временной ряд на наличие периодической компоненты. На основе теории о рядах Фурье строится тригонометрическая интерполяция предложенных временных рядов методом наименьших квадратов. Также производится оценка параметров функции метода наименьших квадратов в зависимости от качества прогнозирования. В вычислительном эксперименте приводятся результаты работы корреляционной функции и метода наименьших квадратов на зашумлённом модельном синусе и реальном временном ряде электрокардиограммы.

Публикация

• Токмакова А.А. Выделение периодической компоненты из временного ряда // Машинное обучение и анализ данных. — 2011. — № 1. — С. 40-50. — ISSN 2223-3792.

Осень 2011, 7-й семестр

Получение устойчивых оценок гиперпараметров линейных регрессионных моделей

В работе решается задача отбора признаков при восстановлении линейной регрессии. Принята гипотеза о нормальном распределении вектора зависимой переменной и~параметров модели. Для оценки ковариационной матрицы параметров используется аппроксимация Лапласа: логарифм функции ошибки приближается функцией нормального распределения. Исследуется проблема присутствия в выборке шумовых и коррелирующих признаков, так как при их наличии матрица ковариаций параметров модели становится вырожденной. Предлагается алгоритм, производящий отбор информативных признаков. В вычислительном эксперименте приводятся результаты исследования на временном ряде.

Публикации

• Токмакова А.А. Получение устойчивых оценок гиперпараметров линейных регрессионных моделей // Машинное обучение и анализ данных. — 2011. — № 2. — С. 140-155. — ISSN 2223-3792.
• Стрижов В.В., Токмакова А.А. Оценивание гиперпараметров линейных регрессионных моделей при отборе шумовых и коррелирующих признаков // Информатика и её применения. — 2012. — № 4. — ISSN 1992-2264 (принято в печать).

Весна 2012, 8-й семестр

Оценка гиперпараметров линейных регрессионных моделей методом максимального правдоподобия при отборе шумовых и коррелирующих признаков

Рассматривается задача выбора регрессионной модели. Предполагается, что вектор параметров модели − многомерная случайная величина с независимо распределёнными компонентами. В работе предложен способ оптимизации праметров и гиперпараметров. Приведены явные оценки гиперпараметров для случая линейных и нелинейных моделей. Показано как полученные оценки используются для отбора признаков. Предложенный подход сравнивается с подходом, использующим для лценки гиперпараметров аппроксимацию Лапласа.

Публикации

• Зайцев А.А., Стрижов В.В., Токмакова А.А. Оценка гиперпараметров регрессионных моделей методом максимального правдоподобия // Информационные технологии. — 2012. — № 11. — ISSN 1684-6400 (принято в печать).
• Зайцев А.А., Токмакова А.А. Оценка гиперпараметров линейных регрессионных моделей методом максимального правдоподобия при отборе шумовых и коррелирующих признаков // Машинное обучение и анализ данных. — 2012. — № 3. — С. 347-353. — ISSN 2223-3792.

Доклад на научной конференции

• Токмакова А.А. Оценка ковариационных матриц параметров модели при восстановлении линейной регрессии // XIX Международная конференция студентов, аспирантов и молодых ученых «Ломоносов», апрель. — 2012.

Гранты

• «Оценивание гиперпараметров линейных регрессионных моделей при отборе шумовых и коррелирующих признаков», ПГАС

Осень 2012, 9-й семестр

Работа над статьей Алгоритмы оценки ковариационных матриц общего вида в задачах регрессионного анализа

Работа посвящена исследованию алгоритмов оценивания ковариационных матриц параметров регрессионных моделей. Принята гипотеза о том, что зависимая переменная и параметры регрессионной модели - многомерные случайные величины, имеющие нормальное распределение. Считается, что ковариационная матрица распределения зависимой переменной известна и фиксирована. Рассмотрены случаи диагональных ковариационных матриц и матриц общего вида, проводится сравнительный анализ представленных методов. Сравниваются три подхода к оценке ковариационной матрицы параметров модели: аппроксимация матрицей, полученной с помощью метода наименьших квадратов; аппроксимация Лапласа; максимизация правдоподобия модели методом Монте-Карло.

Публикации

• Токмакова А.А., Стрижов В.В. Оценка гиперпараметров линейных регрессионных моделей при отборе шумовых и мультикоррелирующих признаков // Международная конференция "Интеллектуализация обработки информации" (ИОИ-9). — 2012. — С. 156-159.

• Токмакова А.А. Оценка ковариационной матрицы распредлеения параметров регрессионной модели при фильтрации шумовых и мультикоррелирующих признаков // Труды 55-й научной конференции МФТИ. — 2012. — С. 119-120.

Гранты

• <<Оценка гиперпараметров регрессионных моделей методом максимального правдоподобия>>, ПГАС
• <<Алгоритмы выбора обобщенно-линейных моделей в задачах классификации в условиях малого объема выборки>>, грант №12-0731095, мол-а-2012

Весна, 2013, 10-ый семестр

This paper presents deterministic and stochastic algorithms of the structure parameters estimation for the model selection problem. Structure parameters optimization for linear and non-linear models is investigated. The optimized error function is inferred from statistical hypothesis on the model parameter distributions. Analytic algorithms are based on the error function derivatives estimation with respect to the model parameters. Stochastic algorithms are based on the model parameters sampling and on the data cross-validation. The algorithms are tested and compared on model and real data.

Публикации

• Стрижов В.В., Кузнецов М.П., Токмакова А.А. Structure parameter estimation algorithms for model selection // Computational Statistics and Data Analysis (подано). — 2013.

Гранты

• <<Алгоритмы выбора обобщенно-линейных моделей в задачах классификации в условиях малого объема выборки>>, грант №12-0731095, мол-а-2012

Зима, 2013, 11-ый семестр

В работе рассматривается задача совместного отбора информативных признаков и объектов в задаче кредитного скоринга. Для оценки вероятности риска невозврата кредита используется логистическая регрессия. Отбор производится с помощью стохастической процедуры оптимизации. Для снижения размерности признакового пространства решена задача группировки признаков, возникающая в результате бинарного представления порядковых и номинальных признаков. Для повышения качества классификации производится разбиение объектов на классы. Для оценки качества кластеризации предложена модификация ROC-кривой для разбиения множества объектов более, чем на два класса. Вычислительный эксперимент выполнен на исторических данных о потребительских кредитах за несколько последних лет.

Публикации

• Токмакова А. А. Алгоритм стохастического отбора объектов и признаков в задаче банковского кредитного скоринга // Информационные технологии (принято в печать). — 2014.

Гранты

• Structure parameter estimation algorithms for model selection, ПГАС
• <<Алгоритмы выбора обобщенно-линейных моделей в задачах классификации в условиях малого объема выборки>>, грант №12-0731095, мол-а-2012

Весна, 2014, 12-ый семестр

• Дипломная работа. Тема: Выбор устойчивых прогностических моделей в задачах нелинейного регрессионного анализа Tokmakova2014Nonlinear.pdf.
• Презентация: Tokmakova2014Nonlinear_Slides.pdf