Участник:Aleksandra.Tokmakova

Материал из MachineLearning.

(Различия между версиями)
Перейти к: навигация, поиск
(→Отчет о научно-исследовательской работе за 8 семестр)
(→Весна, 2014, 12-ый семестр)
 
(41 промежуточная версия не показана)
Строка 1: Строка 1:
 +
__NOTOC__
'''МФТИ, ФУПМ'''
'''МФТИ, ФУПМ'''
Строка 7: Строка 8:
Mailto: aleksandra-tok@yandex.ru
Mailto: aleksandra-tok@yandex.ru
-
== Отчет о научно-исследовательской работе за 8 семестр==
+
== Отчеты о научно-исследовательской работе ==
-
Оценка гиперпараметров линейных регрессионных моделей методом максимального правдоподобия при отборе шумовых и коррелирующих признаков
+
-
'''Аннотация'''
+
=== Весна 2011, 6-й семестр===
 +
'''Выделение периодической компоненты из временного ряда'''
-
Рассматривается задача выбора регрессионной модели. Предполагается, что вектор параметров модели − многомерная случайная величина с независимо распределёнными компонентами. В работе предложен способ оптимизации праметров и гиперпараметров. Приведены явные оценки гиперпараметров для случая линейных и нелинейных моделей. Показано как полученные оценки используются для отбора признаков. Предложенный подход сравнивается с подходом, использующим для лценки гиперпараметров аппроксимацию Лапласа.
+
''В проекте исследуется временной ряд на наличие периодической компоненты. На основе теории о рядах Фурье строится тригонометрическая интерполяция предложенных временных рядов методом наименьших квадратов. Также производится оценка параметров функции метода наименьших квадратов в зависимости от качества прогнозирования. В вычислительном эксперименте приводятся результаты работы корреляционной функции и метода наименьших квадратов на зашумлённом модельном синусе и реальном временном ряде электрокардиограммы.''
-
''Ключевые слова:'' регрессия, выбор признаков, распределение параметров, оценка гипертараметров, байесовский вывод.
+
'''Публикация'''
 +
*{{Статья
 +
|автор = Токмакова А.А.
 +
|название = Выделение периодической компоненты из временного ряда
 +
|журнал = Машинное обучение и анализ данных
 +
|год = 2011
 +
|номер = 1
 +
|ISSN = 2223-3792
 +
|язык = russian
 +
|страницы = 40-50
 +
|url = http://mlalgorithms.svn.sourceforge.net/viewvc/mlalgorithms/JMLDA/2011no1/pdf/Tokmakova2011Period.pdf
 +
}}
-
'''Список публикаций'''
+
=== Осень 2011, 7-й семестр===
-
# {{Статья|BibtexKey = Tokmakova2012Hyperpar
+
'''Получение устойчивых оценок гиперпараметров линейных регрессионных моделей'''
-
|автор = Токмакова, А.А.
+
 
 +
''В работе решается задача отбора признаков при восстановлении линейной регрессии. Принята гипотеза о нормальном распределении вектора зависимой переменной и~параметров модели. Для оценки ковариационной матрицы параметров используется аппроксимация Лапласа: логарифм функции ошибки приближается функцией нормального распределения. Исследуется проблема присутствия в выборке шумовых и коррелирующих признаков, так как при их наличии матрица ковариаций параметров модели становится вырожденной. Предлагается алгоритм, производящий отбор информативных признаков. В вычислительном эксперименте приводятся результаты исследования на временном ряде.''
 +
 
 +
'''Публикации'''
 +
*{{Статья
 +
|автор = Токмакова А.А.
 +
|название = Получение устойчивых оценок гиперпараметров линейных регрессионных моделей
 +
|журнал = Машинное обучение и анализ данных
 +
|год = 2011
 +
|номер = 2
 +
|ISSN = 2223-3792
 +
|язык = russian
 +
|страницы = 140-155
 +
|url =
 +
http://mlalgorithms.svn.sourceforge.net/viewvc/mlalgorithms/JMLDA/2011no2/pdf/Tokmakova2011HyperPar.pdf
 +
}}
 +
*{{Статья
 +
|автор = Стрижов В.В.
 +
|автор2 = Токмакова А.А.
 +
|название = Оценивание гиперпараметров линейных регрессионных моделей при отборе шумовых и коррелирующих признаков
 +
|журнал = Информатика и её применения
 +
|год = 2012
 +
|номер = 4
 +
|ISSN = 1992-2264 (принято в печать)
 +
|язык = russian
 +
}}
 +
 
 +
=== Весна 2012, 8-й семестр ===
 +
'''Оценка гиперпараметров линейных регрессионных моделей методом максимального правдоподобия при отборе шумовых и коррелирующих признаков'''
 +
 
 +
''Рассматривается задача выбора регрессионной модели. Предполагается, что вектор параметров модели − многомерная случайная величина с независимо распределёнными компонентами. В работе предложен способ оптимизации праметров и гиперпараметров. Приведены явные оценки гиперпараметров для случая линейных и нелинейных моделей. Показано как полученные оценки используются для отбора признаков. Предложенный подход сравнивается с подходом, использующим для лценки гиперпараметров аппроксимацию Лапласа.''
 +
 
 +
'''Публикации'''
 +
*{{Статья
 +
|автор = Зайцев А.А.
 +
|автор2 = Стрижов В.В.
 +
|автор3 = Токмакова А.А.
|название = Оценка гиперпараметров регрессионных моделей методом максимального правдоподобия
|название = Оценка гиперпараметров регрессионных моделей методом максимального правдоподобия
|журнал = Информационные технологии
|журнал = Информационные технологии
|год = 2012
|год = 2012
-
|номер = 4
+
|номер = 11
-
|ISSN = 1684-6400
+
|ISSN = 1684-6400 (принято в печать)
|язык = russian
|язык = russian
-
|url = ???
+
|url =
-
}} (принята в печать, ВАК)
+
}}
-
* Статья «Оценка гиперпараметров регрессионных моделей методом максимального правдоподобия» принята в печать журналом «Информационные технологии» ISSN 1684-6400 (из списка ВАК)
+
*{{Статья
 +
|автор = Зайцев А.А.
 +
|автор2 = Токмакова А.А.
 +
|название = Оценка гиперпараметров линейных регрессионных моделей методом максимального правдоподобия при отборе шумовых и коррелирующих признаков
 +
|журнал = Машинное обучение и анализ данных
 +
|год = 2012
 +
|номер = 3
 +
|ISSN = 2223-3792
 +
|язык = russian
 +
|страницы = 347-353
 +
|url = http://mlalgorithms.svn.sourceforge.net/viewvc/mlalgorithms/JMLDA/2012no3/pdf/ZaytsevTokmakova2012Likelihood.pdf
 +
}}
-
Статья «Оценка гиперпараметров линейных регрессионных моделей методом максимального правдоподобия при отборе шумовых и коррелирующих признаков» опубликована в журнале «Машинное обучение и анализ данных» ISSN 2223-3792, Т.1, №3, сс.347-353
+
'''Доклад на научной конференции'''
 +
*{{Статья
 +
|автор = Токмакова А.А.
 +
|название = Оценка ковариационных матриц параметров модели при восстановлении линейной регрессии
 +
|журнал = XIX Международная конференция студентов, аспирантов и молодых ученых «Ломоносов», апрель
 +
|год = 2012
 +
|язык = russian
 +
|url = http://lomonosov-msu.ru/archive/Lomonosov_2012/structure_16_1797.htm
 +
}}
 +
 
 +
'''Гранты'''
 +
*«Оценивание гиперпараметров линейных регрессионных моделей при отборе шумовых и коррелирующих признаков», ПГАС
 +
 
 +
=== Осень 2012, 9-й семестр ===
 +
 
 +
Работа над статьей '''Алгоритмы оценки ковариационных матриц общего вида в задачах регрессионного анализа'''
 +
 
 +
''Работа посвящена исследованию алгоритмов оценивания ковариационных матриц параметров регрессионных моделей. Принята гипотеза о том, что зависимая переменная и параметры регрессионной модели - многомерные случайные величины, имеющие нормальное распределение. Считается, что ковариационная матрица распределения зависимой переменной известна и фиксирована. Рассмотрены случаи диагональных ковариационных матриц и матриц общего вида, проводится сравнительный анализ представленных методов. Сравниваются три подхода к оценке ковариационной матрицы параметров модели: аппроксимация матрицей, полученной с помощью метода наименьших квадратов; аппроксимация Лапласа; максимизация правдоподобия модели методом Монте-Карло.''
 +
 
 +
'''Публикации'''
 +
*{{Статья
 +
|автор = Токмакова А.А.
 +
|автор2 = Стрижов В.В.
 +
|название = Оценка гиперпараметров линейных регрессионных моделей при отборе шумовых и мультикоррелирующих признаков
 +
|журнал = Международная конференция "Интеллектуализация обработки информации" (ИОИ-9)
 +
|год = 2012
 +
|язык = russian
 +
|страницы = 156-159
 +
}}
 +
 
 +
*{{Статья
 +
|автор = Токмакова А.А.
 +
|название = Оценка ковариационной матрицы распредлеения параметров регрессионной модели при фильтрации шумовых и мультикоррелирующих признаков
 +
|журнал = Труды 55-й научной конференции МФТИ
 +
|год = 2012
 +
|язык = russian
 +
|страницы = 119-120
 +
}}
 +
 
 +
'''Гранты'''
 +
*<<Оценка гиперпараметров регрессионных моделей методом максимального правдоподобия>>, ПГАС
 +
*<<Алгоритмы выбора обобщенно-линейных моделей в задачах классификации в условиях малого объема выборки>>, грант №12-0731095, мол-а-2012
 +
 
 +
=== Весна, 2013, 10-ый семестр ===
 +
 
 +
This paper presents deterministic and stochastic algorithms of the structure parameters estimation for the model selection problem. Structure parameters optimization for linear and non-linear models is investigated. The optimized error function is inferred from statistical hypothesis on the model parameter distributions. Analytic algorithms are based on the error function derivatives estimation with respect to the model parameters. Stochastic algorithms are based on the model parameters sampling and on the data cross-validation. The algorithms are tested and compared on model and real data.
 +
 
 +
'''Публикации'''
 +
*{{Статья
 +
|автор = Стрижов В.В.
 +
|автор2 = Кузнецов М.П.
 +
|автор3 = Токмакова А.А.
 +
|название = Structure parameter estimation algorithms for model selection
 +
|журнал = Computational Statistics and Data Analysis (подано)
 +
|год = 2013
 +
}}
 +
 
 +
'''Гранты'''
 +
*<<Алгоритмы выбора обобщенно-линейных моделей в задачах классификации в условиях малого объема выборки>>, грант №12-0731095, мол-а-2012
 +
=== Зима, 2013, 11-ый семестр ===
-
'''Доклады на научных конференциях'''
+
В работе рассматривается задача совместного отбора информативных признаков и объектов в задаче кредитного скоринга. Для оценки вероятности риска невозврата кредита используется логистическая регрессия. Отбор производится с помощью стохастической процедуры оптимизации. Для снижения размерности признакового пространства решена задача группировки признаков, возникающая в результате бинарного представления порядковых и номинальных признаков. Для повышения качества классификации производится разбиение объектов на классы. Для оценки качества кластеризации предложена модификация ROC-кривой для разбиения множества объектов более, чем на два класса. Вычислительный эксперимент выполнен на исторических данных о потребительских кредитах за несколько последних лет.
-
2012, апрель. Участие в XIX Международной конференции студентов, аспирантов и молодых ученых «Ломоносов» с работой «Оценка ковариационных матриц параметров модели при восстановлении линейной регрессии»
+
'''Публикации'''
 +
*{{Статья
 +
|автор = Токмакова А. А.
 +
|название = Алгоритм стохастического отбора объектов и признаков в задаче банковского кредитного скоринга
 +
|журнал = Информационные технологии (принято в печать)
 +
|год = 2014
 +
}}
'''Гранты'''
'''Гранты'''
 +
* Structure parameter estimation algorithms for model selection, ПГАС
 +
* <<Алгоритмы выбора обобщенно-линейных моделей в задачах классификации в условиях малого объема выборки>>, грант №12-0731095, мол-а-2012
-
«Оценивание гиперпараметров линейных регрессионных моделей при отборе шумовых и коррелирующих признаков», ПГАС
+
=== Весна, 2014, 12-ый семестр ===
 +
* Дипломная работа. Тема: Выбор устойчивых прогностических моделей в задачах нелинейного регрессионного анализа [[Tokmakova2014Nonlinear.pdf]].
 +
* Презентация: [[Tokmakova2014Nonlinear_Slides.pdf]]

Текущая версия

МФТИ, ФУПМ

Кафедра "Интеллектуальные системы"

Направление "Интеллектуальный анализ данных"

Mailto: aleksandra-tok@yandex.ru

Отчеты о научно-исследовательской работе

Весна 2011, 6-й семестр

Выделение периодической компоненты из временного ряда

В проекте исследуется временной ряд на наличие периодической компоненты. На основе теории о рядах Фурье строится тригонометрическая интерполяция предложенных временных рядов методом наименьших квадратов. Также производится оценка параметров функции метода наименьших квадратов в зависимости от качества прогнозирования. В вычислительном эксперименте приводятся результаты работы корреляционной функции и метода наименьших квадратов на зашумлённом модельном синусе и реальном временном ряде электрокардиограммы.

Публикация

Осень 2011, 7-й семестр

Получение устойчивых оценок гиперпараметров линейных регрессионных моделей

В работе решается задача отбора признаков при восстановлении линейной регрессии. Принята гипотеза о нормальном распределении вектора зависимой переменной и~параметров модели. Для оценки ковариационной матрицы параметров используется аппроксимация Лапласа: логарифм функции ошибки приближается функцией нормального распределения. Исследуется проблема присутствия в выборке шумовых и коррелирующих признаков, так как при их наличии матрица ковариаций параметров модели становится вырожденной. Предлагается алгоритм, производящий отбор информативных признаков. В вычислительном эксперименте приводятся результаты исследования на временном ряде.

Публикации

  • Токмакова А.А. Получение устойчивых оценок гиперпараметров линейных регрессионных моделей // Машинное обучение и анализ данных. — 2011. — № 2. — С. 140-155. — ISSN 2223-3792.
  • Стрижов В.В., Токмакова А.А. Оценивание гиперпараметров линейных регрессионных моделей при отборе шумовых и коррелирующих признаков // Информатика и её применения. — 2012. — № 4. — ISSN 1992-2264 (принято в печать).

Весна 2012, 8-й семестр

Оценка гиперпараметров линейных регрессионных моделей методом максимального правдоподобия при отборе шумовых и коррелирующих признаков

Рассматривается задача выбора регрессионной модели. Предполагается, что вектор параметров модели − многомерная случайная величина с независимо распределёнными компонентами. В работе предложен способ оптимизации праметров и гиперпараметров. Приведены явные оценки гиперпараметров для случая линейных и нелинейных моделей. Показано как полученные оценки используются для отбора признаков. Предложенный подход сравнивается с подходом, использующим для лценки гиперпараметров аппроксимацию Лапласа.

Публикации

  • Зайцев А.А., Стрижов В.В., Токмакова А.А. Оценка гиперпараметров регрессионных моделей методом максимального правдоподобия // Информационные технологии. — 2012. — № 11. — ISSN 1684-6400 (принято в печать).
  • Зайцев А.А., Токмакова А.А. Оценка гиперпараметров линейных регрессионных моделей методом максимального правдоподобия при отборе шумовых и коррелирующих признаков // Машинное обучение и анализ данных. — 2012. — № 3. — С. 347-353. — ISSN 2223-3792.

Доклад на научной конференции

Гранты

  • «Оценивание гиперпараметров линейных регрессионных моделей при отборе шумовых и коррелирующих признаков», ПГАС

Осень 2012, 9-й семестр

Работа над статьей Алгоритмы оценки ковариационных матриц общего вида в задачах регрессионного анализа

Работа посвящена исследованию алгоритмов оценивания ковариационных матриц параметров регрессионных моделей. Принята гипотеза о том, что зависимая переменная и параметры регрессионной модели - многомерные случайные величины, имеющие нормальное распределение. Считается, что ковариационная матрица распределения зависимой переменной известна и фиксирована. Рассмотрены случаи диагональных ковариационных матриц и матриц общего вида, проводится сравнительный анализ представленных методов. Сравниваются три подхода к оценке ковариационной матрицы параметров модели: аппроксимация матрицей, полученной с помощью метода наименьших квадратов; аппроксимация Лапласа; максимизация правдоподобия модели методом Монте-Карло.

Публикации

  • Токмакова А.А., Стрижов В.В. Оценка гиперпараметров линейных регрессионных моделей при отборе шумовых и мультикоррелирующих признаков // Международная конференция "Интеллектуализация обработки информации" (ИОИ-9). — 2012. — С. 156-159.
  • Токмакова А.А. Оценка ковариационной матрицы распредлеения параметров регрессионной модели при фильтрации шумовых и мультикоррелирующих признаков // Труды 55-й научной конференции МФТИ. — 2012. — С. 119-120.

Гранты

  • <<Оценка гиперпараметров регрессионных моделей методом максимального правдоподобия>>, ПГАС
  • <<Алгоритмы выбора обобщенно-линейных моделей в задачах классификации в условиях малого объема выборки>>, грант №12-0731095, мол-а-2012

Весна, 2013, 10-ый семестр

This paper presents deterministic and stochastic algorithms of the structure parameters estimation for the model selection problem. Structure parameters optimization for linear and non-linear models is investigated. The optimized error function is inferred from statistical hypothesis on the model parameter distributions. Analytic algorithms are based on the error function derivatives estimation with respect to the model parameters. Stochastic algorithms are based on the model parameters sampling and on the data cross-validation. The algorithms are tested and compared on model and real data.

Публикации

  • Стрижов В.В., Кузнецов М.П., Токмакова А.А. Structure parameter estimation algorithms for model selection // Computational Statistics and Data Analysis (подано). — 2013.

Гранты

  • <<Алгоритмы выбора обобщенно-линейных моделей в задачах классификации в условиях малого объема выборки>>, грант №12-0731095, мол-а-2012

Зима, 2013, 11-ый семестр

В работе рассматривается задача совместного отбора информативных признаков и объектов в задаче кредитного скоринга. Для оценки вероятности риска невозврата кредита используется логистическая регрессия. Отбор производится с помощью стохастической процедуры оптимизации. Для снижения размерности признакового пространства решена задача группировки признаков, возникающая в результате бинарного представления порядковых и номинальных признаков. Для повышения качества классификации производится разбиение объектов на классы. Для оценки качества кластеризации предложена модификация ROC-кривой для разбиения множества объектов более, чем на два класса. Вычислительный эксперимент выполнен на исторических данных о потребительских кредитах за несколько последних лет.

Публикации

  • Токмакова А. А. Алгоритм стохастического отбора объектов и признаков в задаче банковского кредитного скоринга // Информационные технологии (принято в печать). — 2014.

Гранты

  • Structure parameter estimation algorithms for model selection, ПГАС
  • <<Алгоритмы выбора обобщенно-линейных моделей в задачах классификации в условиях малого объема выборки>>, грант №12-0731095, мол-а-2012

Весна, 2014, 12-ый семестр

Источник — «http://machinelearning.ru/wiki/index.php?title=%D0%A3%D1%87%D0%B0%D1%81%D1%82%D0%BD%D0%B8%D0%BA:Aleksandra.Tokmakova»
Личные инструменты