Моя первая научная статья (лекции и практика, В.В. Стрижов)/Группы 874, 821, 813, весна 2021

Материал из MachineLearning.

(Различия между версиями)
Перейти к: навигация, поиск
(Роли)
(Роли)
Строка 59: Строка 59:
|[https://github.com/Intelligent-Systems-Phystech/2021-Project-74 GitHub]
|[https://github.com/Intelligent-Systems-Phystech/2021-Project-74 GitHub]
[https://docs.google.com/document/d/1OLCqkmArjqFn8M9pB5C_kLoYOv0l1w9RjHy0y0upPew/edit?usp=sharing LinkReview]
[https://docs.google.com/document/d/1OLCqkmArjqFn8M9pB5C_kLoYOv0l1w9RjHy0y0upPew/edit?usp=sharing LinkReview]
 +
[https://github.com/Intelligent-Systems-Phystech/2021-Project-74/blob/main/docs/Pilkevich2021HiddenFeedbackLoops.pdf Paper]
|[[Участник:Khritankov| Хританков Антон]]
|[[Участник:Khritankov| Хританков Антон]]
|
|

Версия 12:39, 24 февраля 2021


Моя первая научная статья

Участвуют эксперты, индивидуальные консультанты и студенты кафедры Интеллектуальные системы ФУПМ МФТИ.

Роли

Студент третьего курса очень хочет научиться ставить задачи формально, находить нужную литературу, порождать новые и актуальные идеи и решения задач.

Консультант помогает студенту в пользовании инструментами, отвечает на вопросы по специальности, консультирует выполнение работ, оперативно реагирует на проблемы, проверяет (в среду) результаты, ставит оценки. Предполагается, что консультант сам пишет работу-спутник по этой теме. В конце работы могут быть объединены или выполнены и опубликованы параллельно. По возможности, рекомендуется организовать правки текста студента с целью улучшить стиль изложения таким образом, чтобы студент вносил правки самостоятельно. Возможно, при очной встрече или по скайпу.

Эксперт: поставщик задачи, владелец данных, либо тот, кто гарантирует новизну и актуальность работы.

Развёрнутая цитата одним абзацем
== Результаты ==
Автор Тема научной работы Ссылки Консультант Буквы Рецензент
Гребенькова Ольга (пример) Вариационная оптимизация моделей глубокого обучения с контролем сложности модели LinkReview

GitHub Paper Slides Video

Олег Бахтеев AILP+UXBR+HCV+TEDWS Шокоров Вячеслав

Review

Пилькевич Антон Existence conditions for hidden feedback loops in recommender systems GitHub

LinkReview Paper

Хританков Антон
Курдюкова Антонина Определение фазы и разладки движения человека по сигналам носимых устройств LinkReview

GitHub

Георгий Кормаков
Яковлев Константин Дифференцируемый алгоритм поиска архитектуры модели с контролем её сложности LinkReview

GitHub

Гребенькова Ольга
Горпинич Мария Регуляризация траектории оптимизации параметров модели глубокого обучения на основе дистилляции знаний LinkReview

GitHub

Олег Бахтеев
Толмачев Александр Байесовский выбор структур обобщенно-линейных моделей LinkReview

GitHub

Адуенко Александр
Кулаков Ярослав BCI: Выбор согласованных моделей для построения нейроинтерфейса GitHub

LinkReview

Исаченко Роман
Пырэу Виталий Экспериментальное сравнение нескольких задач оперативного планирования биохимического производства. LinkReview

GitHub

Тренин Сергей Алексеевич
Баженов Андрей Поиск границ радужки методом круговых проекций LinkReview

GitHub Paper

Матвеев Иван Алексеевич
Зверев Егор Learning co-evolution information with natural language processing for protein folding problem LinkReview

GitHub Paper

Сергей Грудинин, Илья Игашов
Горчаков Вячеслав Importance Sampling for Chance Constrained Optimization Github Юрий Максимов
? Тема

Расписание

Расписание и домашние задания находятся тут: Course_schedule

Работа и консультации

  1. Работы сдаются в течение недели.
  2. Желательна итеративная сдача работ, начинать показ лучше в выходные.
  3. Дедлайн последней версии работы: среда 6:00am (проверка занимает всю среду).
  4. Каждый этап работ +1 балл по системе (А--, А-, А, А+, А++). Несделанная работа — A0. Недельное опоздание — знак «-».
    • Так как в 2021 работы оцениваются перекрестным рецензированием, Мотивированный перенос работы (в прошлых годах — знак «A>») фактически означает пропуск.

Шаблон описания проекта — научной статьи

  • Название: Название, под которым статья подается в журнал.
  • Задача: Описание или постановка задачи. Желательна постановка в виде задачи оптимизации (в формате argmin). Также возможна ссылка на классическую постановку задачи.
  • Данные: Краткое описание данных, используемых в вычислительном эксперименте, и ссылка на выборку.
  • Литература: Список научных работ, дополненный 1) формулировкой решаемой задачи, 2) ссылками на новые результаты, 3) основной информацией об исследуемой проблеме.
  • Базовой алгоритм: Ссылка на алгоритм, с которым проводится сравнение или на ближайшую по теме работу.
  • Решение: Предлагаемое решение задачи и способы проведения исследования. Способы представления и визуализации данных и проведения анализа ошибок, анализа качества алгоритма.
  • Новизна: Обоснование новизны и значимости идей (для редколлегии и рецензентов журнала).
  • Авторы: эксперт, консультант.

Задача 74

  • Название: Existence conditions for hidden feedback loops in recommender systems
  • Описание проблемы: В рекомендательных системах известен эффект искусственного непреднамеренного ограничения выбора пользователя вследствие адаптации модели к его предпочтениям (echo chamber/filter bubble). Эффект является частным случаем петель скрытой обратной связи (hidden feedback loop). (см. - Analysis H.F.L.). Выражается в том, что путем рекомендации одних и тех же интересных пользователю объектов, алгоритм максимизирует качество своей работы. Проблема в а) недостаточном разнообразии б) насыщении / изменчивости интересов пользователя.
  • Задача: Понятно, что алгоритм не знает интересов пользователя и пользователь не всегда честен в выборе. При каких условиях, каких свойствах алгоритма обучения и нечестности (отклонении выбора пользователя от его интересов) будет наблюдаться указанный эффект? Уточнение. Рекомендательный алгоритм выдает пользователю объекты a_t на выбор. Пользователь выбирает один из них c_t из Бернулли от модели интереса mu(a_t) . На основе выбора пользователя алгоритм изменяет свое внутреннее состояние w_t и выдает следующий набор объектов пользователю. На бесконечном горизонте нужно максимизировать суммарное вознаграждение sum c_t. Найти условия существования неограниченного роста интереса пользователя к предлагаемым объектам в рекомендательной системе с алгоритмом Thomson Sampling (TS) MAB в условиях зашумленности выбора пользователя c_t. Без шума известно, что всегда неограниченный рост (в модели) [1].
  • Данные: создаются в рамках эксперимента (имитационная модель) по аналогии со статьей [1], внешние данные не требуются.
  • Литература
    1. Jiang, R., Chiappa, S., Lattimore, T., György, A. and Kohli, P., 2019, January. Degenerate feedback loops in recommender systems. In Proceedings of the 2019 AAAI/ACM Conference on AI, Ethics, and Society (pp. 383-390).
    2. Khritankov, A. (2021). Hidden Feedback Loops in Machine Learning Systems: A Simulation Model and Preliminary Results. In International Conference on Software Quality (pp. 54-65). Springer, Cham.
    3. Khritankov A. (2021). Hidden feedback loop experiment demo. https://github.com/prog-autom/hidden-demo
  • Базовый алгоритм: Исходная математическая модель исследуемого явления описана в статье [1]. Метод экспериментального исследования - в статье [2]. Базовый исходный код доступен в [3]
  • Решение: Нужно вывести условия существования положительной обратной связи для алгоритма Thomson Sampling Multi-armed Bandit исходя из известных теоретических свойств этого алгоритма. Затем проверить их выполнение в имитационной модели. Для проверки выполняется серия экспериментов с исследованием диапазонов параметров и оценкой ошибки (variance) моделирования. Результаты сопоставляются с построенной ранее математической моделью эффекта. Есть реализация системы проведения эксперимента, которую можно доработать для данной задачи.
  • Новизна: Исследуемый эффект положительной обратной связи наблюдается в реальных и модельных системах и описан во многих публикациях как нежелательное явление. Есть его модель для ограниченного случая отсутствия шума в действиях пользователя, что не реализуется на практике. В предлагаемых условиях задача ранее не ставилась и не решалась для рекомендательных систем. Для задачи регрессии решение известно.
  • Авторы: Эксперт, консультант - Антон Хританков

Задача 77

  • Название: Определение фазы и разладки движения человека по сигналам носимых устройств
  • Задача: Исследуется широкий класс периодических движений человека или животного. Требуется найти начало и конец движения. Требуется понять, когда заканчивается один тип движения и начинается другой. Для этого решается задача сегментации временных рядов. Строится фазовая траектория одного движения и отыскивается его фактическая размерность. Цель работы в том, что надо описать способ нахождения минимальной размерности фазового пространства. По повторению фазовой сегментировать периодические действия человека. Надо также предложить метод извлечения нулевой фазы в данном пространстве для конкретного действия. Бонус: найти разладку фазовой траектории и указать на смену типа движения. Бонус 2: сделать это для различных положений телефона, предложив модели инвариантных преобразований.
  • Данные: 
Данные состоят из считанных с трехосевого акселерометра временных рядов с явно выделенным периодичным классом (ходьба, бег, шаги вверх и вниз по лестнице и т.п.). Возможно получение собственных данных с мобильного устройства, либо получение модельных данных из датасета UCI HAR
  • Литература:
    1. A. P. Motrenko, V. V. Strijov. Extracting fundamental periods to segment biomedical signals // Journal of Biomedical and Health Informatics, 2015, 20(6).P. 1466–1476
1.(Сегментация временных рядов с периодическими действиями: решалась задача сегментации с использованием фазового пространства фиксированной размерности.) PDFURL
    2. A.D. Ignatov, V. V. Strijov. Human activity recognition using quasi-periodic time series collected from a single triaxial accelerometer. // Multimedia Tools and Applications, 2015, P. 1–14.
( Классификация человеческой активности с помощью сегментации временных рядов
: исследовались классификаторы над получаемыми сегментами.) PDFURL
    3. Grabovoy, A.V., Strijov, V.V. Quasi-Periodic Time Series Clustering for Human Activity Recognition. Lobachevskii J Math 41, 333–339 (2020). (Сегментация временных рядов на квазипериодические сегменты
: исследовались методы сегментации с использованием анализа главных компонент и перехода в фазовое пространство.) Text Slides DOI
  • Базовой алгоритм: 
Базовый алгоритм описан в 1 и 3 работах, код тут, код работы 3 у автора.
  • Решение: 
Предлагается рассмотреть различные алгоритмы понижения размерности и сравнить различные пространства, в которых строится фазовая траектория. Разработать алгоритм поиска минимальной размерности фазового пространства, в котором фазовая траектория не имеет самопересечений с точностью до стандартного отклонения восстановленной траектории.
  • Новизна: 
В статье Мотренко размерность пространства равна двум. Этот недочет надо обязательно исправить. Фазовая траетория не должна самопересекаться. А если мы сможем отличить один тип движения от другого внутри одного периода (перешли с бега на шаг и в течение полутора шагов это поняли) - вообще будет замечательно.
  • Авторы: 
Консультанты: Кормаков Г.В., Тихонов Д.М., эксперт Стрижов В.В.


 


Задача 78

  • Название: Importance Sampling for Scenario Approximation of Chance Constrained Optimization
  • Задача: Задачи оптимизации с вероятностными ограничениями часто встречаются в инженерной практике. Например, задача минимизации генерации энергии в энергетических сетях, со (случайным образом флуктуирующими) возобновляемыми источниками энергии. При этом необходимо выполнение ограничений безопасности: напряжения у генераторов и потребителей, а также токи на линиях должны быть меньше определенных порогов. Вместе с тем, даже в самых простых ситуациях задача не может быть разрешена точно. Самый известный подход, это методы chance constrained optimization, которые часто дают неплохое приближение. Альтернативный подход – семплирование режимов работы сети и решения задачи на наборе данных задачи классификации: отделение плохих режимов от хороших с заданной ошибкой второго рода. Вместе с тем, для достаточно точного решения, требуются очень большой объем данных, что часто делает задачу численно не эффективной. Мы предлагаем использовать “семплирование по важности” (importance sampling) для уменьшения числа сценариев. Семплирование по важности состоит из подмены выборки из номинального решения, которое часто не несет информации так как все плохие события очень редки, на синтетическое распределение, которое семплирует выборку в окрестности плохих событий.            
  • Формальная постановка: найти минимум выпуклой функции (цены) при вероятностных ограничениях (вероятность превысить определенный порог для системы линейных/квадратичных функций мала) и численно показать эффективность применения семплирования в этой задаче.
  • Данные: Данные доступны в пакетах pypower и matpower в виде csv файлов.
  • Литература: Основу предлагаемых алгоритмов составляют 3 статьи:
    1. Owen, Maximov, Chertkov. Importance Sampling for the Union of Rare Events with Applications to Power Systems LINK
    2. A. Nemirovski. On safe tractable approximations of chance constraints [1]
    3. S. Tong, A. Subramanyam, and Vi. Rao. Optimization under rare chance constraints. LINK
    4. Кроме того у авторов задачи есть черновик статьи, в который нужно добавить численную часть.
  • Базовой алгоритм: Список базовых алгоритмов представлен в этой лекции [2]
  • Решение: в численных экспериментах нужно сравнить требования по размеру выборки для стандартных методов (scenario approximation) и с использованием семплирования по важности для получения сравнимого по качеству решение (и обратная задача, имея равные длины выборки сравнить качество решения)           
  • Новизна: задача давно известна в коммьюнити и scenario approximation один из основных методов. Вместе с тем importance sampling помогает существенно снизить число сценариев. Мы недавно получили ряд интересных результатов, как вычислять оптимальные семплеры, с их использованием сложность задачи существенно снизится
  • Авторы: эксперт – Юрий Максимов, консультант – Юрий Максимов и Александр Лукашевич, студент.

Задача 79

  • Название: Improving Bayesian Inference in Physics Informed Machine Learning
  • Задача: Методы машинного обучения в настоящий момент широко применяются в физике, в частности при решении задач турбулентности или анализа устойчивости физических сетей. Вместе с тем ключевым вопросом является какие режимы выбирать для обучения моделей. Частый выбор – последовательности точек, равномерно покрывающие допустимое множество. Однако, часто такие последовательности мало информативны, особенно в случае, если аналитические методы дают область, где система гарантированно устойчива. В задаче предлагается несколько методов семплирования: позволяющих учесть эту информацию. Нашей целью является их сравнить и найти тот, который требует минимального размера выборки (эмпирическое сравнение).
  • Данные: Эксперимент предлагается провести на модельных и реальных данных. Модельный эксперимент состоит в анализе устойчивости (слегка нелинейных) дифференциальных уравнений (синтетические данные генерируются самостоятельно). Второй эксперимент состоит в анализе устойчивости энергетических систем (данные matpower, pypower, GridDyn).
  • Литература:
    1. Art Owen. Quasi Monte Carlo Sampling. LINK 
    2. Jian Cheng & Marek J. Druzdzel. Computational Investigation of Low-Discrepancy Sequences in Simulation Algorithms for Bayesian Networks [3]
    3. A. Owen, Y Maximov, M. Chertkov. Importance Sampling for the Union of Rare Events with Applications to Power Systems [4]
    4. Polson and Solokov. Deep Learning: A Bayesian Perspective [5]
    5. Кроме того: у авторов задачи есть черновик работы по этой теме
  • Базовой алгоритм: Базовый алгоритм, который мы улучшаем, это Quasi Monte Carlo (QMC, [6]). Задача построить последовательности с низким разбросом (low discrepancy sequence) не покрывающее полиэдральную область и область, данную пересечением квадратичных ограничений. Еще один алгоритм, с которым нам потребуется сравнение:

E. Gryazina, B. Polyak. Random Sampling: a Billiard Walk Algorithm LINK и с алгоритмами типа Hit and Run [7]

  • Решение: методы семплирования по важности, в частности расширение подхода (Boy, Ryi, 2014) и (Owen, Maximov, Chertkov, 2017) и их приложения к ML/DL для физических задач
  • Новизна: в существенном снижении сложности выборки и явном использовании имеющихся и аналитических результатов и лернинга для решения физических задач, до этого ML подходы и аналитические решения шли по большей части параллельными курсами
  • Авторы: эксперт Юрий Максимов, консультант Юрий Максимов и Александр Лукашевич, студент.

 

Задача 81

  • Название: NAS — Порождение и выбор архитектур нейронных сетей
  • Задача: Задача выбора оптимальной архитектуры нейросети ставится как задача семплирования вектора структурных параметров. Критерий оптимальности определяется в терминах точности, сложности и устойчивости модели. Сама процедура семплирования состоит из двух шагов: порождение новой структуры и отклонение этой структуры, если она не удовлетворяет критерию оптимальности. Предлагается исследовать различные способы семплирования. Постановка задачи выбора оптимальной структуры описана в работе Потанин-1
  • Данные: : В качестве данных предлагается два отдельных множества. Первое – состоит из одного элемента, это популярный датасет MNIST. Плюсы – является сильным и общепринятым бейзлайном, использовался как бенчмарк для статьи WANN, довольно большой (многоклассовая классификация). Второе множество – набор датасетов для задачи регрессии. Размер варьируется от совсем маленького до довольно большого. Вот ссылка на датасет и ноутбук для загрузки данных данные.
  • Литература:
    1. Потанин - 1
    2. Потанин - 2. Еще одна работа, текст передается заинтересованному студенту, но без публикации.
    3. Стрижов завлаб Функция ошибки
    4. Informtica
    5. WANN
    6. DARTS
    7. Symbols
    8. NEAT
  • Базовой алгоритм: Ближайшая по теме работа, и ее код реализации. Актуальный код от консультанта.
  • Решение: Сейчас уже выполнен ряд экспериментов, где семплирования производится генетическим алгоритмом. Получены приемлемые результаты. Предлагается их проанализировать и улучшить. А именно, выделить два модуля: порождение и отклонение и сравнить несколько видов семплирования. Базовый — Importance sampling, желанный — Metropolis-Hastings (или даже Metropolis-Langevin) sampling. Так как генетический алгоритм рассматривается нами как процесс со скачками, то предлагается учесть это при проектировании процедуры семплирования. Бонус MH в том, что он имеет байесовскую интерпретацию. Первый уровень байесовского вывода применительно к MH описан в работе [Informatica]. Требуется либо переписать его в терминах распределения структурных параметров, либо вообще расписать оба уровня, вынеся структурные параметры во второй уровень (кстати, примерно то же будет в задаче Адуенко).
  • Новизна: Нейронные сети отлично справляются с задачами компьютерного зрения, обучения с подкреплением и обработки естественного языка. Одна из главных целей нейросетей -хорошо выполнять задачи, которые в настоящее время решаются исключительно человеком, то есть природными нейронными сетями людей. Искусственные нейросети по-прежнему работают совсем не так, как естественные нейронные сети. Одно из основных различий заключается в том, что естественные нейронные сети со временем развиваются, меняя силу связей и свою архитектуру. Искусственные нейронные сети могут регулировать силу соединений с помощью весов, но не могут изменять свою архитектуру. Поэтому задача выбора оптимальных структур нейросетей под конкретные задачи представляется важным шагом в развитии способностей нейросетевых моделей.
  • Авторы: консультант Марк Потанин, эксперт Вадим Стрижов.

Задача 82

  • Название: Обучение с экспертом для выборки со многими доменами.
  • Задача: Рассматривается задача аппроксимации multi-domain выборки единой мультимоделью — смесью экспертов. В качестве данных предполагается использовать выборку, которая содержит в себе несколько доменов. Метка домена для каждого объекта отсутствует. Каждый домен аппроксимируется локальной моделью. В работе рассматривается двухэтапная задача оптимизации на основе ЕМ-алгоритма.
  • Данные: В качестве данных используются выборки отзывов сайта Amazon для разных типов товара. В качестве локальной модели предполагается использовать линейную модель, а в качестве признакового описания отзывов использовать tf-idf вектора внутри каждого домена.
  • Литература:
    1. https://arxiv.org/pdf/1806.00258.pdf
    2. http://www.mysmu.edu/faculty/jingjiang/papers/da_survey.pdf
    3. https://dl.acm.org/doi/pdf/10.1145/3400066
  • Базовый алгоритм и решение: Базовое решение представлено тут. В работе используется метод смеси экспертов для задачи Multi-Soruce domain adaptation задачи. Код к статье доступен по ссылке.
  • Новизна: На текущий момент в машинном обучении появляется все больше задач связанных с данными, которые взяты с разных источников. В данном случае появляются выборки, которые состоят из большого количества доменов. На текущий момент не существует полного теоретического обоснования построения смесей локальных моделей для аппроксимации такого рода выборок.
  • Авторы: Грабовой А.В., Стрижов В.В.

Задача 17

  • Название: BCI: Выбор согласованных моделей для построения нейроинтерфейса
  • Задача: При построении систем нейрокомпьютерного интерфейса (brain-computer interface) используются простые, устойчивые модели. Важным этапом построения интерфейса является такой модели является адекватный выбор модели. Рассматривается широкий набора моделей: линейные, простые нейросети, рекуррентные сети, трансформеры. Особенность задачи в том, что при прогнозе требуется моделировать не только исходный сигнал, снимаемый с коры головного мозга, но и целевой, снимаемый с конечностей. Таким образом, требуется построить две модели. Чтобы они работали вместе, строится пространство согласований. Предлагается исследовать свойства этого пространства и свойства получаемого прогноза (нейроинтерфейса) на различных парах моделей.
  • Данные: Наборы данных сигналов мозга ECoG/EEG.
    1. Нужен ECoG (25 набор данных содержит записи ЭЭГ, ЭОГ и движения руки) http://bnci-horizon-2020.eu/database/data-sets
    2. neyrotycho — наши старые данные.
  • Литература:
    1. Яушев Ф.Ю., Исаченко Р.В., Стрижов В.В. Модели согласования скрытого пространства в задаче прогнозирования // Системы и средства информатики, 2021, 31(1). PDF
    2. Исаченко Р.В. Выбор модели декодирования сигналов в пространствах высокой размерности. Рукопись, 2021. PDF
    3. Исаченко Р.В. Выбор модели декодирования сигналов в пространствах высокой размерности. Слайды, 2020. [8]
    4. Isachenko R.V., Vladimirova M.R., Strijov V.V. Dimensionality reduction for time series decoding and forecasting problems // DEStech Transactions on Computer Science and Engineering, 2018, 27349 : 286-296. PDF
    5. Isachenko R.V., Strijov V.V. Quadratic Programming Optimization with Feature Selection for Non-linear Models // Lobachevskii Journal of Mathematics, 2018, 39(9) : 1179-1187. PDF
    6. Motrenko A.P., Strijov V.V. Multi-way feature selection for ECoG-based brain-computer interface // Expert Systems with Applications, 2018, 114(30) : 402-413. PDF
    7. Eliseyev A., Aksenova T. Stable and artifact-resistant decoding of 3D hand trajectories from ECoG signals using the generalized additive model //Journal of neural engineering. – 2014.
  • Базовый алгоритм: Описан в первой работе. Код имеется. В той работе данные — две части изображения. В нашей работе сигнал головного мозга и движение рук. Сверхзадача: довести до ума первую работу. Также код и работы тут.
  • Решение: Рассматривается случай, когда исходные данные гетерогенны: пространства независимой и целевой переменных имеют разную природу. Требуется построить предсказательную модель, которая бы учитывала зависимость в исходном пространстве независимой переменной, а также в пространстве целевой переменной. Предлагается исследовать точность, сложность и устойчивость пар разнообразных моделей. Так как при построении прогноза решается обратная задача, требуется построить обратные преобразования для каждой модели. Для этого можно использовать как базовые приемы (PLS), так и потоки.
  • Новизна: Анализ прогноза и латентного пространства, получаемых парой гетерогенных моделей.
  • Авторы: консультант Роман Исаченко, эксперт Вадим Стрижов


Задача 69

  • «Название»: Graph Neural Network in Reaction Yield prediction
  • «Задача»: There are disconnected graphs of source molecules and products in a chemical reaction. The yield of the main product in the reaction is known. It is required to design an algorithm that predicts yield by solving the regression task on given disconnected graphs.
  • «Данные»: Database of reaction from US patents [9]
  • Литература:
    • [10] A general overview.
    • [11] Relational Graph Convolution Neural Network
    • [12] Transformer architecture
    • [13] Graph neural network learning for chemical compounds synthesis
  • «Базовый алгоритм»: Transformer model. The input sequence is a SMILES representation of the source and product molecules.
  • «Решение»: A pipeline for working with disconnected graphs is proposed. The pipeline includes the construction of extended graph with molecule and reaction representation, Relational Graph Convolution Neural Network, Encoder of Transformer. The method is applied to solve yield predictions.
  • «Новизна» A solution for regression problem on the given disconnected graph is constructed; the approach demonstrates better performance compared with other solutions
  • «Авторы»: Nikitin Filipp, Isayev Olexandr, Vadim Strijov


Задача 84

  • Название: Регуляризация траектории оптимизации параметров модели глубокого обучения на основе дистилляции знаний
  • Задача: Рассматривается задача оптимизации параметров модели глубокого обучения. Рассматривается случай, когда при оптимизации доступны ответы более сложной модели (модели-учителя). Классическим подходом к решению такой задачи является обучение с учетом ответов сложной модели (дистилляция знаний). Назначение гиперпараметров производится эмпирически на основе результатов работы модели на отложенной выборке. В данной работе предлагается рассмотреть модификацию подхода к дистилляции знаний, в котором гиперпараметрами выступает коэффициент значимости дистиллирующего слагаемого, а также его градиенты. Обе эти группы параметров позволяют скорректировать оптимизацию параметров модели. Для оптимизации гиперпараметров предлагается рассматривать задачу оптимизации как двухуровневую задачу оптимизации, где на первом уровне оптимизации решается задача оптимизации параметров модели, а на втором --- приближенно решается задача оптимизации гиперпараметров по значению функции потерь на отложенной выборке.
  • Данные: выборка изображений CIFAR-10
  • Литература:
    1. Дистилляция знаний
    2. Оптимизация гиперпараметров в двухуровенвой задаче: жадный метод
    3. Оптимизация гиперпараметров в двухуровенвой задаче: сравнение подходов
    4. Метаоптимизация: нейросеть вместо оператора оптимизации
  • Базовый алгоритм: оптимизация модели без дистилляции и со стандартным подходом к дистилляции
  • Решение: Использование двухуровневой задачи для оптимизации модели. Комбинация градиентов для обоих слагаемых обрабатывается отдельной моделью (LSTM)
  • Новизна: Будет предложен новый подход к дистилляции модели, позволяющий значительно улучшить эксплуатационные характеристики моделей, обучающихся в режиме использования привилегированной информации. Также планируется изучить динамику изменения гиперпараметров в процессе оптимизации.
  • Авторы: Олег Бахтеев, Вадим Стрижов

Задача 85

  • Название: Дифференцируемый алгоритм поиска архитектуры модели с контролем её сложности
  • Задача: рассматривается задача выбора структуры модели глубокого обучения с заранее заданной сложностью. Требуется предложить метод поиска модели, позволяющий контролировать её сложность с небольшими вычислительными затратами.
  • Данные: MNIST, CIFAR
  • Литература:
    1. Гребенькова О.С., Бахтеев О., Стрижов В.В. Вариационная оптимизация модели глубокого обучения с контролем сложности // Информатика и ее применения, 2021, 15(2). PDF
    2. DARTS
    3. гиперсети
  • Базовый алгоритм: DARTS
  • Решение: Предлагаемый метод заключается в использовании дифференцируемого алгоритма поиска архитектуры нейросети(DARTS) с контролем сложности параметров при помощи гиперсети.
  • Новизна: предложенный метод позволяет контролировать сложность модели, в процессе поиска архитектуры без дополнительных эвристик.
  • Авторы: О.Ю. Бахтеев, O. C. Гребенькова

Задача 86

  • Название: Learning co-evolution information with natural language processing for protein folding problem
  • Задача: One of the most essential problems in structural bioinformatics is protein fold recognition since the relationship between the protein amino acid sequence and its tertiary structure is revealed by protein folding. A specific protein fold describes the distinctive arrangement of secondary structure elements in the nearly-infinite conformation space, which denotes the structural characteristics of a protein molecule.
  • Полное описание: PDF
  • Авторы: Сергей Грудинин, Мария Кадукова.

Задача 87

  • Название: Байесовский выбор структур обобщенно-линейных моделей
  • Задача: Работа посвящена тестированию методов выбора признаков. Предполагается, что исследуемая выборка содержит значительное число мультиколлинеарных признаков. Мультиколлинеарность — это сильная корреляционная связь между отбираемыми для анализа признаками, совместно воздействующими на целевой вектор, которая затрудняет оценивание регрессионных параметров и выявление зависимости между признаками и целевым вектором. Имеется набор временных рядов, содержащих показания различных датчиков, отражающих состояние устройства. Показания датчиков коррелируют между собой. Необходимо выбрать оптимальный набор признаков для решения задачи прогнозирования.
  • Актуальность: Опубликован один наиболее предпочтительных алгоритмов выбора признаков. Он использует структурные параметры. Но теоретического обоснования не имеет. Предлагается построить теорию, описав и проанализировав различные функции априорного распределения структурных параметров. В работах по поиску структур нейросетей также пока нет внятной теории и списка априорных предположений.
  • Данные: Многомерные временные ряды с показаниями различных датчиков из работы 4, для начала все выборки из статьи 1.
  • Литература: Ключевые слова: bootstrap aggreagation, метод Белсли, векторная авторегрессия.
    1. Katrutsa A.M., Strijov V.V. Comprehensive study of feature selection methods to solve multicollinearity problem according to evaluation criteria // Expert Systems with Applications, 2017, 76 : 1-11. PDF
    2. Katrutsa A.M., Strijov V.V. Stresstest procedure for feature selection algorithms // Chemometrics and Intelligent Laboratory Systems, 2015, 142 : 172-183.  PDF
    3. Стрижов В.В. Функция ошибки в задачах восстановления регрессии // Заводская лаборатория. Диагностика материалов, 2013, 79(5) : 65-73. PDF
    4. Зайцев А.А., Стрижов В.В., Токмакова А.А. Оценка гиперпараметров регрессионных моделей методом максимального правдоподобия // Информационные технологии, 2013, 2 : 11-15. PDF
    5. Kuznetsov M.P., Tokmakova A.A., Strijov V.V. Analytic and stochastic methods of structure parameter estimation // Informatica, 2016, 27(3) : 607-624. PDF
    6. Катруца А.М., Стрижов В.В. Проблема мультиколлинеарности при выборе признаков в регрессионных задачах // Информационные технологии, 2015, 1 : 8-18.  PDF
    7. Нейчев Р.Г., Катруца А.М., Стрижов В.В. Выбор оптимального набора признаков из мультикоррелирующего множества в задаче прогнозирования // Заводская лаборатория. Диагностика материалов, 2016, 82(3) : 68-74. PDF
  • Базовый алгоритм: Описан в работе 1: квадратичное программирование для выбора признаков QPFS. Код у Романа Исаченко.
  • Решение: Предлагается рассмотреть структурные параметры, используемые в QPFS на втором уровне байесовского вывода. Ввести информативные априорные распределения параметров и структурных параметров. Сравнить различные априорные предположения.
  • Новизна: Статистический анализ пространства структурных параметров и визуализация
  • Авторы: Александр Адуенко — консультант, Вадим Стрижов

Задача 88

  • Название: Поиск границ радужки методом круговых проекций
  • Задача: Дано монохромное растровое изображение глаза, см. примеры. Также известно приблизительное положение центра зрачка. Слово «приблизительное» означает то, вычисленный центр зрачка отстоит от истинного не более чем на половину его истинного радиуса. Необходимо определить приблизительные положения окружностей, аппроксимирующих зрачок и радужку. Алгоритм должен быть очень быстрым.
  • Данные: около 200 тыс. изображений глаз. Для каждого размечено положение истинных окружностей — в целях обучения и проверки создаваемого метода.
  • Базовой алгоритм: Для ускорения работы с изображением предлагается агрегирование данных при помощи круговых проекций яркости. Круговая проекция — функция, зависящая от радиуса, значение которой P(r) равно интегралу направленного градиента яркости изображения по окружности радиуса r (или по дуге окружности). Пример для одной дуги (правой четверти) и для четырёх дуг. Построив сколько-то круговых проекций, исходя из них, можно попытаться определить положение внутренней и внешней границ радужки (кольца) при помощи эвристик и/или нейросети. Интересно оценить возможности нейросети в данной задаче.
  • Литература: Matveev I.A. Detection of Iris in Image By Interrelated Maxima of Brightness Gradient Projections // Applied and Computational Mathematics. 2010. V.9. N.2. P.252-257 PDF
  • Автор: Матвеев И.А.
Личные инструменты