Моя первая научная статья (лекции и практика)/Сборник, весна 2023

Материал из MachineLearning.

Основная статья: Численные методы обучения по прецедентам (практика, В.В. Стрижов)

Содержание 1 Задача 112 2 Задача 113 3 Задача 114 4 Задача 115 5 Задача 116 6 Задача 117 7 Задача 118 8 Задача 119 9 Задача 120 10 Задача 121 11 Задача 122 12 Задача 123 13 Задача 125 14 Задача 126 15 Задача 127 16 Задача 128 17 Задача 129 18 Задача 130 19 Задача 131 20 Задача 132 21 Задача 133 22 Задача 134

Задача 112

• Название: Моделирование показания FMRI по видео показанному человеку
• Описание проблемы: Требуется построить модель зависимости показания датчиков FMRI и видеоряду, который в этот момент просматривает человек.
• Данные: Выборка для аппроксимации представлена в работе J. Berezutskay, в которой присутствуют различные типы параллельных сигналов.
• Литература
  1. Berezutskaya J., et al Open multimodal iEEG-fMRI dataset from naturalistic stimulation with a short audiovisual film // Sci Data 9, 91, 2022.
  2. Код предшественников: https://github.com/intsystems/CreationOfIntelligentSystems_video_fMRI
• Базовый алгоритм: Запуск кода на основе трансформер моделей.
• Новизна: Анализ зависимости между показаниями датчиков и восприятиям внешнего мира человеком. Требуется проверить гипотезу зависимости между данными, а также предложить метод апроксимации показаний FMRI по просматриваемому видеоряду.
• Авторы: Эксперт Грабовой Андрей

Задача 113

• Название: Моделирование показания FMRI по звуковому ряду, который слышит человек
• Описание проблемы: Требуется построить модель зависимости показания датчиков FMRI и звуковому сопровождению, который в этот момент прослушивает человек.
• Данные: Выборка для аппроксимации представлена в работе J. Berezutskay, в которой присутствуют различные типы параллельных сигналов.
• Литература
  1. Berezutskaya J., et al Open multimodal iEEG-fMRI dataset from naturalistic stimulation with a short audiovisual film // Sci Data 9, 91, 2022.
  2. Код предшественников: https://github.com/intsystems/CreationOfIntelligentSystems_sound_fMRI
• Базовый алгоритм: Запуск кода на основе трансформер моделей.
• Новизна: Анализ зависимости между показаниями датчиков и восприятиям внешнего мира человеком. Требуется проверить гипотезу зависимости между данными, а также предложить метод апроксимации показаний FMRI по прослушиваемому звуковому ряду.
• Авторы: Эксперт Грабовой Андрей

Задача 114

• Название:Моделирование динамики физических систем с помощью Physics-Informed Neural Networks
• Описание проблемы: Породить набор сверток по имеющимся данным и выбрать лучшую с помощью методов снижения порядка и размерности пространств.
• Данные: Биомедицинские данные акселерометра и гироскопа, океанические течения, движение барханов, воздушные потоки
• Литература базовая работа содержит ссылки
• Базовый алгоритм: Нейросетевой, лагранжевы нейросети.
• Решение: Нетерова нейросеть.
• Новизна: Предложенная сеть учитывает симметрию
• Авторы: Эксперты - Северилов, Стрижов, консультант - Панченко

Задача 115

• Название: Дистилляция знаний в глубоких сетях и выравнивание структур моделей
• Описание проблемы: Требуется построить сеть наиболее простой структуры, модель-ученик, используя модель-учитель высокого качества. Показать насколько изменяется точность и устойчивость ученика. Результатом эксперимента является график сложность-точность-устойчивость, где каждая модель является точной.
• Данные: Предлагается решать задачу классификации сегментов видеопотока. Базовые данные – классификация сегментов сигнала. Предполагается, что учитель имеет открытую для анализа структуру с большим числом слоев.
• Литература
  1. Исходная работа Хинтона по дистилляции и туториалы
  2. Работы Грабового
  3. Код полезный, чтобы не писать, а сделать только эксперимент.
  4. Описание эксперимента в работах Марка Потанина.
• Базовый алгоритм: для сравнения
  1. Обучение (моделей с заданной структурой управляемой сложности) без дистилляции.
  2. Обучение (ditto) с дистилляцией Хинтона.
  3. Обучение с переносом по слоям.
  4. Обучение с переносом по нейронам.
• Решение:
  1. Как в п. 2, только по слоям.
  2. Построение пути наименьшей стоимости по нейронам. Считаем ковариационные матрицы каждого нейрона каждого слоя для учителя и для ученика. Предлагаем функцию ошибки, включающую цену пути наименьшей стоимости. Предлагаем способ построить путь наименьшей стоимости. Основная идея: перенос идет по парам нейронов и наиболее похожими распределениями (ожидание и ковариационная матрица) от учителя к ученику.
• Новизна: Предложенный перенос существенно снижает сложность без потери точности и решает проблему взаимозаменяемости нейронов, идентифицируя их.
• Авторы: Эксперт Бахтеев, Стрижов, консультант - Мария Горпинич

Задача 116

• Название: Нейронные дифференциальные уравнения для моделирования физической активности – выбор моделей
• Авторы: Эксперт, консультант - Эдуард Владимиров

Задача 117

• Название: Поиск зависимости и SSA, теорема Такенса
• Авторы: Эксперт Стрижов, консультант - Владимиров, Самохина

Задача 118

Denis

Задача 119

Участники Ментор, эксперт - Хританков А.С., эксперт - Афанасьев А.П.

Литература

   Khritankov A., Hidden Feedback Loops in Machine Learning Systems: A Simulation Model and Preliminary Results, https://doi.org/10.1007/978-3-030-65854-0_5
   Khritankov A.. Pilkevich A. Existence Conditions for Hidden Feedback Loops in Online Recommender Systems, https://doi.org/10.1007/978-3-030-91560-5_19

   Каток А.Б., Хасселблат Б. Введение в современную теорию динамических систем.1999. 768 с. ISBN 5-88688-042-9.
   Немыцкий В. В., Степанов В. В. Качественная теория дифференциальных уравнений, год изд.: 1974

   Рассмотрим задачу многократного обучения с учителем, в которой обучающая выборка не фиксирована, а обновляется в зависимости от предсказаний обученной модели на тестовой выборке. Для процесса многократного обучения, предсказания и обновления выборки строим математическую модель и исследуем свойства этого процесса на основе построенной модели.

   Модель

   Пусть f(x) - функция плотности распределения признаков, G - алгоритм обучения модели, формирования предсказаний на тестовой выборке и подмешивания предсказаний в обучающую выборку, в результате применения которого изменяется распределение признаков.

   Пусть задано пространство неотрицательных гладких функций F(x), интеграл которых на R^n равен единице. 
   Рассмотрим автономную (не зависит от времени явно) динамическую систему (есть выделенная переменная - номер шага, которая возрастает), 
   на шаге t и t+1 которой выполняется соотношение 

   f_{t+1}(x) = G(f_{t})(x), 

   где G(f) - оператор эволюции на пространстве указанных функций F и известна начальная функция f_0(x),

   Вообще говоря, G может быть произвольным оператором, не обязательно гладким и/или непрерывным.

   Вопрос 0.
   Найти условия на оператор G, при которых образ G лежит в том же классе функций плотности распределений F. 

   В частности, должен ли G быть ограниченным, операторная норма ||G|| <= 1, для того, чтобы образ G(f) \in F также был функцией плотности распределения для любой f из F? 

   Существует ли в пространстве F единица относительно оператора G и что будет единичной функцией f в таком F?

   Вопрос 1.
   При каких условиях на G будет существовать такое t_0, что для всех t > t_0 хвост последовательности {f} будет ограничен?

   Вопрос 2.
   При каких условиях оператор G будет иметь неподвижную точку?

   Предполагаемый ответ - по видимому, применим принцип сжимающих отображений (теорема Банаха). 

   Существование неподвижной точки может потребовать полноты пространства F, что может не выполняться, например, для последовательности на F, сходящейся к индикаторной функции.

   Какие условия нужно наложить на G, чтобы исключить такие последовательности?

   В вычислительном эксперименте предлагается проверить существенность ограничения / значимость условий, при которых получен ответ на вопросы 0-2.

   Например, для задачи линейной регрессии и/или регрессии с многоуровневой полносвязной нейронной сетью при разных долях подмешиваемых в обучающую выборку предсказаниях на синтетических наборах данных.

Задача 120

• Название: Дифференцируемый алгоритм поиска ансамблей моделей глубокого обучения с контролем разнообразия
• Задача: Рассмотривается задача выбора ансамбля моделей. Требуется предложить метод контроля разнообразия базовых моделей на этапе применения.
• Данные: Fashion-MNIST, CIFAR-10, CIFAR-100 datasets
• Литература: [1] [Neural Architecture Search with Structure Complexity Control](https://easychair.org/publications/preprint/H5MC), [2] [Neural Ensemble Search via Bayesian Sampling](https://arxiv.org/pdf/2109.02533.pdf), [3] [DARTS: Differentiable Architecture Search](https://arxiv.org/pdf/1806.09055.pdf)
• Базовой алгоритм: В качестве базового алгоритма предлагается использовать DARTS [3].
• Решение: Для контроля разнообразия базовых моделей предлагается использовать гиперсеть [1], которая смещает структурные параметры в терминах дивергенции Йенсена—Шеннона. На этапе применения сэмплируются базовые архитектуры с заданным смещением для построения ансамбля.
• Новизна: Предложенный метод позволяет строить ансамбли с любым количеством базовых моделей без дополнительных вычислительных затрат относительно базового алгоритма.
• Авторы: К.Д. Яковлев, О.Ю. Бахтеев

Задача 121

Вл. Вановский задача по физикс-информед маншин лернинг?

Задача 122

Исаченко

Задача 123

• Название: Влияние локдауна на динамику распространения эпидемии
• Задача: Введение локдауна считается эффективной мерой по борьбе с эпидемией. Однако вопреки интуиции оказалось, что при определенных условиях локдаун может привести к росту эпидемии. Данный эффект отсутствует для классических моделей распространения эпидемии «в среднем», но был выявлен при моделировании эпидемии на графе контактов. Задача заключается в поиске формульных и количественных соотношений между параметрами, при которых локдаун может привести к росту эпидемии. Необходимо как выявить такие соотношения в моделях SEIRS/SEIR/SIS/etc на основе фреймворка распространения эпидений SEIRS+ (и ее модификации), так и теоретически обосновать соотношения, полученные из конкретных реализаций эпидении.
• Данные: Задача предполагает работу с модельными и синтетическими данными: имеются готовые данные, а также предполагается возможность генерации новых в процессе решения задачи. Данная задача относится к unsupervised обучению, поскольку реализация эпидемии на графе контактов имеет высокую долю случаныйх событий, а потому требует проводить анализ в среднем на многих синтетически сгенерированных реализациях эпидемии
• Литература:

   - T. Harko, Francisco S. N. Lobo и M. Mak. «Exact analytical solutions of the

Susceptible-Infected-Recovered (SIR) epidemic model and of the SIR model with equal death and birth rates»

   - https://github.com/ryansmcgee/seirsplus

• Авторы: А.Ю. Бишук, А.В. Зухба

Задача 125

• Название: детекция изменения стиля машинной генерации
• Описание проблемы: Требуется предложить метод детекции
• Данные: Выборка для аппроксимации представлена в работе J. Berezutskay, в которой присутствуют различные типы параллельных сигналов.
• Литература
  1. G. Gritsay, A. Grabovoy, Y. Chekhovich. Automatic Detection of Machine Generated Texts: Need More Tokens // Ivannikov Memorial Workshop (IVMEM), 2022.
  2. M. Kuznetsov, A. Motrenko, R. Kuznetsova, V. Strijov. Methods for intrinsic plagiarism detection and author diarization // Working Notes of CLEF, 2016, 1609 : 912-919.
  3. Конкурс RuATD --- https://www.dialog-21.ru/en/dialogue-evaluation/competitions/dialogue-evaluation-2022/ruatd-2022/.
• Базовый алгоритм:
  1. Использование результатов конкурса RuATD в качестве базовых моделей для классификации предложений.
  2. Использовать метод из работы Kuznetsov et all.
• Новизна: Предложить метод детекции машиносгенерированных фрагментов в тексте используя методы изменения стиля написания.
• Авторы: Эксперт Грабовой Андрей

Задача 126

Рустем Исламов

Задача 127

Егор Шульгин

Задача 128

Название: Построение модели глубокого обучения в зависимости от данных задачи Задача: рассматривается задача оптимизации модели глубокого обучения для нового датасета. Требуется предложить метод оптимизации модели, позволяющий производить порождение новых моделей для нового датасета с небольшими вычислительными затратами. Данные: CIFAR10, CIFAR100 Литература: [1] вариационный вывод для нейронных сетей https://papers.nips.cc/paper/4329-practical-variational-inference-for-neural-networks.pdf [2] гиперсети https://arxiv.org/abs/1609.09106 [3] похожая работа заточенная под изменение модели в зависимости от заранее заданной сложности https://www.mathnet.ru/links/71cd2117ce84018e028a939bcd0e1507/ia710.pdf (по запросу скинем более новую версию) Базовой алгоритм: Переобучение модели напрямую. Решение: Предлагаемый метод заключается в представлении модели глубокого обучения в виде гиперсети (сети, которая генерирует параметры другой сети) с использованием байесовского подхода. Вводятся вероятностные предположения о параметрах моделей глубокого обучения, максимизируется вариационная нижняя оценка байесовской обоснованности модели. Вариационная оценка рассматривается как условная величина, зависящая от информации о данных задачи. Новизна: предложенный метод позволяет порождать модели в режиме one-shot (практически без переподготовки) для требуемой задачи, что значительно снижает затраты на оптимизацию и дообучение.

Ольга Гребенькова и Олег Бахтеев

Задача 129

• Название: * Название:Пространственно-временное прогнозирование с помощью сверточных сетей и тензорных разложений
• Описание проблемы: Породить набор сверток по имеющимся данным и выбрать лучшую с помощью методов снижения порядка и размерности пространств.
• Данные: Потребление и цена электроэнергии, океанические течения, движение барханов, воздушные потоки
• Литература
  1. Tensor-based Singular Spectrum Analysis for Automatic Scoring of Sleep EEG
  2. Tensor based singular spectrum analysis for nonstationary source separation
• Базовый алгоритм: Гусеница, тензорная гусеница.
• Решение: Найти мультиериодический временной ряд, построить его тензорное представление, разложить в спектр, собрать, показать прогноз.
• Новизна: Показать, что мультилинейная модель является удобным способом построения сверток для измерений в пространстве и времени.
• Авторы: Эксперт - Стрижов

Задача 130

• Авторы: Эксперт - Воронцов, консультант - Полина Потапова

Задача 131

• Авторы: Эксперт - Воронцов, консультант - Василий Алексеев

Задача 132

• Название: Ранжирование научных статей для полуавтоматического реферирования • Задача: Построить модель ранжирования, которая принимает на входе подборку текстов научных статей и выдаёт на выходе последовательность их упоминания в реферате. • Данные:

       • В качестве обучающей выборки используются обзорные разделы (например, Introduction и Related Work) статей из коллекции S2ORC (81.1M англоязычных статей). Объект обучающей выборки – это последовательность ссылок на статьи из списка литературы, упоминаемые в обзорных разделах. Для каждого документа есть набор мета данных - год публикации, журнал, число цитирований, число цитирований автора и др. Также, имеется abstract и, возможно, полный текст статьи.
       • В качестве метрики используется Коэффициент ранговой корреляции Кендалла.

•Литература:

◦ Крыжановская С. Ю. «Технология полуавтоматической суммаризации тематических подборок научных статей» [1]
◦ Власов А. В.  «Методы полуавтоматической суммаризации подборок научных статей» [2]
◦ Крыжановская С. Ю., Воронцов К. В. «Технология полуавтоматической суммаризации тематических подборок научных статей» стр. 371
◦ S2ORC: The Semantic Scholar Open Research Corpus [3]

• Базовые алгоритмы:

◦ Попарные (pair-wise) методы ранжирования
◦ Градиентный бустинг

• Решение: Простейшим решением является ранжирование статей в хронологическом порядке, по году их публикации. Для решения задачи предлагается построить модель ранжирования на основе градиентного бустинга. В качестве признаков можно использовать год публикации, цитируемость статьи, цитируемость её авторов, семантическая близость публикации к обзору, к его локальному контексту, и т. д. • Новизна: Задача является первым этапом для полуавтоматического реферирования тематических подборок научных публикаций (machine aided human summarization, MAHS). После того, как сценарий реферата построен, система генерирует для каждой статьи фразы-подсказки, из которых пользователь выбирает фразы для продолжения своего реферата. • Автор: Крыжановская Светлана, Константин Воронцов

Задача 133

Задача 134

• Название: Дистилляция моделей и данных
• Задача: Существует два подхода по дистилляции знаний. Первый подход - дистилляция моделей. В этом случае большую модель пытаются дистиллировать в маленькую модель с сохранением такого же уровня качества. Второй подход - дистилляция данных. В этом случае создается минимальный набор данных, для обучения модели до нужного качества. На данный момент нет решения, которое может реализовать одновременную дистилляцию модели и знаний.
• Данные: Выборка рукописных цифр MNIST, Выборка изображений CIFAR-10
• Литература: Список научных работ, дополненный 1) формулировкой решаемой задачи, 2) ссылками на новые результаты, 3) основной информацией об исследуемой проблеме.
• Базовой алгоритм: Базовое решение по дистилляции модели - дистилляция Хинтона Базовое решение по дистилляции датасетов - Dataset distillation.
• Решение: Предлагаемое решение задачи и способы проведения исследования. Способы представления и визуализации данных и проведения анализа ошибок, анализа качества алгоритма.
• Новизна: Новизна работы заключается в соединении двух подходов по дистилляции
• Авторы: Андрей Филатов