Моя первая научная статья (лекции и практика)/Сборник, весна 2023

Материал из MachineLearning.

Перейти к: навигация, поиск

Содержание

Задача 112

  • Название: Моделирование показания FMRI по видео показанному человеку
  • Описание проблемы: Требуется построить модель зависимости показания датчиков FMRI и видеоряду, который в этот момент просматривает человек.
  • Данные: Выборка для аппроксимации представлена в работе J. Berezutskay, в которой присутствуют различные типы параллельных сигналов.
  • Литература
    1. Berezutskaya J., et al Open multimodal iEEG-fMRI dataset from naturalistic stimulation with a short audiovisual film // Sci Data 9, 91, 2022.
    2. Код предшественников: https://github.com/intsystems/CreationOfIntelligentSystems_video_fMRI
  • Базовый алгоритм: Запуск кода на основе трансформер моделей.
  • Новизна: Анализ зависимости между показаниями датчиков и восприятиям внешнего мира человеком. Требуется проверить гипотезу зависимости между данными, а также предложить метод апроксимации показаний FMRI по просматриваемому видеоряду.
  • Авторы: Эксперт Грабовой Андрей

Задача 113

  • Название: Моделирование показания FMRI по звуковому ряду, который слышит человек
  • Описание проблемы: Требуется построить модель зависимости показания датчиков FMRI и звуковому сопровождению, который в этот момент прослушивает человек.
  • Данные: Выборка для аппроксимации представлена в работе J. Berezutskay, в которой присутствуют различные типы параллельных сигналов.
  • Литература
    1. Berezutskaya J., et al Open multimodal iEEG-fMRI dataset from naturalistic stimulation with a short audiovisual film // Sci Data 9, 91, 2022.
    2. Код предшественников: https://github.com/intsystems/CreationOfIntelligentSystems_sound_fMRI
  • Базовый алгоритм: Запуск кода на основе трансформер моделей.
  • Новизна: Анализ зависимости между показаниями датчиков и восприятиям внешнего мира человеком. Требуется проверить гипотезу зависимости между данными, а также предложить метод апроксимации показаний FMRI по прослушиваемому звуковому ряду.
  • Авторы: Эксперт Грабовой Андрей

Задача 114

  • Название:Моделирование динамики физических систем с помощью Physics-Informed Neural Networks
  • Описание проблемы: Породить набор сверток по имеющимся данным и выбрать лучшую с помощью методов снижения порядка и размерности пространств.
  • Данные: Биомедицинские данные акселерометра и гироскопа, океанические течения, движение барханов, воздушные потоки
  • Литература базовая работа содержит ссылки
  • Базовый алгоритм: Нейросетевой, лагранжевы нейросети.
  • Решение: Нетерова нейросеть.
  • Новизна: Предложенная сеть учитывает симметрию
  • Авторы: Эксперты - Северилов, Стрижов, консультант - Панченко

Задача 115

  • Название: Дистилляция знаний в глубоких сетях и выравнивание структур моделей
  • Описание проблемы: Требуется построить сеть наиболее простой структуры, модель-ученик, используя модель-учитель высокого качества. Показать насколько изменяется точность и устойчивость ученика. Результатом эксперимента является график сложность-точность-устойчивость, где каждая модель является точной.
  • Данные: Предлагается решать задачу классификации сегментов видеопотока. Базовые данные – классификация сегментов сигнала. Предполагается, что учитель имеет открытую для анализа структуру с большим числом слоев.
  • Литература
    1. Исходная работа Хинтона по дистилляции и туториалы
    2. Работы Грабового
    3. Код полезный, чтобы не писать, а сделать только эксперимент.
    4. Описание эксперимента в работах Марка Потанина.
  • Базовый алгоритм: для сравнения
    1. Обучение (моделей с заданной структурой управляемой сложности) без дистилляции.
    2. Обучение (ditto) с дистилляцией Хинтона.
    3. Обучение с переносом по слоям.
    4. Обучение с переносом по нейронам.
  • Решение:
    1. Как в п. 2, только по слоям.
    2. Построение пути наименьшей стоимости по нейронам. Считаем ковариационные матрицы каждого нейрона каждого слоя для учителя и для ученика. Предлагаем функцию ошибки, включающую цену пути наименьшей стоимости. Предлагаем способ построить путь наименьшей стоимости. Основная идея: перенос идет по парам нейронов и наиболее похожими распределениями (ожидание и ковариационная матрица) от учителя к ученику.
  • Новизна: Предложенный перенос существенно снижает сложность без потери точности и решает проблему взаимозаменяемости нейронов, идентифицируя их.
  • Авторы: Эксперт Бахтеев, Стрижов, консультант - Мария Горпинич

Задача 116

  • Название: Нейронные дифференциальные уравнения для моделирования физической активности – выбор моделей
  • Авторы: Эксперт, консультант - Эдуард Владимиров

Задача 117

  • Название: Поиск зависимости и SSA, теорема Такенса
  • Авторы: Эксперт Стрижов, консультант - Владимиров, Самохина

Задача 118

Denis

Задача 119

Участники Ментор, эксперт - Хританков А.С., эксперт - Афанасьев А.П.

Литература

   Khritankov A., Hidden Feedback Loops in Machine Learning Systems: A Simulation Model and Preliminary Results, https://doi.org/10.1007/978-3-030-65854-0_5
   Khritankov A.. Pilkevich A. Existence Conditions for Hidden Feedback Loops in Online Recommender Systems, https://doi.org/10.1007/978-3-030-91560-5_19
   Каток А.Б., Хасселблат Б. Введение в современную теорию динамических систем.1999. 768 с. ISBN 5-88688-042-9.
   Немыцкий В. В., Степанов В. В. Качественная теория дифференциальных уравнений, год изд.: 1974


   Рассмотрим задачу многократного обучения с учителем, в которой обучающая выборка не фиксирована, а обновляется в зависимости от предсказаний обученной модели на тестовой выборке. Для процесса многократного обучения, предсказания и обновления выборки строим математическую модель и исследуем свойства этого процесса на основе построенной модели.
   Модель
   Пусть f(x) - функция плотности распределения признаков, G - алгоритм обучения модели, формирования предсказаний на тестовой выборке и подмешивания предсказаний в обучающую выборку, в результате применения которого изменяется распределение признаков.
   Пусть задано пространство неотрицательных гладких функций F(x), интеграл которых на R^n равен единице. 
   Рассмотрим автономную (не зависит от времени явно) динамическую систему (есть выделенная переменная - номер шага, которая возрастает), 
   на шаге t и t+1 которой выполняется соотношение 
   f_{t+1}(x) = G(f_{t})(x), 
   где G(f) - оператор эволюции на пространстве указанных функций F и известна начальная функция f_0(x),
   Вообще говоря, G может быть произвольным оператором, не обязательно гладким и/или непрерывным.
   Вопрос 0.
   Найти условия на оператор G, при которых образ G лежит в том же классе функций плотности распределений F. 


   В частности, должен ли G быть ограниченным, операторная норма ||G|| <= 1, для того, чтобы образ G(f) \in F также был функцией плотности распределения для любой f из F? 
   Существует ли в пространстве F единица относительно оператора G и что будет единичной функцией f в таком F?


   Вопрос 1.
   При каких условиях на G будет существовать такое t_0, что для всех t > t_0 хвост последовательности {f} будет ограничен?


   Вопрос 2.
   При каких условиях оператор G будет иметь неподвижную точку?
   Предполагаемый ответ - по видимому, применим принцип сжимающих отображений (теорема Банаха). 
   Существование неподвижной точки может потребовать полноты пространства F, что может не выполняться, например, для последовательности на F, сходящейся к индикаторной функции.
   Какие условия нужно наложить на G, чтобы исключить такие последовательности?
   В вычислительном эксперименте предлагается проверить существенность ограничения / значимость условий, при которых получен ответ на вопросы 0-2.
   Например, для задачи линейной регрессии и/или регрессии с многоуровневой полносвязной нейронной сетью при разных долях подмешиваемых в обучающую выборку предсказаниях на синтетических наборах данных.

Задача 120

  • Название: Дифференцируемый алгоритм поиска ансамблей моделей глубокого обучения с контролем разнообразия
  • Задача: Рассмотривается задача выбора ансамбля моделей. Требуется предложить метод контроля разнообразия базовых моделей на этапе применения.
  • Данные: Fashion-MNIST, CIFAR-10, CIFAR-100 datasets
  • Литература: [1] [Neural Architecture Search with Structure Complexity Control](https://easychair.org/publications/preprint/H5MC), [2] [Neural Ensemble Search via Bayesian Sampling](https://arxiv.org/pdf/2109.02533.pdf), [3] [DARTS: Differentiable Architecture Search](https://arxiv.org/pdf/1806.09055.pdf)
  • Базовой алгоритм: В качестве базового алгоритма предлагается использовать DARTS [3].
  • Решение: Для контроля разнообразия базовых моделей предлагается использовать гиперсеть [1], которая смещает структурные параметры в терминах дивергенции Йенсена—Шеннона. На этапе применения сэмплируются базовые архитектуры с заданным смещением для построения ансамбля.
  • Новизна: Предложенный метод позволяет строить ансамбли с любым количеством базовых моделей без дополнительных вычислительных затрат относительно базового алгоритма.
  • Авторы: К.Д. Яковлев, О.Ю. Бахтеев

Задача 121

Вл. Вановский задача по физикс-информед маншин лернинг?

Задача 122

Исаченко

Задача 123

  • Название: Влияние локдауна на динамику распространения эпидемии
  • Задача: Введение локдауна считается эффективной мерой по борьбе с эпидемией. Однако вопреки интуиции оказалось, что при определенных условиях локдаун может привести к росту эпидемии. Данный эффект отсутствует для классических моделей распространения эпидемии «в среднем», но был выявлен при моделировании эпидемии на графе контактов. Задача заключается в поиске формульных и количественных соотношений между параметрами, при которых локдаун может привести к росту эпидемии. Необходимо как выявить такие соотношения в моделях SEIRS/SEIR/SIS/etc на основе фреймворка распространения эпидений SEIRS+ (и ее модификации), так и теоретически обосновать соотношения, полученные из конкретных реализаций эпидении.
  • Данные: Задача предполагает работу с модельными и синтетическими данными: имеются готовые данные, а также предполагается возможность генерации новых в процессе решения задачи. Данная задача относится к unsupervised обучению, поскольку реализация эпидемии на графе контактов имеет высокую долю случаныйх событий, а потому требует проводить анализ в среднем на многих синтетически сгенерированных реализациях эпидемии
  • Литература:
   - T. Harko, Francisco S. N. Lobo и M. Mak. «Exact analytical solutions of the

Susceptible-Infected-Recovered (SIR) epidemic model and of the SIR model with equal death and birth rates»

   - https://github.com/ryansmcgee/seirsplus
  • Авторы: А.Ю. Бишук, А.В. Зухба

Задача 125

  • Название: детекция изменения стиля машинной генерации
  • Описание проблемы: Требуется предложить метод детекции
  • Данные: Выборка для аппроксимации представлена в работе J. Berezutskay, в которой присутствуют различные типы параллельных сигналов.
  • Литература
    1. G. Gritsay, A. Grabovoy, Y. Chekhovich. Automatic Detection of Machine Generated Texts: Need More Tokens // Ivannikov Memorial Workshop (IVMEM), 2022.
    2. M. Kuznetsov, A. Motrenko, R. Kuznetsova, V. Strijov. Methods for intrinsic plagiarism detection and author diarization // Working Notes of CLEF, 2016, 1609 : 912-919.
    3. Конкурс RuATD --- https://www.dialog-21.ru/en/dialogue-evaluation/competitions/dialogue-evaluation-2022/ruatd-2022/.
  • Базовый алгоритм:
    1. Использование результатов конкурса RuATD в качестве базовых моделей для классификации предложений.
    2. Использовать метод из работы Kuznetsov et all.
  • Новизна: Предложить метод детекции машиносгенерированных фрагментов в тексте используя методы изменения стиля написания.
  • Авторы: Эксперт Грабовой Андрей

Задача 126

Рустем Исламов

Задача 127

Егор Шульгин

Задача 128

Название: Построение модели глубокого обучения в зависимости от данных задачи Задача: рассматривается задача оптимизации модели глубокого обучения для нового датасета. Требуется предложить метод оптимизации модели, позволяющий производить порождение новых моделей для нового датасета с небольшими вычислительными затратами. Данные: CIFAR10, CIFAR100 Литература: [1] вариационный вывод для нейронных сетей https://papers.nips.cc/paper/4329-practical-variational-inference-for-neural-networks.pdf [2] гиперсети https://arxiv.org/abs/1609.09106 [3] похожая работа заточенная под изменение модели в зависимости от заранее заданной сложности https://www.mathnet.ru/links/71cd2117ce84018e028a939bcd0e1507/ia710.pdf (по запросу скинем более новую версию) Базовой алгоритм: Переобучение модели напрямую. Решение: Предлагаемый метод заключается в представлении модели глубокого обучения в виде гиперсети (сети, которая генерирует параметры другой сети) с использованием байесовского подхода. Вводятся вероятностные предположения о параметрах моделей глубокого обучения, максимизируется вариационная нижняя оценка байесовской обоснованности модели. Вариационная оценка рассматривается как условная величина, зависящая от информации о данных задачи. Новизна: предложенный метод позволяет порождать модели в режиме one-shot (практически без переподготовки) для требуемой задачи, что значительно снижает затраты на оптимизацию и дообучение.

Ольга Гребенькова и Олег Бахтеев

Задача 129

  • Название: * Название:Пространственно-временное прогнозирование с помощью сверточных сетей и тензорных разложений
  • Описание проблемы: Породить набор сверток по имеющимся данным и выбрать лучшую с помощью методов снижения порядка и размерности пространств.
  • Данные: Потребление и цена электроэнергии, океанические течения, движение барханов, воздушные потоки
  • Литература
    1. Tensor-based Singular Spectrum Analysis for Automatic Scoring of Sleep EEG
    2. Tensor based singular spectrum analysis for nonstationary source separation
  • Базовый алгоритм: Гусеница, тензорная гусеница.
  • Решение: Найти мультиериодический временной ряд, построить его тензорное представление, разложить в спектр, собрать, показать прогноз.
  • Новизна: Показать, что мультилинейная модель является удобным способом построения сверток для измерений в пространстве и времени.
  • Авторы: Эксперт - Стрижов

Задача 130

  • Авторы: Эксперт - Воронцов, консультант - Полина Потапова

Задача 131

  • Авторы: Эксперт - Воронцов, консультант - Василий Алексеев

Задача 132

• Название: Ранжирование научных статей для полуавтоматического реферирования • Задача: Построить модель ранжирования, которая принимает на входе подборку текстов научных статей и выдаёт на выходе последовательность их упоминания в реферате. • Данные:

       • В качестве обучающей выборки используются обзорные разделы (например, Introduction и Related Work) статей из коллекции S2ORC (81.1M англоязычных статей). Объект обучающей выборки – это последовательность ссылок на статьи из списка литературы, упоминаемые в обзорных разделах. Для каждого документа есть набор мета данных - год публикации, журнал, число цитирований, число цитирований автора и др. Также, имеется abstract и, возможно, полный текст статьи.
       • В качестве метрики используется Коэффициент ранговой корреляции Кендалла.

•Литература:

◦ Крыжановская С. Ю. «Технология полуавтоматической суммаризации тематических подборок научных статей» [1]
◦ Власов А. В.  «Методы полуавтоматической суммаризации подборок научных статей» [2]
◦ Крыжановская С. Ю., Воронцов К. В. «Технология полуавтоматической суммаризации тематических подборок научных статей» стр. 371
◦ S2ORC: The Semantic Scholar Open Research Corpus [3]

• Базовые алгоритмы:

◦ Попарные (pair-wise) методы ранжирования
◦ Градиентный бустинг

• Решение: Простейшим решением является ранжирование статей в хронологическом порядке, по году их публикации. Для решения задачи предлагается построить модель ранжирования на основе градиентного бустинга. В качестве признаков можно использовать год публикации, цитируемость статьи, цитируемость её авторов, семантическая близость публикации к обзору, к его локальному контексту, и т. д. • Новизна: Задача является первым этапом для полуавтоматического реферирования тематических подборок научных публикаций (machine aided human summarization, MAHS). После того, как сценарий реферата построен, система генерирует для каждой статьи фразы-подсказки, из которых пользователь выбирает фразы для продолжения своего реферата. • Автор: Крыжановская Светлана, Константин Воронцов

Задача 133

Задача 134

  • Название: Дистилляция моделей и данных
  • Задача: Существует два подхода по дистилляции знаний. Первый подход - дистилляция моделей. В этом случае большую модель пытаются дистиллировать в маленькую модель с сохранением такого же уровня качества. Второй подход - дистилляция данных. В этом случае создается минимальный набор данных, для обучения модели до нужного качества. На данный момент нет решения, которое может реализовать одновременную дистилляцию модели и знаний.
  • Данные: Выборка рукописных цифр MNIST, Выборка изображений CIFAR-10
  • Литература: Список научных работ, дополненный 1) формулировкой решаемой задачи, 2) ссылками на новые результаты, 3) основной информацией об исследуемой проблеме.
  • Базовой алгоритм: Базовое решение по дистилляции модели - дистилляция Хинтона Базовое решение по дистилляции датасетов - Dataset distillation.
  • Решение: Предлагаемое решение задачи и способы проведения исследования. Способы представления и визуализации данных и проведения анализа ошибок, анализа качества алгоритма.
  • Новизна: Новизна работы заключается в соединении двух подходов по дистилляции
  • Авторы: Андрей Филатов
Личные инструменты