Моя первая научная статья (лекции и практика)/Сборник, весна 2023
Материал из MachineLearning.
(→Задача 133) |
(→Задача 125) |
||
(14 промежуточных версий не показаны.) | |||
Строка 2: | Строка 2: | ||
===Задача 112=== | ===Задача 112=== | ||
- | * '''Название:''' | + | * '''Название:''' Моделирование показания FMRI по видео показанному человеку |
- | * '''Авторы:''' Эксперт Грабовой | + | * '''Описание проблемы:''' Требуется построить модель зависимости показания датчиков FMRI и видеоряду, который в этот момент просматривает человек. |
+ | * '''Данные:''' Выборка для аппроксимации представлена в работе J. Berezutskay, в которой присутствуют различные типы параллельных сигналов. | ||
+ | * '''Литература''' | ||
+ | *# Berezutskaya J., et al Open multimodal iEEG-fMRI dataset from naturalistic stimulation with a short audiovisual film // Sci Data 9, 91, 2022. | ||
+ | *# Код предшественников: https://github.com/intsystems/CreationOfIntelligentSystems_video_fMRI | ||
+ | * '''Базовый алгоритм:''' Запуск кода на основе трансформер моделей. | ||
+ | * '''Новизна:''' Анализ зависимости между показаниями датчиков и восприятиям внешнего мира человеком. Требуется проверить гипотезу зависимости между данными, а также предложить метод апроксимации показаний FMRI по просматриваемому видеоряду. | ||
+ | * '''Авторы:''' Эксперт Грабовой Андрей | ||
===Задача 113=== | ===Задача 113=== | ||
- | * '''Название:''' | + | * '''Название:''' Моделирование показания FMRI по звуковому ряду, который слышит человек |
- | * '''Авторы:''' Эксперт Грабовой | + | * '''Описание проблемы:''' Требуется построить модель зависимости показания датчиков FMRI и звуковому сопровождению, который в этот момент прослушивает человек. |
+ | * '''Данные:''' Выборка для аппроксимации представлена в работе J. Berezutskay, в которой присутствуют различные типы параллельных сигналов. | ||
+ | * '''Литература''' | ||
+ | *# Berezutskaya J., et al Open multimodal iEEG-fMRI dataset from naturalistic stimulation with a short audiovisual film // Sci Data 9, 91, 2022. | ||
+ | *# Код предшественников: https://github.com/intsystems/CreationOfIntelligentSystems_sound_fMRI | ||
+ | * '''Базовый алгоритм:''' Запуск кода на основе трансформер моделей. | ||
+ | * '''Новизна:''' Анализ зависимости между показаниями датчиков и восприятиям внешнего мира человеком. Требуется проверить гипотезу зависимости между данными, а также предложить метод апроксимации показаний FMRI по прослушиваемому звуковому ряду. | ||
+ | * '''Авторы:''' Эксперт Грабовой Андрей | ||
===Задача 114=== | ===Задача 114=== | ||
Строка 20: | Строка 34: | ||
===Задача 115=== | ===Задача 115=== | ||
- | * '''Название:''' Дистилляция знаний в глубоких сетях и выравнивание моделей | + | * '''Название:''' Дистилляция знаний в глубоких сетях и выравнивание структур моделей |
- | * | + | * '''Описание проблемы:''' Требуется построить сеть наиболее простой структуры, модель-ученик, используя модель-учитель высокого качества. Показать насколько изменяется точность и устойчивость ученика. Результатом эксперимента является график сложность-точность-устойчивость, где каждая модель является точной. |
+ | * '''Данные:''' Предлагается решать задачу классификации сегментов видеопотока. Базовые данные – классификация сегментов сигнала. Предполагается, что учитель имеет открытую для анализа структуру с большим числом слоев. | ||
+ | * '''Литература''' | ||
+ | *# Исходная работа Хинтона по дистилляции и туториалы | ||
+ | *# Работы Грабового | ||
+ | *# Код полезный, чтобы не писать, а сделать только эксперимент. | ||
+ | *# Описание эксперимента в работах Марка Потанина. | ||
+ | * '''Базовый алгоритм:''' для сравнения | ||
+ | *# Обучение (моделей с заданной структурой управляемой сложности) без дистилляции. | ||
+ | *# Обучение (ditto) с дистилляцией Хинтона. | ||
+ | *# Обучение с переносом по слоям. | ||
+ | *# Обучение с переносом по нейронам. | ||
+ | * '''Решение:''' | ||
+ | *# Как в п. 2, только по слоям. | ||
+ | *# Построение пути наименьшей стоимости по нейронам. Считаем ковариационные матрицы каждого нейрона каждого слоя для учителя и для ученика. Предлагаем функцию ошибки, включающую цену пути наименьшей стоимости. Предлагаем способ построить путь наименьшей стоимости. Основная идея: перенос идет по парам нейронов и наиболее похожими распределениями (ожидание и ковариационная матрица) от учителя к ученику. | ||
+ | * '''Новизна:''' Предложенный перенос существенно снижает сложность без потери точности и решает проблему взаимозаменяемости нейронов, идентифицируя их. | ||
* '''Авторы:''' Эксперт Бахтеев, Стрижов, консультант - Мария Горпинич | * '''Авторы:''' Эксперт Бахтеев, Стрижов, консультант - Мария Горпинич | ||
Строка 36: | Строка 65: | ||
===Задача 119=== | ===Задача 119=== | ||
- | А.С. | + | Участники |
+ | Ментор, эксперт - Хританков А.С., эксперт - Афанасьев А.П. | ||
+ | |||
+ | Литература | ||
+ | |||
+ | Khritankov A., Hidden Feedback Loops in Machine Learning Systems: A Simulation Model and Preliminary Results, https://doi.org/10.1007/978-3-030-65854-0_5 | ||
+ | Khritankov A.. Pilkevich A. Existence Conditions for Hidden Feedback Loops in Online Recommender Systems, https://doi.org/10.1007/978-3-030-91560-5_19 | ||
+ | |||
+ | Каток А.Б., Хасселблат Б. Введение в современную теорию динамических систем.1999. 768 с. ISBN 5-88688-042-9. | ||
+ | Немыцкий В. В., Степанов В. В. Качественная теория дифференциальных уравнений, год изд.: 1974 | ||
+ | |||
+ | |||
+ | Рассмотрим задачу многократного обучения с учителем, в которой обучающая выборка не фиксирована, а обновляется в зависимости от предсказаний обученной модели на тестовой выборке. Для процесса многократного обучения, предсказания и обновления выборки строим математическую модель и исследуем свойства этого процесса на основе построенной модели. | ||
+ | |||
+ | Модель | ||
+ | |||
+ | Пусть f(x) - функция плотности распределения признаков, G - алгоритм обучения модели, формирования предсказаний на тестовой выборке и подмешивания предсказаний в обучающую выборку, в результате применения которого изменяется распределение признаков. | ||
+ | |||
+ | Пусть задано пространство неотрицательных гладких функций F(x), интеграл которых на R^n равен единице. | ||
+ | Рассмотрим автономную (не зависит от времени явно) динамическую систему (есть выделенная переменная - номер шага, которая возрастает), | ||
+ | на шаге t и t+1 которой выполняется соотношение | ||
+ | |||
+ | f_{t+1}(x) = G(f_{t})(x), | ||
+ | |||
+ | где G(f) - оператор эволюции на пространстве указанных функций F и известна начальная функция f_0(x), | ||
+ | |||
+ | Вообще говоря, G может быть произвольным оператором, не обязательно гладким и/или непрерывным. | ||
+ | |||
+ | Вопрос 0. | ||
+ | Найти условия на оператор G, при которых образ G лежит в том же классе функций плотности распределений F. | ||
+ | |||
+ | |||
+ | |||
+ | В частности, должен ли G быть ограниченным, операторная норма ||G|| <= 1, для того, чтобы образ G(f) \in F также был функцией плотности распределения для любой f из F? | ||
+ | |||
+ | Существует ли в пространстве F единица относительно оператора G и что будет единичной функцией f в таком F? | ||
+ | |||
+ | |||
+ | Вопрос 1. | ||
+ | При каких условиях на G будет существовать такое t_0, что для всех t > t_0 хвост последовательности {f} будет ограничен? | ||
+ | |||
+ | |||
+ | Вопрос 2. | ||
+ | При каких условиях оператор G будет иметь неподвижную точку? | ||
+ | |||
+ | Предполагаемый ответ - по видимому, применим принцип сжимающих отображений (теорема Банаха). | ||
+ | |||
+ | Существование неподвижной точки может потребовать полноты пространства F, что может не выполняться, например, для последовательности на F, сходящейся к индикаторной функции. | ||
+ | |||
+ | Какие условия нужно наложить на G, чтобы исключить такие последовательности? | ||
+ | |||
+ | В вычислительном эксперименте предлагается проверить существенность ограничения / значимость условий, при которых получен ответ на вопросы 0-2. | ||
+ | |||
+ | Например, для задачи линейной регрессии и/или регрессии с многоуровневой полносвязной нейронной сетью при разных долях подмешиваемых в обучающую выборку предсказаниях на синтетических наборах данных. | ||
===Задача 120=== | ===Задача 120=== | ||
- | + | * Название: Дифференцируемый алгоритм поиска ансамблей моделей глубокого обучения с контролем разнообразия | |
+ | * Задача: Рассмотривается задача выбора ансамбля моделей. Требуется предложить метод контроля разнообразия базовых моделей на этапе применения. | ||
+ | * Данные: Fashion-MNIST, CIFAR-10, CIFAR-100 datasets | ||
+ | * Литература: [1] [Neural Architecture Search with Structure Complexity Control](https://easychair.org/publications/preprint/H5MC), [2] [Neural Ensemble Search via Bayesian Sampling](https://arxiv.org/pdf/2109.02533.pdf), [3] [DARTS: Differentiable Architecture Search](https://arxiv.org/pdf/1806.09055.pdf) | ||
+ | * Базовой алгоритм: В качестве базового алгоритма предлагается использовать DARTS [3]. | ||
+ | * Решение: Для контроля разнообразия базовых моделей предлагается использовать гиперсеть [1], которая смещает структурные параметры в терминах дивергенции Йенсена—Шеннона. На этапе применения сэмплируются базовые архитектуры с заданным смещением для построения ансамбля. | ||
+ | * Новизна: Предложенный метод позволяет строить ансамбли с любым количеством базовых моделей без дополнительных вычислительных затрат относительно базового алгоритма. | ||
+ | * Авторы: К.Д. Яковлев, О.Ю. Бахтеев | ||
===Задача 121=== | ===Задача 121=== | ||
Строка 48: | Строка 137: | ||
===Задача 123=== | ===Задача 123=== | ||
- | + | * Название: Влияние локдауна на динамику распространения эпидемии | |
- | + | * Задача: Введение локдауна считается эффективной мерой по борьбе с эпидемией. Однако вопреки интуиции оказалось, что при определенных условиях локдаун может привести к росту эпидемии. Данный эффект отсутствует для классических моделей распространения эпидемии «в среднем», но был выявлен при моделировании эпидемии на графе контактов. Задача заключается в поиске формульных и количественных соотношений между параметрами, при которых локдаун может привести к росту эпидемии. Необходимо как выявить такие соотношения в моделях SEIRS/SEIR/SIS/etc на основе фреймворка распространения эпидений SEIRS+ (и ее модификации), так и теоретически обосновать соотношения, полученные из конкретных реализаций эпидении. | |
- | + | * Данные: Задача предполагает работу с модельными и синтетическими данными: имеются готовые данные, а также предполагается возможность генерации новых в процессе решения задачи. Данная задача относится к unsupervised обучению, поскольку реализация эпидемии на графе контактов имеет высокую долю случаныйх событий, а потому требует проводить анализ в среднем на многих синтетически сгенерированных реализациях эпидемии | |
+ | * Литература: | ||
+ | - T. Harko, Francisco S. N. Lobo и M. Mak. «Exact analytical solutions of the | ||
+ | Susceptible-Infected-Recovered (SIR) epidemic model and of the SIR model with | ||
+ | equal death and birth rates» | ||
+ | - https://github.com/ryansmcgee/seirsplus | ||
+ | * Авторы: А.Ю. Бишук, А.В. Зухба | ||
===Задача 125=== | ===Задача 125=== | ||
- | + | * '''Название:''' детекция изменения стиля машинной генерации | |
+ | * '''Описание проблемы:''' Требуется предложить метод детекции | ||
+ | * '''Данные:''' Выборка для аппроксимации представлена в работе J. Berezutskay, в которой присутствуют различные типы параллельных сигналов. | ||
+ | * '''Литература''' | ||
+ | *# G. Gritsay, A. Grabovoy, Y. Chekhovich. Automatic Detection of Machine Generated Texts: Need More Tokens // Ivannikov Memorial Workshop (IVMEM), 2022. | ||
+ | *# M. Kuznetsov, A. Motrenko, R. Kuznetsova, V. Strijov. Methods for intrinsic plagiarism detection and author diarization // Working Notes of CLEF, 2016, 1609 : 912-919. | ||
+ | *# Конкурс RuATD --- https://www.dialog-21.ru/en/dialogue-evaluation/competitions/dialogue-evaluation-2022/ruatd-2022/. | ||
+ | * '''Базовый алгоритм:''' | ||
+ | *# Использование результатов конкурса RuATD в качестве базовых моделей для классификации предложений. | ||
+ | *# Использовать метод из работы Kuznetsov et all. | ||
+ | * '''Новизна:''' Предложить метод детекции машиносгенерированных фрагментов в тексте используя методы изменения стиля написания. | ||
+ | * '''Авторы:''' Эксперт Грабовой Андрей | ||
===Задача 126=== | ===Задача 126=== | ||
Строка 61: | Строка 167: | ||
===Задача 128=== | ===Задача 128=== | ||
+ | Название: Построение модели глубокого обучения в зависимости от данных задачи | ||
+ | Задача: рассматривается задача оптимизации модели глубокого обучения для нового датасета. Требуется предложить метод оптимизации модели, позволяющий производить порождение новых моделей для нового датасета с небольшими вычислительными затратами. | ||
+ | Данные: CIFAR10, CIFAR100 | ||
+ | Литература: | ||
+ | [1] вариационный вывод для нейронных сетей https://papers.nips.cc/paper/4329-practical-variational-inference-for-neural-networks.pdf | ||
+ | [2] гиперсети https://arxiv.org/abs/1609.09106 | ||
+ | [3] похожая работа заточенная под изменение модели в зависимости от заранее заданной сложности | ||
+ | https://www.mathnet.ru/links/71cd2117ce84018e028a939bcd0e1507/ia710.pdf (по запросу скинем более новую версию) | ||
+ | Базовой алгоритм: Переобучение модели напрямую. | ||
+ | Решение: Предлагаемый метод заключается в представлении модели глубокого обучения в виде гиперсети (сети, которая генерирует параметры другой сети) с использованием байесовского подхода. Вводятся вероятностные предположения о параметрах моделей глубокого обучения, максимизируется вариационная нижняя оценка байесовской обоснованности модели. Вариационная оценка рассматривается как условная величина, зависящая от информации о данных задачи. | ||
+ | Новизна: предложенный метод позволяет порождать модели в режиме one-shot (практически без переподготовки) для требуемой задачи, что значительно снижает затраты на оптимизацию и дообучение. | ||
+ | |||
Ольга Гребенькова и Олег Бахтеев | Ольга Гребенькова и Олег Бахтеев | ||
Строка 80: | Строка 198: | ||
* '''Авторы:''' Эксперт - Воронцов, консультант - Василий Алексеев | * '''Авторы:''' Эксперт - Воронцов, консультант - Василий Алексеев | ||
===Задача 132=== | ===Задача 132=== | ||
- | + | • Название: Ранжирование научных статей для полуавтоматического реферирования | |
+ | • Задача: Построить модель ранжирования, которая принимает на входе подборку текстов научных статей и выдаёт на выходе последовательность их упоминания в реферате. | ||
+ | • Данные: | ||
+ | • В качестве обучающей выборки используются обзорные разделы (например, Introduction и Related Work) статей из коллекции S2ORC (81.1M англоязычных статей). Объект обучающей выборки – это последовательность ссылок на статьи из списка литературы, упоминаемые в обзорных разделах. Для каждого документа есть набор мета данных - год публикации, журнал, число цитирований, число цитирований автора и др. Также, имеется abstract и, возможно, полный текст статьи. | ||
+ | • В качестве метрики используется Коэффициент ранговой корреляции Кендалла. | ||
+ | •Литература: | ||
+ | ◦ Крыжановская С. Ю. «Технология полуавтоматической суммаризации тематических подборок научных статей» [http://www.machinelearning.ru/wiki/images/e/ed/Kryzhanovskaya22msc.pdf] | ||
+ | ◦ Власов А. В. «Методы полуавтоматической суммаризации подборок научных статей» [http://www.machinelearning.ru/wiki/images/6/6d/Vlasov2020MSThesis.pdf] | ||
+ | ◦ Крыжановская С. Ю., Воронцов К. В. «Технология полуавтоматической суммаризации тематических подборок научных статей» [http://www.machinelearning.ru/wiki/images/f/ff/Idp22.pdf, стр. 371] | ||
+ | ◦ S2ORC: The Semantic Scholar Open Research Corpus [https://aclanthology.org/2020.acl-main.447.pdf] | ||
+ | • Базовые алгоритмы: | ||
+ | ◦ Попарные (pair-wise) методы ранжирования | ||
+ | ◦ Градиентный бустинг | ||
+ | • Решение: Простейшим решением является ранжирование статей в хронологическом порядке, по году их публикации. Для решения задачи предлагается построить модель ранжирования на основе градиентного бустинга. В качестве признаков можно использовать год публикации, цитируемость статьи, цитируемость её авторов, семантическая близость публикации к обзору, к его локальному контексту, и т. д. | ||
+ | • Новизна: Задача является первым этапом для полуавтоматического реферирования тематических подборок научных публикаций (machine aided human summarization, MAHS). После того, как сценарий реферата построен, система генерирует для каждой статьи фразы-подсказки, из которых пользователь выбирает фразы для продолжения своего реферата. | ||
+ | • Автор: Крыжановская Светлана, Константин Воронцов | ||
+ | |||
===Задача 133=== | ===Задача 133=== | ||
- | |||
===Задача 134=== | ===Задача 134=== | ||
- | * | + | * Название: Дистилляция моделей и данных |
+ | * Задача: Существует два подхода по дистилляции знаний. Первый подход - дистилляция моделей. В этом случае большую модель пытаются дистиллировать в маленькую модель с сохранением такого же уровня качества. Второй подход - дистилляция данных. В этом случае создается минимальный набор данных, для обучения модели до нужного качества. На данный момент нет решения, которое может реализовать одновременную дистилляцию модели и знаний. | ||
+ | * Данные: Выборка рукописных цифр MNIST, Выборка изображений CIFAR-10 | ||
+ | * Литература: Список научных работ, дополненный 1) формулировкой решаемой задачи, 2) ссылками на новые результаты, 3) основной информацией об исследуемой проблеме. | ||
+ | * Базовой алгоритм: Базовое решение по дистилляции модели - дистилляция Хинтона Базовое решение по дистилляции датасетов - Dataset distillation. | ||
+ | * Решение: Предлагаемое решение задачи и способы проведения исследования. Способы представления и визуализации данных и проведения анализа ошибок, анализа качества алгоритма. | ||
+ | * Новизна: Новизна работы заключается в соединении двух подходов по дистилляции | ||
+ | * Авторы: Андрей Филатов |
Текущая версия
Содержание |
Задача 112
- Название: Моделирование показания FMRI по видео показанному человеку
- Описание проблемы: Требуется построить модель зависимости показания датчиков FMRI и видеоряду, который в этот момент просматривает человек.
- Данные: Выборка для аппроксимации представлена в работе J. Berezutskay, в которой присутствуют различные типы параллельных сигналов.
- Литература
- Berezutskaya J., et al Open multimodal iEEG-fMRI dataset from naturalistic stimulation with a short audiovisual film // Sci Data 9, 91, 2022.
- Код предшественников: https://github.com/intsystems/CreationOfIntelligentSystems_video_fMRI
- Базовый алгоритм: Запуск кода на основе трансформер моделей.
- Новизна: Анализ зависимости между показаниями датчиков и восприятиям внешнего мира человеком. Требуется проверить гипотезу зависимости между данными, а также предложить метод апроксимации показаний FMRI по просматриваемому видеоряду.
- Авторы: Эксперт Грабовой Андрей
Задача 113
- Название: Моделирование показания FMRI по звуковому ряду, который слышит человек
- Описание проблемы: Требуется построить модель зависимости показания датчиков FMRI и звуковому сопровождению, который в этот момент прослушивает человек.
- Данные: Выборка для аппроксимации представлена в работе J. Berezutskay, в которой присутствуют различные типы параллельных сигналов.
- Литература
- Berezutskaya J., et al Open multimodal iEEG-fMRI dataset from naturalistic stimulation with a short audiovisual film // Sci Data 9, 91, 2022.
- Код предшественников: https://github.com/intsystems/CreationOfIntelligentSystems_sound_fMRI
- Базовый алгоритм: Запуск кода на основе трансформер моделей.
- Новизна: Анализ зависимости между показаниями датчиков и восприятиям внешнего мира человеком. Требуется проверить гипотезу зависимости между данными, а также предложить метод апроксимации показаний FMRI по прослушиваемому звуковому ряду.
- Авторы: Эксперт Грабовой Андрей
Задача 114
- Название:Моделирование динамики физических систем с помощью Physics-Informed Neural Networks
- Описание проблемы: Породить набор сверток по имеющимся данным и выбрать лучшую с помощью методов снижения порядка и размерности пространств.
- Данные: Биомедицинские данные акселерометра и гироскопа, океанические течения, движение барханов, воздушные потоки
- Литература базовая работа содержит ссылки
- Базовый алгоритм: Нейросетевой, лагранжевы нейросети.
- Решение: Нетерова нейросеть.
- Новизна: Предложенная сеть учитывает симметрию
- Авторы: Эксперты - Северилов, Стрижов, консультант - Панченко
Задача 115
- Название: Дистилляция знаний в глубоких сетях и выравнивание структур моделей
- Описание проблемы: Требуется построить сеть наиболее простой структуры, модель-ученик, используя модель-учитель высокого качества. Показать насколько изменяется точность и устойчивость ученика. Результатом эксперимента является график сложность-точность-устойчивость, где каждая модель является точной.
- Данные: Предлагается решать задачу классификации сегментов видеопотока. Базовые данные – классификация сегментов сигнала. Предполагается, что учитель имеет открытую для анализа структуру с большим числом слоев.
- Литература
- Исходная работа Хинтона по дистилляции и туториалы
- Работы Грабового
- Код полезный, чтобы не писать, а сделать только эксперимент.
- Описание эксперимента в работах Марка Потанина.
- Базовый алгоритм: для сравнения
- Обучение (моделей с заданной структурой управляемой сложности) без дистилляции.
- Обучение (ditto) с дистилляцией Хинтона.
- Обучение с переносом по слоям.
- Обучение с переносом по нейронам.
- Решение:
- Как в п. 2, только по слоям.
- Построение пути наименьшей стоимости по нейронам. Считаем ковариационные матрицы каждого нейрона каждого слоя для учителя и для ученика. Предлагаем функцию ошибки, включающую цену пути наименьшей стоимости. Предлагаем способ построить путь наименьшей стоимости. Основная идея: перенос идет по парам нейронов и наиболее похожими распределениями (ожидание и ковариационная матрица) от учителя к ученику.
- Новизна: Предложенный перенос существенно снижает сложность без потери точности и решает проблему взаимозаменяемости нейронов, идентифицируя их.
- Авторы: Эксперт Бахтеев, Стрижов, консультант - Мария Горпинич
Задача 116
- Название: Нейронные дифференциальные уравнения для моделирования физической активности – выбор моделей
- Авторы: Эксперт, консультант - Эдуард Владимиров
Задача 117
- Название: Поиск зависимости и SSA, теорема Такенса
- Авторы: Эксперт Стрижов, консультант - Владимиров, Самохина
Задача 118
Denis
Задача 119
Участники Ментор, эксперт - Хританков А.С., эксперт - Афанасьев А.П.
Литература
Khritankov A., Hidden Feedback Loops in Machine Learning Systems: A Simulation Model and Preliminary Results, https://doi.org/10.1007/978-3-030-65854-0_5 Khritankov A.. Pilkevich A. Existence Conditions for Hidden Feedback Loops in Online Recommender Systems, https://doi.org/10.1007/978-3-030-91560-5_19
Каток А.Б., Хасселблат Б. Введение в современную теорию динамических систем.1999. 768 с. ISBN 5-88688-042-9. Немыцкий В. В., Степанов В. В. Качественная теория дифференциальных уравнений, год изд.: 1974
Рассмотрим задачу многократного обучения с учителем, в которой обучающая выборка не фиксирована, а обновляется в зависимости от предсказаний обученной модели на тестовой выборке. Для процесса многократного обучения, предсказания и обновления выборки строим математическую модель и исследуем свойства этого процесса на основе построенной модели.
Модель
Пусть f(x) - функция плотности распределения признаков, G - алгоритм обучения модели, формирования предсказаний на тестовой выборке и подмешивания предсказаний в обучающую выборку, в результате применения которого изменяется распределение признаков.
Пусть задано пространство неотрицательных гладких функций F(x), интеграл которых на R^n равен единице. Рассмотрим автономную (не зависит от времени явно) динамическую систему (есть выделенная переменная - номер шага, которая возрастает), на шаге t и t+1 которой выполняется соотношение
f_{t+1}(x) = G(f_{t})(x),
где G(f) - оператор эволюции на пространстве указанных функций F и известна начальная функция f_0(x),
Вообще говоря, G может быть произвольным оператором, не обязательно гладким и/или непрерывным.
Вопрос 0. Найти условия на оператор G, при которых образ G лежит в том же классе функций плотности распределений F.
В частности, должен ли G быть ограниченным, операторная норма ||G|| <= 1, для того, чтобы образ G(f) \in F также был функцией плотности распределения для любой f из F?
Существует ли в пространстве F единица относительно оператора G и что будет единичной функцией f в таком F?
Вопрос 1. При каких условиях на G будет существовать такое t_0, что для всех t > t_0 хвост последовательности {f} будет ограничен?
Вопрос 2. При каких условиях оператор G будет иметь неподвижную точку?
Предполагаемый ответ - по видимому, применим принцип сжимающих отображений (теорема Банаха).
Существование неподвижной точки может потребовать полноты пространства F, что может не выполняться, например, для последовательности на F, сходящейся к индикаторной функции.
Какие условия нужно наложить на G, чтобы исключить такие последовательности?
В вычислительном эксперименте предлагается проверить существенность ограничения / значимость условий, при которых получен ответ на вопросы 0-2.
Например, для задачи линейной регрессии и/или регрессии с многоуровневой полносвязной нейронной сетью при разных долях подмешиваемых в обучающую выборку предсказаниях на синтетических наборах данных.
Задача 120
- Название: Дифференцируемый алгоритм поиска ансамблей моделей глубокого обучения с контролем разнообразия
- Задача: Рассмотривается задача выбора ансамбля моделей. Требуется предложить метод контроля разнообразия базовых моделей на этапе применения.
- Данные: Fashion-MNIST, CIFAR-10, CIFAR-100 datasets
- Литература: [1] [Neural Architecture Search with Structure Complexity Control](https://easychair.org/publications/preprint/H5MC), [2] [Neural Ensemble Search via Bayesian Sampling](https://arxiv.org/pdf/2109.02533.pdf), [3] [DARTS: Differentiable Architecture Search](https://arxiv.org/pdf/1806.09055.pdf)
- Базовой алгоритм: В качестве базового алгоритма предлагается использовать DARTS [3].
- Решение: Для контроля разнообразия базовых моделей предлагается использовать гиперсеть [1], которая смещает структурные параметры в терминах дивергенции Йенсена—Шеннона. На этапе применения сэмплируются базовые архитектуры с заданным смещением для построения ансамбля.
- Новизна: Предложенный метод позволяет строить ансамбли с любым количеством базовых моделей без дополнительных вычислительных затрат относительно базового алгоритма.
- Авторы: К.Д. Яковлев, О.Ю. Бахтеев
Задача 121
Вл. Вановский задача по физикс-информед маншин лернинг?
Задача 122
Исаченко
Задача 123
- Название: Влияние локдауна на динамику распространения эпидемии
- Задача: Введение локдауна считается эффективной мерой по борьбе с эпидемией. Однако вопреки интуиции оказалось, что при определенных условиях локдаун может привести к росту эпидемии. Данный эффект отсутствует для классических моделей распространения эпидемии «в среднем», но был выявлен при моделировании эпидемии на графе контактов. Задача заключается в поиске формульных и количественных соотношений между параметрами, при которых локдаун может привести к росту эпидемии. Необходимо как выявить такие соотношения в моделях SEIRS/SEIR/SIS/etc на основе фреймворка распространения эпидений SEIRS+ (и ее модификации), так и теоретически обосновать соотношения, полученные из конкретных реализаций эпидении.
- Данные: Задача предполагает работу с модельными и синтетическими данными: имеются готовые данные, а также предполагается возможность генерации новых в процессе решения задачи. Данная задача относится к unsupervised обучению, поскольку реализация эпидемии на графе контактов имеет высокую долю случаныйх событий, а потому требует проводить анализ в среднем на многих синтетически сгенерированных реализациях эпидемии
- Литература:
- T. Harko, Francisco S. N. Lobo и M. Mak. «Exact analytical solutions of the
Susceptible-Infected-Recovered (SIR) epidemic model and of the SIR model with equal death and birth rates»
- https://github.com/ryansmcgee/seirsplus
- Авторы: А.Ю. Бишук, А.В. Зухба
Задача 125
- Название: детекция изменения стиля машинной генерации
- Описание проблемы: Требуется предложить метод детекции
- Данные: Выборка для аппроксимации представлена в работе J. Berezutskay, в которой присутствуют различные типы параллельных сигналов.
- Литература
- G. Gritsay, A. Grabovoy, Y. Chekhovich. Automatic Detection of Machine Generated Texts: Need More Tokens // Ivannikov Memorial Workshop (IVMEM), 2022.
- M. Kuznetsov, A. Motrenko, R. Kuznetsova, V. Strijov. Methods for intrinsic plagiarism detection and author diarization // Working Notes of CLEF, 2016, 1609 : 912-919.
- Конкурс RuATD --- https://www.dialog-21.ru/en/dialogue-evaluation/competitions/dialogue-evaluation-2022/ruatd-2022/.
- Базовый алгоритм:
- Использование результатов конкурса RuATD в качестве базовых моделей для классификации предложений.
- Использовать метод из работы Kuznetsov et all.
- Новизна: Предложить метод детекции машиносгенерированных фрагментов в тексте используя методы изменения стиля написания.
- Авторы: Эксперт Грабовой Андрей
Задача 126
Рустем Исламов
Задача 127
Егор Шульгин
Задача 128
Название: Построение модели глубокого обучения в зависимости от данных задачи Задача: рассматривается задача оптимизации модели глубокого обучения для нового датасета. Требуется предложить метод оптимизации модели, позволяющий производить порождение новых моделей для нового датасета с небольшими вычислительными затратами. Данные: CIFAR10, CIFAR100 Литература: [1] вариационный вывод для нейронных сетей https://papers.nips.cc/paper/4329-practical-variational-inference-for-neural-networks.pdf [2] гиперсети https://arxiv.org/abs/1609.09106 [3] похожая работа заточенная под изменение модели в зависимости от заранее заданной сложности https://www.mathnet.ru/links/71cd2117ce84018e028a939bcd0e1507/ia710.pdf (по запросу скинем более новую версию) Базовой алгоритм: Переобучение модели напрямую. Решение: Предлагаемый метод заключается в представлении модели глубокого обучения в виде гиперсети (сети, которая генерирует параметры другой сети) с использованием байесовского подхода. Вводятся вероятностные предположения о параметрах моделей глубокого обучения, максимизируется вариационная нижняя оценка байесовской обоснованности модели. Вариационная оценка рассматривается как условная величина, зависящая от информации о данных задачи. Новизна: предложенный метод позволяет порождать модели в режиме one-shot (практически без переподготовки) для требуемой задачи, что значительно снижает затраты на оптимизацию и дообучение.
Ольга Гребенькова и Олег Бахтеев
Задача 129
- Название: * Название:Пространственно-временное прогнозирование с помощью сверточных сетей и тензорных разложений
- Описание проблемы: Породить набор сверток по имеющимся данным и выбрать лучшую с помощью методов снижения порядка и размерности пространств.
- Данные: Потребление и цена электроэнергии, океанические течения, движение барханов, воздушные потоки
- Литература
- Базовый алгоритм: Гусеница, тензорная гусеница.
- Решение: Найти мультиериодический временной ряд, построить его тензорное представление, разложить в спектр, собрать, показать прогноз.
- Новизна: Показать, что мультилинейная модель является удобным способом построения сверток для измерений в пространстве и времени.
- Авторы: Эксперт - Стрижов
Задача 130
- Авторы: Эксперт - Воронцов, консультант - Полина Потапова
Задача 131
- Авторы: Эксперт - Воронцов, консультант - Василий Алексеев
Задача 132
• Название: Ранжирование научных статей для полуавтоматического реферирования • Задача: Построить модель ранжирования, которая принимает на входе подборку текстов научных статей и выдаёт на выходе последовательность их упоминания в реферате. • Данные:
• В качестве обучающей выборки используются обзорные разделы (например, Introduction и Related Work) статей из коллекции S2ORC (81.1M англоязычных статей). Объект обучающей выборки – это последовательность ссылок на статьи из списка литературы, упоминаемые в обзорных разделах. Для каждого документа есть набор мета данных - год публикации, журнал, число цитирований, число цитирований автора и др. Также, имеется abstract и, возможно, полный текст статьи. • В качестве метрики используется Коэффициент ранговой корреляции Кендалла.
•Литература:
◦ Крыжановская С. Ю. «Технология полуавтоматической суммаризации тематических подборок научных статей» [1] ◦ Власов А. В. «Методы полуавтоматической суммаризации подборок научных статей» [2] ◦ Крыжановская С. Ю., Воронцов К. В. «Технология полуавтоматической суммаризации тематических подборок научных статей» стр. 371 ◦ S2ORC: The Semantic Scholar Open Research Corpus [3]
• Базовые алгоритмы:
◦ Попарные (pair-wise) методы ранжирования ◦ Градиентный бустинг
• Решение: Простейшим решением является ранжирование статей в хронологическом порядке, по году их публикации. Для решения задачи предлагается построить модель ранжирования на основе градиентного бустинга. В качестве признаков можно использовать год публикации, цитируемость статьи, цитируемость её авторов, семантическая близость публикации к обзору, к его локальному контексту, и т. д. • Новизна: Задача является первым этапом для полуавтоматического реферирования тематических подборок научных публикаций (machine aided human summarization, MAHS). После того, как сценарий реферата построен, система генерирует для каждой статьи фразы-подсказки, из которых пользователь выбирает фразы для продолжения своего реферата. • Автор: Крыжановская Светлана, Константин Воронцов
Задача 133
Задача 134
- Название: Дистилляция моделей и данных
- Задача: Существует два подхода по дистилляции знаний. Первый подход - дистилляция моделей. В этом случае большую модель пытаются дистиллировать в маленькую модель с сохранением такого же уровня качества. Второй подход - дистилляция данных. В этом случае создается минимальный набор данных, для обучения модели до нужного качества. На данный момент нет решения, которое может реализовать одновременную дистилляцию модели и знаний.
- Данные: Выборка рукописных цифр MNIST, Выборка изображений CIFAR-10
- Литература: Список научных работ, дополненный 1) формулировкой решаемой задачи, 2) ссылками на новые результаты, 3) основной информацией об исследуемой проблеме.
- Базовой алгоритм: Базовое решение по дистилляции модели - дистилляция Хинтона Базовое решение по дистилляции датасетов - Dataset distillation.
- Решение: Предлагаемое решение задачи и способы проведения исследования. Способы представления и визуализации данных и проведения анализа ошибок, анализа качества алгоритма.
- Новизна: Новизна работы заключается в соединении двух подходов по дистилляции
- Авторы: Андрей Филатов