Моя первая научная статья (лекции и практика)/Сборник, весна 2023
Материал из MachineLearning.
(→Задача 132) |
(→Задача 128) |
||
Строка 74: | Строка 74: | ||
===Задача 128=== | ===Задача 128=== | ||
+ | Название: Построение модели глубокого обучения в зависимости от данных задачи | ||
+ | Задача: рассматривается задача оптимизации модели глубокого обучения для нового датасета. Требуется предложить метод оптимизации модели, позволяющий производить порождение новых моделей для нового датасета с небольшими вычислительными затратами. | ||
+ | Данные: CIFAR10, CIFAR100 | ||
+ | Литература: | ||
+ | [1] вариационный вывод для нейронных сетей https://papers.nips.cc/paper/4329-practical-variational-inference-for-neural-networks.pdf | ||
+ | [2] гиперсети https://arxiv.org/abs/1609.09106 | ||
+ | [3] похожая работа заточенная под изменение модели в зависимости от заранее заданной сложности | ||
+ | https://www.mathnet.ru/links/71cd2117ce84018e028a939bcd0e1507/ia710.pdf (по запросу скинем более новую версию) | ||
+ | Базовой алгоритм: Переобучение модели напрямую. | ||
+ | Решение: Предлагаемый метод заключается в представлении модели глубокого обучения в виде гиперсети (сети, которая генерирует параметры другой сети) с использованием байесовского подхода. Вводятся вероятностные предположения о параметрах моделей глубокого обучения, максимизируется вариационная нижняя оценка байесовской обоснованности модели. Вариационная оценка рассматривается как условная величина, зависящая от информации о данных задачи. | ||
+ | Новизна: предложенный метод позволяет порождать модели в режиме one-shot (практически без переподготовки) для требуемой задачи, что значительно снижает затраты на оптимизацию и дообучение. | ||
+ | |||
Ольга Гребенькова и Олег Бахтеев | Ольга Гребенькова и Олег Бахтеев | ||
Версия 20:29, 12 февраля 2023
Содержание |
Задача 112
- Название: ECoG - video
- Авторы: Эксперт Грабовой, консультант -
Задача 113
- Название: ECoG - audio
- Авторы: Эксперт Грабовой, консультант -
Задача 114
- Название:Моделирование динамики физических систем с помощью Physics-Informed Neural Networks
- Описание проблемы: Породить набор сверток по имеющимся данным и выбрать лучшую с помощью методов снижения порядка и размерности пространств.
- Данные: Биомедицинские данные акселерометра и гироскопа, океанические течения, движение барханов, воздушные потоки
- Литература базовая работа содержит ссылки
- Базовый алгоритм: Нейросетевой, лагранжевы нейросети.
- Решение: Нетерова нейросеть.
- Новизна: Предложенная сеть учитывает симметрию
- Авторы: Эксперты - Северилов, Стрижов, консультант - Панченко
Задача 115
- Название: Дистилляция знаний в глубоких сетях и выравнивание моделей
- Авторы: Эксперт Бахтеев, Стрижов, консультант - Мария Горпинич
Задача 116
- Название: Нейронные дифференциальные уравнения для моделирования физической активности – выбор моделей
- Авторы: Эксперт, консультант - Эдуард Владимиров
Задача 117
- Название: Поиск зависимости и SSA, теорема Такенса
- Авторы: Эксперт Стрижов, консультант - Владимиров, Самохина
Задача 118
Denis
Задача 119
А.С. Хританков
Задача 120
- Название: Дифференцируемый алгоритм поиска ансамблей моделей глубокого обучения с контролем разнообразия
- Задача: Рассмотривается задача выбора ансамбля моделей. Требуется предложить метод контроля разнообразия базовых моделей на этапе применения.
- Данные: Fashion-MNIST, CIFAR-10, CIFAR-100 datasets
- Литература: [1] [Neural Architecture Search with Structure Complexity Control](https://easychair.org/publications/preprint/H5MC), [2] [Neural Ensemble Search via Bayesian Sampling](https://arxiv.org/pdf/2109.02533.pdf), [3] [DARTS: Differentiable Architecture Search](https://arxiv.org/pdf/1806.09055.pdf)
- Базовой алгоритм: В качестве базового алгоритма предлагается использовать DARTS [3].
- Решение: Для контроля разнообразия базовых моделей предлагается использовать гиперсеть [1], которая смещает структурные параметры в терминах дивергенции Йенсена—Шеннона. На этапе применения сэмплируются базовые архитектуры с заданным смещением для построения ансамбля.
- Новизна: Предложенный метод позволяет строить ансамбли с любым количеством базовых моделей без дополнительных вычислительных затрат относительно базового алгоритма.
- Авторы: К.Д. Яковлев, О.Ю. Бахтеев
Задача 121
Вл. Вановский задача по физикс-информед маншин лернинг?
Задача 122
Исаченко
Задача 123
- Название: Влияние локдауна на динамику распространения эпидемии
- Задача: Введение локдауна считается эффективной мерой по борьбе с эпидемией. Однако вопреки интуиции оказалось, что при определенных условиях локдаун может привести к росту эпидемии. Данный эффект отсутствует для классических моделей распространения эпидемии «в среднем», но был выявлен при моделировании эпидемии на графе контактов. Задача заключается в поиске формульных и количественных соотношений между параметрами, при которых локдаун может привести к росту эпидемии. Необходимо как выявить такие соотношения в моделях SEIRS/SEIR/SIS/etc на основе фреймворка распространения эпидений SEIRS+ (и ее модификации), так и теоретически обосновать соотношения, полученные из конкретных реализаций эпидении.
- Данные: Задача предполагает работу с модельными и синтетическими данными: имеются готовые данные, а также предполагается возможность генерации новых в процессе решения задачи. Данная задача относится к unsupervised обучению, поскольку реализация эпидемии на графе контактов имеет высокую долю случаныйх событий, а потому требует проводить анализ в среднем на многих синтетически сгенерированных реализациях эпидемии
- Литература:
- T. Harko, Francisco S. N. Lobo и M. Mak. «Exact analytical solutions of the
Susceptible-Infected-Recovered (SIR) epidemic model and of the SIR model with equal death and birth rates»
- https://github.com/ryansmcgee/seirsplus
- Авторы: А.Ю. Бишук, А.В. Зухба
Задача 125
Грабовой, Антиплагиат и команда
Задача 126
Рустем Исламов
Задача 127
Егор Шульгин
Задача 128
Название: Построение модели глубокого обучения в зависимости от данных задачи Задача: рассматривается задача оптимизации модели глубокого обучения для нового датасета. Требуется предложить метод оптимизации модели, позволяющий производить порождение новых моделей для нового датасета с небольшими вычислительными затратами. Данные: CIFAR10, CIFAR100 Литература: [1] вариационный вывод для нейронных сетей https://papers.nips.cc/paper/4329-practical-variational-inference-for-neural-networks.pdf [2] гиперсети https://arxiv.org/abs/1609.09106 [3] похожая работа заточенная под изменение модели в зависимости от заранее заданной сложности https://www.mathnet.ru/links/71cd2117ce84018e028a939bcd0e1507/ia710.pdf (по запросу скинем более новую версию) Базовой алгоритм: Переобучение модели напрямую. Решение: Предлагаемый метод заключается в представлении модели глубокого обучения в виде гиперсети (сети, которая генерирует параметры другой сети) с использованием байесовского подхода. Вводятся вероятностные предположения о параметрах моделей глубокого обучения, максимизируется вариационная нижняя оценка байесовской обоснованности модели. Вариационная оценка рассматривается как условная величина, зависящая от информации о данных задачи. Новизна: предложенный метод позволяет порождать модели в режиме one-shot (практически без переподготовки) для требуемой задачи, что значительно снижает затраты на оптимизацию и дообучение.
Ольга Гребенькова и Олег Бахтеев
Задача 129
- Название: * Название:Пространственно-временное прогнозирование с помощью сверточных сетей и тензорных разложений
- Описание проблемы: Породить набор сверток по имеющимся данным и выбрать лучшую с помощью методов снижения порядка и размерности пространств.
- Данные: Потребление и цена электроэнергии, океанические течения, движение барханов, воздушные потоки
- Литература
- Базовый алгоритм: Гусеница, тензорная гусеница.
- Решение: Найти мультиериодический временной ряд, построить его тензорное представление, разложить в спектр, собрать, показать прогноз.
- Новизна: Показать, что мультилинейная модель является удобным способом построения сверток для измерений в пространстве и времени.
- Авторы: Эксперт - Стрижов
Задача 130
- Авторы: Эксперт - Воронцов, консультант - Полина Потапова
Задача 131
- Авторы: Эксперт - Воронцов, консультант - Василий Алексеев
Задача 132
• Название: Ранжирование научных статей для полуавтоматического реферирования • Задача: Построить модель ранжирования, которая принимает на входе подборку текстов научных статей и выдаёт на выходе последовательность их упоминания в реферате. • Данные:
• В качестве обучающей выборки используются обзорные разделы (например, Introduction и Related Work) статей из коллекции S2ORC (81.1M англоязычных статей). Объект обучающей выборки – это последовательность ссылок на статьи из списка литературы, упоминаемые в обзорных разделах. Для каждого документа есть набор мета данных - год публикации, журнал, число цитирований, число цитирований автора и др. Также, имеется abstract и, возможно, полный текст статьи. • В качестве метрики используется Коэффициент ранговой корреляции Кендалла.
•Литература:
◦ Крыжановская С. Ю. «Технология полуавтоматической суммаризации тематических подборок научных статей» [1] ◦ Власов А. В. «Методы полуавтоматической суммаризации подборок научных статей» [2] ◦ Крыжановская С. Ю., Воронцов К. В. «Технология полуавтоматической суммаризации тематических подборок научных статей» стр. 371 ◦ S2ORC: The Semantic Scholar Open Research Corpus [3]
• Базовые алгоритмы:
◦ Попарные (pair-wise) методы ранжирования ◦ Градиентный бустинг
• Решение: Простейшим решением является ранжирование статей в хронологическом порядке, по году их публикации. Для решения задачи предлагается построить модель ранжирования на основе градиентного бустинга. В качестве признаков можно использовать год публикации, цитируемость статьи, цитируемость её авторов, семантическая близость публикации к обзору, к его локальному контексту, и т. д. • Новизна: Задача является первым этапом для полуавтоматического реферирования тематических подборок научных публикаций (machine aided human summarization, MAHS). После того, как сценарий реферата построен, система генерирует для каждой статьи фразы-подсказки, из которых пользователь выбирает фразы для продолжения своего реферата. • Автор: Крыжановская Светлана, Константин Воронцов
Задача 133
- Авторы: Эксперт - Воронцов, консультант - Николай Герасименко
Задача 134
- Название: Дистилляция моделей и данных
- Задача: Существует два подхода по дистилляции знаний. Первый подход - дистилляция моделей. В этом случае большую модель пытаются дистиллировать в маленькую модель с сохранением такого же уровня качества. Второй подход - дистилляция данных. В этом случае создается минимальный набор данных, для обучения модели до нужного качества. На данный момент нет решения, которое может реализовать одновременную дистилляцию модели и знаний.
- Данные: Выборка рукописных цифр MNIST, Выборка изображений CIFAR-10
- Литература: Список научных работ, дополненный 1) формулировкой решаемой задачи, 2) ссылками на новые результаты, 3) основной информацией об исследуемой проблеме.
- Базовой алгоритм: Базовое решение по дистилляции модели - дистилляция Хинтона Базовое решение по дистилляции датасетов - Dataset distillation.
- Решение: Предлагаемое решение задачи и способы проведения исследования. Способы представления и визуализации данных и проведения анализа ошибок, анализа качества алгоритма.
- Новизна: Новизна работы заключается в соединении двух подходов по дистилляции
- Авторы: Андрей Филатов