Автоматизация научных исследований в машинном обучении (практика, В.В. Стрижов)

Материал из MachineLearning.

Основная статья: Численные методы обучения по прецедентам (практика, В.В. Стрижов)

Домашние задания, анкеты и материалы по курсу находятся на основной странице Короткий адрес этой страницы http://bit.ly/AutomationML

Расписание, весна 2019

Расписание упрощено.

Дата		N	Что сделать	Результат для обсуждения	Буква-оценка
Февраль	8	1	Порождение расширенного признакового пространства, софткомпьютинг	Анализ пространства	—
	15	2	Ручное порождение признаков или автоматическое	Сравнительный анализ	—
	22	3	Работа над основным алгоритмом	Описание нового алгоритма	—
Март	1	4	Анализ адекватности модели, ансамбли и мульти-моделирование	Мультимодель	—
	8 ВД	5	Анализ скорости сходимости алгоритма: теоретический и эмпирический	График сходимости	—
	15	6	Анализ сложности алгоритма: теоретический и эмпирический	График сложности (профилирование)	—
	22	7	Создание набора внешних критериев, дообучение	Набор критериев и алгоритм оптимизации	—
	29	8 KP1	Планирование финального эксперимента. Планирование библиотеки, создание юнит-тестов	Тест-свит	—
Апрель	5	9	Есть код эксперимента. Он отделяем от автора, протестирован. В коде есть демо, его легко найти и запустить	Код эксперимента	Code
	12	10 KP2	Анализ результатов, текст статьи в целом дописан	Текст	Text
	19	11	Создание слайдов, оформление результатов эксперимента	Презентация	sLides
	26	12 KP3	Подготовка предентации	Сама презентация пройдет 26 мая	Show
	17	15	Завершение проектов, приведение результатов в вид, отделяемый от автора	Статья подготовлена к подаче в журнал до даты выставления оценок 17 мая	Journal

Расписание, осень 2018

Дата		N	Что сделать	Результат для обсуждения	Буква-оценка
Сентябрь	3	1	Обсудить организацию работы, инструменты, регистрацию	Репозиторий	ДЗ-1
	10	2	Решить пробную задачу	Запуск модели машинного обучения	ДЗ-2
	17	3	Сделать пробный анализ ошибки	График функции ошибки, ее стандартного отклонения	ДЗ-3
	24	4	Запустить нейронную сеть	График кривой обучения	ДЗ-4
Октябрь	1	5	Выбрать проект, обсудить цели и планы	Черновик аннотации	Abstract
	8	6	Собрать литературу, погрузится в тематику проекта	Материалы введения LinkReview, литература в bib-файле	Literature
	15	7	Написать обзор литературы, включить анализ и общую постановку задачи	Введение со ссылками на литературу	Introduction
	22	8	Поставить задачу: описать выборку, алгебраические структуры, выдвинуть статистические гипотезы, вывести функцию ошибки, назначить критерии качества, выбрать оптимизационный алгоритм	Постановка задачи	Problem
	29	9	Описать базовый алгоритм, проанализировать его свойства, перечислить модели-претенденты	Описание базового алгоритма	Basic code
Ноябрь	5	10	Распланировать базовый вычислительный эксперимент, построить синтетическую выборку	Описание эксперимента	Design of experiment
	12	11	Поставить вычислительный эксперимент на синтетической выборке, проанализировать ошибку	Анализ ошибки: таблицы, графики и выводы	Error
	19	12	Поставить вычислительный эксперимент на реальной выборке, проанализировать модель	Анализ пространства параметров, гиперпараметров, структуры модели	Hyperparameters
	26	13	Выбрать модель из класса моделей, сравнить модели-претенденты на различных выборках по разным критериям качества	Обоснованная модель с известными свойствами (таблица-куб «модели-выборки-критерии»)	Model
Декабрь	3	14	Завершить эксперимент, создать рукопись-технический отчет для показа	Рукопись в варианте для рецензирования	Report
	10	15	Проанализировать результаты выполненных работ	Завершенный базовый проект

Проекты: результаты

Таблица заполняется в рамках Домашнего задания A. Члены команды ставят ссылки на свои рукописи в формате pdf.

Номер	Название проекта	Материалы	Команда
0	(пример) Метрическая классификация временных рядов	code, LinkReview, Discussion	Алексей Гончаров*, Максим Савинов
1	Прогнозирование направления движения цены биржевых инструментов по новостному потоку0	Code, LinkReview, Slides, Report	Александр Борисов, Дробин Максим, Говоров Иван, Мухитдинова София, Валентин Родионов, Валентин Ахияров
2	Построение опорных объектов для множества многомерных временных рядов	Code LinkReview	Исхаков Ришат, Корепанов Георгий, Степан Солоднев Самирханов Данил
3	Динамическое выравнивание многомерных временных рядов	Code LinkReview Slides Report	Глеб Моргачев, Владислав Смирнов, Татьяна Липницкая
4	Автоматическая настройка параметров АРТМ под широкий класс задач	Code, LinkReview, Presentation	Голубева Татьяна, Иванова Екатерина, Матвеева Светлана, Трусов Антон, Царицын Михаил, Черноног Вячеслав
5	Нахождение парафразов	Code, LinkReview	Stas Okrug, Nikita Mokrov Fedor Kitashov, Polina Proskura, Natalia Basimova, Roman Krasnikov, Akhmedkhan Shabanov
6	On conformational changes of proteins using collective motions in torsion angle space and L1 regularization	Code, LinkReview Presentation	Ryabinina Raisa, Emtsev Daniil
7	Privileged training in the problem of approximating the borders of the iris	Code, LinkReview	Pavel Fedosov, Alexey Gladkov, Genrikh Kenigsberger, Ivan Korostelev, Nikolay Balakin
8	Порождение признаков с помощью локально-аппроксимирующих моделей	Code, LinkReview	Ибрагим Курашов, Наиль Гильмутдинов, Альберт Мулюков, Валентин Спивак
9	Распознавание текста на основе скелетного представления толстых линий и сверточных сетей	Code, LiteratureReview, Slides, report	Kutsevol Polina Lukoyanov Artem Korobov Nikita Boyko Alexander Litovchenko Leonid Valukov Alexandr Badrutdinov Kamil Yakushevskiy Nikita Valyukov Nikolay Tushin Kirill
10	Сравнение нейросетевых и непрерывно-морфологических методов в задаче детекции текста	Code, LinkReview, Discussion, Presentation	Гайдученко Николай Торлак Артём Акимов Кирилл Миронова Лилия Гончар Даниил
11	Автоматическое построение нейросети оптимальной сложности	Code, LinkReview, report, slides	Николай Горян Александр Улитин Товкес Артем Таранов Сергей Губанов Сергей Криницкий Константин Забазнов Антон Валерий Маркин
12	Обучение машинного перевода без параллельных текстов.	Code, LinkReview, Отчет, Слайды	Александр Артеменков Ангелина Ярошенко Андрей Строганов Егор Скиднов Анастасия Борисова Рябов Федор Мазуров Михаил
13	Глубокое обучение для предсказания вторичной структуры РНК	Code Link Review	Дорохин Семён Пастухов Сергей Пикунов Андрей Нестерова Ирина Курилович Анна chat
14	Deep Learning for reliable detection of tandem repeats in 3D protein structures	Code Link Review	Веселова Евгения
15	Формулировка и решение задачи оптимизации, сочетающей классификацию и регрессию, для оценки энергии связывания белка и маленьких молекул	Code Link Review	Меркулова Анастасия Плумите Эльвира Жибоедова Анастасия chat
16	Оценка оптимального объема выборки для исследований в медицине	Code Link Review	Артемий Харатян, Михаил Михеев, Евгин Александр, Сеппар Александр, Коноплёв Максим, Мурлатов Станислав, Макаренко Степан
17	Прогнозирование намерений. Исследование свойств локальных моделей при пространственном декодировании сигналов головного мозга	Code, LinkReview, Presentation	Наталия Болоболова, Алина Самохина, Шиянов Вадим
18	Прогнозирование намерений. Построение оптимальной модели декодирования сигналов при моделировании нейрокомпьютерного интерфейса.	Code, LinkReview, Presentation, Article	Иван Наседкин, Галия Латыпова, Нестор Суходольский, Александр Шеменев Иван Бородулин,
19	Исследование зависимости качества распознавания онтологических объектов от глубины гипонимии.	Code, Report, LinkReview, Presentation	Вячеслав Резяпкин, Алексей Русскин, Виктория Дочкина, Мирон Кузнецов, Ярмошик Демьян
20	Сравнение качества end-to-end обучаемых моделей в задаче ответа на вопросы в диалоге с учетом контекста	Code LinkReview Отчет, Presentation	Агафонов Алексей, Рякин Илья,Литвиенко Владимир, Хохлов Иван, Великовский Никита, Ануфриенко Олег
21	Методы выпуклой оптимизации высокого порядка	Code, LinkReview, Slides	Селиханович Даниил, Соколов Игорь
23	Фрактальный анализ и синтез оптических изображений морского волнения	code, LinkReview, Presentation report	Каныгин Юрий
24	Максимизация энтропии при различных видах преобразований над изображением	code, LinkReview, report, slides	Никита Воскресенский, Алиса Шабалина, Ярослав Мурзаев, Алексей Хохлов, Алексей Казаков, Ольга Грибова, Александр Белозерцев
25	Автоматическое детектирование и распознавание объектов на изображениях	code, code_A, Slides_for_demo, Report2018Project25_30 Report2018Project25_31 slides_30 slides_25_31 LinkReview	Юлия Демидова Иван Разумов Владислав Томинин Ярослав Томинин Никита Дудоров Леонид Ерлыгин Прошутинский Дмитрий Баймаков Владимир Зубков Александр Черненкова Елена
26	Определение местоположения по сигналам акселерометра	Code, LinkReview, Слайды, Текст	Эльвира Зайнулина Фатеев Дмитрий Виталий Протасов Никита Божедомов
28	Мультимоделирование как универсальный способ описания выборки общего вида	Code, Linkreview, Slides, report	Владимир Качанов Евгения Стрелкова
29	Cross-Language Document Extractive Summarization with Neural Sequence Model	Code, Linkreview, Отчет, Слайды	Павел Захаров Павел Кваша Евгений Дьячков Евгений Петров Илья Сельницкий
31	Pairwise energy matrix construction for inverse folding problem	Code, LinkReview Report Slides	Рубинштейн Александр
32	Smooth orientation-dependent scoring function	Code Отчёт	Носкова Елизавета Качков Сергей Сидоренко Антон

Содержание 1 Расписание, весна 2019 2 Расписание, осень 2018 2.1 Проекты: результаты 3 Задачи 3.1 Задача 1 3.2 Задача 2 3.3 Задача 3 3.4 Задача 4 3.5 Задача 5 3.6 Задача 6 3.7 Задача 7 3.8 Задача 8 3.9 Задача 9 3.10 Задача 10 3.11 Задача 11 3.12 Задача 12 3.13 Задача 13 3.14 Задача 14 3.15 Задача 15 3.16 Задача 16 3.17 Задача 17 3.18 Задача 18 3.19 Задача 19 3.20 Задача 20 3.21 Задача 21 3.22 Задача 22 3.23 Задача 23 3.24 Задача 24 3.25 Задача 25 3.26 Задача 26 3.27 Задача 27 3.28 Задача 28 3.29 Задача 29 3.30 Задача 30 3.31 Задача 31

Задачи

Задача 1

• Название: Прогнозирование направления движения цены биржевых инструментов по новостному потоку.
• Задача: Построить и исследовать модель прогнозирования направления движения цены. Задано множество новостей S и множество временных меток T, соответствующих времени публикации новостей из S. 2. Временной ряд P, соответствующий значению цены биржевого инструмента, и временной ряд V, соответствующий объему продаж по данному инструменту, за период времени T'. 3. Множество T является подмножеством периода времени T'. 4. Временные отрезки w=[w0, w1], l=[l0, l1], d=[d0, d1], где w0 < w1=l0 < l1=d0 < d1. Требуется спрогнозировать направление движения цены биржевого инструмента в момент времени t=d0 по новостям, вышедшим в период w.
• Данные:
  1. Финансовые данные: данные о котировках (с интервалом в один тик) нескольких финансовых инструментов (GAZP, SBER, VTBR, LKOH) за 2 квартал 2017 года с сайта Finam.ru; для каждой точки ряда известны дата, время, цена и объем.
  2. Текстовые данные: экономические новости за 2 квартал 2017 года от компании Форексис; каждая новость является отдельным html файлом.
• Литература:
  1. Usmanova K.R., Kudiyarov S.P., Martyshkin R.V., Zamkovoy A.A., Strijov V.V. Analysis of relationships between indicators in forecasting cargo transportation // Systems and Means of Informatics, 2018, 28(3).
  2. Kuznetsov M.P., Motrenko A.P., Kuznetsova M.V., Strijov V.V. Methods for intrinsic plagiarism detection and author diarization // Working Notes of CLEF, 2016, 1609 : 912-919.
  3. Айсина Роза Мунеровна, Тематическое моделирование финансовых потоков корпоративных клиентов банка по транзакционным данным, выпускная квалификационная работа.
  4. Lee, Heeyoung, et al. "On the Importance of Text Analysis for Stock Price Prediction." LREC. 2014.
• Базовый алгоритм: Метод, использованный в статье (4).
• Решение: Использование тематического моделирования (ARTM) и локальных аппроксимирующих моделей для перевода последовательности текстов, соответствующих различным временным меткам, в единое признаковое описание. Критерий качества: F1-score, ROC AUC, прибыльность используемой стратегии.
• Новизна: Для обоснования связи временных рядов предлагается метод Сходящегося перекрестного отображения.
• Авторы: Иван Запутляев (консультант), В.В. Стрижов, К.В. Воронцов (эксперты)

Задача 2

• Название: Исследование опорных объектов в задаче метрической классификации временных рядов.
• Задача: Функция DTW - это расстояние между двумя временными рядами, которые могут быть нелинейно деформированы друг относительно друга. Она ищет наилучшее выравнивание между двумя объектами, поэтому ее можно использовать в задаче метрической классификации объектов. Один из методов решения задачи метрической классификации - измерение расстояний до опорных объектов и использование вектора этих расстояний в качестве признакового описания объекта. Метод DBA - это алгоритм построения центроидов (опорных объектов) для временных рядов на основе расстояния DTW. При построении расстояния между временным рядом и центроидом различные пары значений (например пиковые значения) более характерны для одного из классов, и влияние таких совпадений на значение расстояния должна быть выше.

Необходимо исследовать различные способы построения опорных объектов, а также определение их оптимального числа. Критерием является качество работы метрического классификатора в задаче. В методе DBA для каждого центроида предлагается создавать вектор весов, который демонстрирует "значимость" измерений центриода, и использовать его в модифицированной функции расстояния weighted-DTW.

• Данные: Данные описывают 6 классов временных рядов с акселерометра мобильного телефона. https://sourceforge.net/p/mlalgorithms/code/HEAD/tree/Group274/Goncharov2015MetricClassification/data/
• Литература:
  1. DTW: http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.215.7850&rep=rep1&type=pdf
  2. DBA: https://hal.sorbonne-universite.fr/hal-01630288/document
  3. weighted DTW: http://www.mathnet.ru/php/archive.phtml?wshow=paper&jrnid=ia&paperid=414&option_lang=rus
• Базовый алгоритм: Реализовать базовые методы:
  1. Выбор подмножества объектов обучающей выборки как опорных
  2. Предварительная обработка аномальных объектов
  3. Кластеризация объектов обучающей выборки для построения центроидов внутри кластера
  4. Использование метода DBA для построения опорных объектов
  5. Использование методов численной оптимизации для поиска оптимального вектора весов с заданными ограничениями
• Решение: Расширение типов ограничений на вид вектора весов: бинарный вектор, одинаковый вектор для всех центроидов, бинарный одинаковый вектор для всех центроидов. Такое решение позволит экономить затраты энергии при работе датчиков мобильного устройства.

Исследование литературы и комбинация up-to-date методов.

• Новизна: Не проводилось комплексного исследования различных способов построения центроидов и опорных элементов вместе с выбором их оптимального числа.
• Авторы: Алексей Гончаров.

Задача 3

• Название: Динамическое выравнивание многомерных временных рядов.
• Задача: Характерным многомерным временным рядом является траектория точки в 3х-мерном пространстве. Две траектории необходимо выравнивать оптимальным образом друг относительно друга. Для этого используется расстояние DTW между двумя временными рядами. В классическом представлении DTW строится между одномерными временными рядами. Необходимо ввести различные модификации алгоритма для работы со временными рядами высокой размерности: траекториями, кортикограммами.
• Данные: Данные описывают 6 классов временных рядов с акселерометра мобильного телефона. https://sourceforge.net/p/mlalgorithms/code/HEAD/tree/Group274/Goncharov2015MetricClassification/data/
• Литература:
  1. Multidimensional DTW: https://pdfs.semanticscholar.org/76d3/5bd5a52453ebde80faaa1467d7effd74426f.pdf
• Базовый алгоритм: Использование L_p расстояний между двумя измерениями временного ряда, их модификаций.
• Решение: Исследование расстояний, устойчивых к изменению порядка координат, исследований расстояний неустойчивых к изменению порядка координат. Эксперименты с другими видами расстояний (косинусное, RBF, прочие).
• Новизна: Нет полного обзора и исследования методов работы с многомерными временными рядами. Не исследована зависимость качества решения от подобранных расстояний между измерениями.
• Авторы: Алексей Гончаров.

Задача 4

• Название: Автоматическая настройка параметров АРТМ под широкий класс задач.
• Задача: Открытая библиотека bigARTM позволяет строить тематические модели, используя широкий класс возможных регуляризаторов. Однако такая гибкость приводит к тому, что задача настройки коэффициентов оказывается очень сложной. Эту настройку можно значительно упростить, используя механизм относительных коэффициентов регуляризации и автоматический выбор N-грамм. Нужно проверить гипотезу о том, что существует универсальный набор относительных коэффициентов регуляризации, дающий "достаточно хорошие" результаты на широком классе задач. Дано несколько датасетов с каким-то внешним критерием качества (например, классификация документов по категориям или ранжирование). Находим лучшие параметры для конкретного датасета, дающие "локально лучшую модель". Находим алгоритм инициализации bigARTM, производящий тематические модели с качеством, сравнимым с "локально лучшей моделью" на её датасете. Критерий сравнимости по качеству: на данном датасете качество "универсальной модели" не более чем на 5% хуже, чем у "локально лучшей модели".
• Данные: Victorian Era Authorship Attribution Data Set, 20 Newsgroups, МКБ-10, триплеты для поиска/ранжирования.
• Литература:
  1. ВКР Никиты Дойкова: http://www.machinelearning.ru/wiki/images/9/9f/2015_417_DoykovNV.pdf
  2. Презентация Виктора Булатова на научном семинаре: https://drive.google.com/file/d/19pJ21LRPeeOxY4mkcSnQCRm93zOO4J5b/view
  3. Черновик с формулами: https://drive.google.com/open?id=1AqS7snUsSJ18ZYBtC-6uP_2dMTDJSGeD
• Базовый алгоритм: PLSA / LDA / логрегрессия.
• Решение: bigARTM с фоновыми темами и регуляризаторами сглаживания, разреживания и декорреляции (коэффициенты подобраны автоматически), а также с автоматически выделенными N-граммами.
• Новизна: Потребность в автоматизированной настройке параметров модели и отсутствие подобных реализаций в научном сообществе.
• Авторы: консультант Виктор Булатов, эксперт К.В. Воронцов.

Задача 5

• Название: Нахождение парафразов.
• Задача: Парафразы — разные вариации одного и того же текста, одинаковые по смыслу, но отличающиеся лексически и грамматически, например: "Куда поехала машина" и "В каком направлении поехал автомобиль". Задача детектирования парафразов заключается в выделении в множестве текстов кластеров, таких что в каждом кластере содержатся только парафразы одного и того же предложения.

Самый простой способ выделения парафразов — кластеризация текстов, где каждый текст представлен "мешком слов".

• . Данные: Есть открытые датасеты вопросов для тестирования и обучения на kaggle.com, есть открытые данные для тестирования с конференций semeval.
• Литература:
  1. Будет позже
• Базовый алгоритм: Использовать для выделения парафразов какой-нибудь из алгоритмов кластеризации документов, где каждый документ представлен мешком слов или tf-idf.
• Решение: Использовать нейросетевые архитектуры для поиска парафразов, использовать в качестве признаков словосочетания, выделенные с помощью синтаксических анализаторов, использовать многоуровневую кластеризацию.
• Новизна: Отсутствие реализаций для русского языка, которые будут использовать синтаксические анализаторы для подобной задачи, все текущие решения достаточно "просты".
• Авторы: Артём Попов.

Задача 6

• Название: On conformational changes of proteins using collective motions in torsion angle space and L1 regularization.
• Задача: Torsion angles are the most natural degrees of freedom for describing motions of polymers, such as proteins. This is because bond lengths and bond angles are heavily constrained by covalent forces. Thus, multiple attempts have been done to describe protein dynamics in the torsion angle space. For example, one of us has developed an elastic network model (ENM) [1] in torsion angle space called Torsional Network Model (TNM) [2]. Functional conformational changes in proteins can be described in the Cartesian space using just a subset of collective coordinates [3], or even a sparse representation of these [4]. The latter requires a solution of a LASSO optimization problem [5]. The goal of the current project is to study if a sparse subset of collective coordinates in the torsion subspace can describe functional conformational changes in proteins. This will require a solution of a ridge regression problem with a L1 regularization constraint. The starting point will be the LASSO formulation.
• . Данные: Experimental conformations will be extracted from the Protein Docking Benchmark v5 (https://zlab.umassmed.edu/benchmark/) and a few others. The TNM model can be downloaded from https://ub.cbm.uam.es/tnm/tnm_soft_main.php
• Литература:
  1. Tirion MM. (1996) Large Amplitude Elastic Motions in Proteins from a Single-Parameter, Atomic Anal- ysis. Phys Rev Lett. 77:1905–1908.
  2. Mendez R, Bastolla U. (2011) Torsional network model: normal modes in torsion angle space better correlate with conformation changes in proteins. Phys Rev Lett. 2010 104:228103.
  3. SwarmDock and the use of normal modes in protein-protein docking. IH Moal, PA Bates - International journal of molecular sciences, 2010
  4. Modeling protein conformational transition pathways using collective motions and the LASSO method. TW Hayes, IH Moal - Journal of chemical theory and computation, 2017
  5. https://en.wikipedia.org/wiki/Lasso_(statistics)
  6. E. Frezza, R. Lavery, Internal normal mode analysis (iNMA) applied to protein conformational flexibility, Journal of Chemical Theory and Computation 11 (2015) 5503–5512.
• Базовый алгоритм: The starting point will be a combination of methods from references 2 and 4. It has to be a LASSO formulation with the direction vectors reconstructed from the internal coordinates. The quality will be computed based on the RMSD measure between the prediction and the solution on several benchmarks. Results will be presented with statistical plots (see examples in references 3-4.
• Новизна: This is an important and open question in computational structural bioinformatics - how to efficiently represent transitions between protein structures. Not much has been done in the torsional angle subspace (internal coordinates)[6] and nearly nothing has been done using L1 regularization [4].
• Авторы: Ugo Bastolla on the torsional subspace (https://ub.cbm.uam.es/home/ugo.php), Sergei Grudinin on L1 minimization (https://team.inria.fr/nano-d/team-members/sergei-grudinin/)

Задача 7

• Название: Привилегированное обучение в задаче аппроксимации границ радужки глаза
• Задача: По изображению человеческого глаза определить окружности, аппроксимирующие внутреннюю и внешнюю границу радужки.
• Данные: Растровые монохромные изображения, типичный размер 640*480 пикселей (однако, возможны и другие размеры)[1], [2].
• Литература:
  • Адуенко А.А. Выбор мультимоделей в задачах классификации (научный руководитель В.В. Стрижов). Московский физико-технический институт, 2017. [3]
  • К.А.Ганькин, А.Н.Гнеушев, И.А.Матвеев Сегментация изображения радужки глаза, основанная на приближенных методах с последующими уточнениями // Известия РАН. Теория и системы управления, 2014, № 2, с. 78–92.
  • Duda, R. O. Use of the Hough transformation to detect lines and curves in pictures / R. O. Duda, P. E. Hart // Communications of the ACM. 1972. Vol. 15, no. 1. Pp.
• Базовый алгоритм: Ефимов Юрий. Поиск внешней и внутренней границ радужки на изображении глаза методом парных градиентов, 2015.
• Решение: См. Iris_circle_problem.pdf
• Новизна: Предложен быстрый беспереборный алгоритм аппроксимации границ с помощью линейных мультимоделей. Дополнительно капсульные нейросети.
• Консультант: Радослав Нейчев (автор Стрижов В.В., эксперт Матвеев И.А.)

Задача 8

• Название: Порождение признаков с помощью локально-аппроксимирующих моделей (Классификация видов деятельности человека по измерениям фитнес-браслетов).
• Задача: Требуется проверить выполнимость гипотезы о простоте выборки для порожденных признаков. Признаки - оптимальные параметры аппроксимирующих моделей. При этом вся выборка не является простой и требует смеси моделей для ее аппроксимации. Исследовать информативность порожденных признаков - параметров аппроксимирующих моделей, обученных на сегментах исходного временного ряда. По измерениям акселерометра и гироскопа требуется определить вид деятельности рабочего. Предполагается, что временные ряды измерений содержат элементарные движения, которые образуют кластеры в пространстве описаний временных рядов. Характерная продолжительность движения – секунды. Временные ряды размечены метками вида деятельности: работа, отдых. Характерная продолжительность деятельности – минуты. Требуется по описанию временного ряда и кластера восстановить вид деятельности.
• Данные: Временные ряды акселерометра WISDM (Временной ряд (библиотека примеров), раздел Accelerometry).
  • WISDM (Kwapisz, J.R., G.M. Weiss, and S.A. Moore. 2011. Activity recognition using cell phone accelerometers. ACM SigKDD Explorations Newsletter. 12(2):74–82.), USC-HAD или сложнее. Данные акселерометра (Human activity recognition using smart phone embedded sensors: A Linear Dynamical Systems method, W Wang, H Liu, L Yu, F Sun - Neural Networks (IJCNN), 2014)
• Литература:
  • Motrenko A.P., Strijov V.V. Extracting fundamental periods to segment human motion time series // Journal of Biomedical and Health Informatics, 2016, Vol. 20, No. 6, 1466 - 1476. URL
  • Карасиков М.Е., Стрижов В.В. Классификация временных рядов в пространстве параметров порождающих моделей // Информатика и ее применения, 2016.URL
  • Кузнецов М.П., Ивкин Н.П. Алгоритм классификации временных рядов акселерометра по комбинированному признаковому описанию // Машинное обучение и анализ данных. 2015. T. 1, № 11. C. 1471 - 1483. URL
  • Исаченко Р.В., Стрижов В.В. Метрическое обучение в задачах многоклассовой классификации временных рядов // Информатика и ее применения, 2016, 10(2) : 48-57. URL
  • Задаянчук А.И., Попова М.С., Стрижов В.В. Выбор оптимальной модели классификации физической активности по измерениям акселерометра // Информационные технологии, 2016. URL
  • Ignatov A., Strijov V. Human activity recognition using quasiperiodic time series collected from a single triaxial accelerometer // Multimedia Tools and Applications, 2015, 17.05.2015 : 1-14. URL
• Базовый алгоритм: Базовый алгоритм описан в работах [Карасиков, Стрижов: 2016] и [Кузнецов, Ивкин: 2014].
• Решение: Требуется построить набор локально-аппроксимирующих моделей и выбрать наиболее адекватные. Найти оптимальный способ сегментации и оптимальное описание временного ряда. Построить метрическое пространство описаний элементарных движений.
• Новизна: Создан стандарт построения локально-аппроксимирующих моделей. Соединение двух характеристических времен описания жизни человека, комбинированная постановка задачи.
• Авторы: Р.Г. Нейчев, В.В. Стрижов, Олег Терехов (ответственный)

Задача 9

• Название: Распознавание текста на основе скелетного представления толстых линий и сверточных сетей
• Задача: Требуется построить две CNN, одна распознает растровое представление изображения, другая векторное.
• Данные: Шрифты в растровом представлении.
• Литература: Список работ [4], в частности arXiv:1611.03199 и
  • Goyal P., Ferrara E. Graph embedding techniques, applications, and performance: A survey. arXiv:1705.02801, 2017.
  • Cai H., Zheng V.W., Chang K.C.-C. A comprehensive survey of graph embedding: Problems, techniques and applications. arXiv:1709.07604, 2017.
  • Grover A., Leskovec J. node2vec: Scalable Feature Learning for Networks. arXiv:1607.00653, 2016.
  • Mestetskiy L., Semenov A. Binary Image Skeleton - Continuous Approach // Proceedings 3rd International Conference on Computer Vision Theory and Applications, VISAPP 2008. P. 251-258. URL
  • Кушнир О.А., Середин О.С., Степанов А.В. Экспериментальное исследование параметров регуляризации и аппроксимации скелетных графов бинарных изображений // Машинное обучение и анализ данных. 2014. Т. 1. № 7. С. 817-827. URL
  • Жукова К.В., Рейер И.А. Связность базового скелета и параметрический дескриптор формы // Машинное обучение и анализ данных. 2014. Т. 1. № 10. С. 1354-1368. URL
  • Kushnir O., Seredin O. Shape Matching Based on Skeletonization and Alignment of Primitive Chains // Communications in Computer and Information Science. 2015. V. 542. P. 123-136. URL
• Базовый алгоритм: Сверточная сеть для растрового изображения.
• Решение: Требуется предложить способ свертывания графовых структур, позволяющий породить информативное описание скелета толстой линии.
• Новизна: Предложен способ повышения качества распознавания толстых линий за счет нового способа порождения их описаний.
• Авторы: Илья Жариков (эксперты Л.М. Местецкий, И.А. Рейер, В.В. Стрижов)

Задача 10

• Название: Сравнение нейросетевых и непрерывно-морфологических методов в задаче детекции текста (Text Detection).
• Задача: Automatically Detect Text in Natural Images.
• Данные: синтетические сгенерированные данные + подготовленная выборка фотографий + COCO-Text dataset + Конкурс Avito 2014.
• Литература: COCO benchmark, One of a state-of-the-art architecture
• Базовой алгоритм: code + морфологические методы, Avito 2014 winner’s solution.
• Решение: Предлагается сравнить работы нескольких state-of-the-art алгоритмов, которым нужна обширная обучающая выборка, с морфологическими методы, требующие небольшого числа данных. Предлагается определить границы применимости тех или иных методов.
• Новизна: предложить алгоритм, основанный на использовании как нейросетевых, так и морфологических методов (решение задачи word detection).
• Авторы: И. Н. Жариков.
• Эксперт: Л. М. Местецкий (морфологические методы).

Задача 11

• Название: Автоматическое построение нейросети оптимальной сложности
• Задача: Рассматривается задача нахождения устойчивой (и не избыточной по параметрам) структуры нейросети. Нейросеть рассматривается как вычислительный граф, ребрами которого выступают примитивные функции, а вершинами --- промежуточные представления выборки, полученные под действием этих функций. Требуется выбрать подграф модели, при котором итоговая нейросеть будет давать приемлемое качество классификации при небольшом количестве параметров.
• Данные: Выборки Boston, MNIST, CIFAR-10
• Литература:
  1. Бахтеев О.Ю., Стрижов В.В. Выбор моделей глубокого обучения субоптимальной сложности с использованием вариационной оценки правдоподобия // Автоматика и телемеханика, 2018.
  2. Смердов А.Н., Бахтеев О.Ю., Стрижов В.В. Выбор оптимальной модели рекуррентной сети в задачах поиска парафраза // Информатика и ее применения, 2018.
  3. [5] Вариационный вывод.
  4. [6] Релаксация на основе вариационного вывода.
  5. [7] DARTS.
• Базовый алгоритм: случайный поиск и алгоритм DARTS (выбор модели с использованием релаксации без вариационного вывода).
• РешениеПредлагается выбирать структуру нейросети на основе вариационного вывода. Для выбора оптимальной структуры используется релаксация: от строго выбора одной из нескольких рассматриваемых подмоделей нейросети предлагается перейти к композиции этих моделей с различным весом каждой из них.
• Новизна: Предложен метод автоматического построения модели, учитывающий неточности при оптимизации параметров модели и позволяющий находить наиболее устойчивые модели.
• Авторы: О.Ю. Бахтеев, В.В. Стрижов, координаторы А.В. Грабовой, Г.С. Малиновский

Задача 12

• Название: Обучение машинного перевода без параллельных текстов.
• Задача: Рассматривается задача построения модели перевода текста без использования параллельных текстов, т.е. пар одинаковых предложений на разных языках. Данная задача возникает при построении моделей перевода для низкоресурсных языков (т.е. языков, для которых данных в открытом доступе немного).
• Данные: Выборка статей из Wikipedia на двух языках.
• Литература:
  • [8] Unsupervised Machine Translation Using Monolingual Corpora Only
  • [9] Sequence to sequence.
  • [10] Autoencoding.
  • [11] Training with Monolingual Training Data.
• Базовый алгоритм: Unsupervised Machine Translation Using Monolingual Corpora Only.
• Решение: В качестве модели перевода предлагается рассмотреть кобминацию двух автокодировщиков, каждый из которых отвечает за представление предложений на одном из языков. Оптимизация моделей проводится таким образом, чтобы скрытые пространства автокодировщиков для разных языков совпадали. В качестве исходного представления предложений предлагается рассматривать их графовое описание, получаемое с использованием мультиязычных онтологий.
• Новизна: Предложен способ построения модели перевода с учетом графовых описаний предложений.
• Авторы: А.В. Грабовой, О.Ю. Бахтеев, В.В. Стрижов, Eric Gaussier, координатор Г.С Малиновский

Задача 13

• Название: Deep learning for RNA secondary structure prediction
• Задача: RNA secondary structure is an important feature which defines RNA functional properties. Its importance can be illustrated by the fact, that it is evolutionary preserved and some types of functional RNAs always have the same secondary structure, for example all tRNAs fold into cloverleaf. As secondary structure often defines functions, knowing RNAs secondary structure may help investigate functions of novel RNA molecules. RNA folding is not as easy as DNA folding, because RNA is single stranded molecule which forms complicated base-pairing interactions, while DNA mostly exists as fully base paired double helices. Current methods of RNA structure prediction rely on experimentally evaluated thermodynamic rules, but with thermodynamics alone only 80% of structures can be accurately predicted. We propose an AI-driven method for predicting RNA secondary structure inspired by neural machine translation model.
• Данные: RNA sequences in form of strings of characters
• Литература: https://arxiv.org/abs/1609.08144
• Базовый алгоритм: https://www.ncbi.nlm.nih.gov/pubmed/16873527
• Решение: Deep learning recurrent encoder-decoder model with attention
• Новизна: Currently RNA secondary structure prediction still remains unsolved problem and to the best of our knowledge DL approach has never been introduced in the literature before
• Авторы: Мария Попова, консультант Филипп Никитин

Задача 14

• Название: Deep Learning for reliable detection of tandem repeats in 3D protein structures подробнее в PDF
• Задача: Deep learning algorithms pushed computer vision to a level of accuracy comparable or higher than a human vision. Similarly, we believe that it is possible to recognize the symmetry of a 3D object with a very high reliability, when the object is represented as a density map. The optimization problem includes i) multiclass classification of 3D data. The output is the order of symmetry. The number of classes is ~10-20 ii) multioutput regression of 3D data. The output is the symmetry axis (a 3-vector). The input data are typically 24x24x24 meshes. The total amount of these meshes is of order a million. Biological motivation : Symmetry is an important feature of protein tertiary and quaternary structures that has been associated with protein folding, function, evolution, and stability. Its emergence and ensuing prevalence has been attributed to gene duplications, fusion events, and subsequent evolutionary drift in sequence. Methods to detect these symmetries exist, either based on the structure or the sequence of the proteins, however, we believe that they can be vastly improved.
• Данные: Synthetic data are obtained by ‘symmetrizing’ folds from top8000 library (http://kinemage.biochem.duke.edu/databases/top8000.php).
• Литература: Our previous 3D CNN: [12] Invariance of CNNs (and references therein): [13], [14]
• Базовый алгоритм: A prototype has already been created using the Tensorflow framework [4], which is capable to detect the order of cyclic structures with about 93% accuracy. The main goal of this internship is to optimize the topology of the current neural network prototype and make it rotational and translational invariant with respect to input data. [4] [15]
• Решение: The network architecture needs to be modified according to the invariance properties (most importantly, rotational invariance). Please see the links below [16], [17] The code is written using the Tensorflow library, and the current model is trained on a single GPU (Nvidia Quadro 4000)of a desktop machine.
• Новизна: Applications of convolutional networks to 3D data are still very challenging due to large amount of data and specific requirements to the network architecture. More specifically, the models need to be rotationally and transnationally invariant, which makes classical 2D augmentation tricks loosely applicable here. Thus, new models need to be developed for 3D data.
• Авторы: эксперт Sergei Grudinin, консультанты Guillaume Pages

Задача 15

• Название: Формулировка и решение задачи оптимизации, сочетающей классификацию и регрессию, для оценки энергии связывания белка и маленьких молекул. Описание задачи [18]
• Задача: С точки зрения биоинформатики, задача заключается в оценке свободной энергии связывания белка с маленькой молекулой (лигандом): наилучший лиганд в своем наилучшем положении имеет наименьшую свободную энергию взаимодействия с белком. (Далее большой текст, см. файл по ссылке вверху.)
• Данные:
  • Данные для бинарной классификации. Около 12,000 комплексов белков с лигандами: для каждого из них есть 1 нативная поза и 18 ненативных. Основными дескрипторами являются гистограммы распределений расстояний между различными атомами белка и лиганда, размерность вектора дескрипторов ~ 20,000. В случае продолжения исследования и публикации в профильном журнале набор дескрипторов может быть расширен. Данные будут предоставлены в виде бинарных файлов со скриптом на python для чтения.
  • Данные для регрессии. Для каждого из представленных комплексов известно значение величины, которую можно интерпретировать как энергию связывания.
• Литература:
  • SVM [19]
  • Ridge Regression [20]
  • [21] (секция 1)
• Базовый алгоритм: [22]

В задаче классификации мы использовали алгоритм, похожий на линейный SVM, связь которого с оценкой энергии, выходящей за рамки задачи классификации, описана в указанной выше статье. В задаче регрессии можно использовать различные функции потерь.

• Решение: Необходимо связать использованную ранее оптимизационную задачу с задачей регрессии и решить стандартными методами. Для проверки работы алгоритма будет использована кросс-валидация.

Есть отдельный тестовый сет, состоящий из (1) 195 комплексов белков и лигандов, для которых нужно найти наилучшую позу лиганда (алгоритм получения положений лиганда отличается от используемого при обучении), (2) комплексов белков и лигандов, для нативных поз которых нужно предсказать энергию связывания, и (3) 65 белков, для которых нужно найти наиболее сильно связывающийся лиганд.

• Новизна: В первую очередь, интерес представляет объединение задач классификации и регрессии.

Правильная оценка качества связывания белка и лиганда используется при разработке лекарства для поиска молекул, наиболее сильно взаимодействующих с исследуемым белком. Использование описанной выше задачи классификации для предсказания энергии связывания приводит к недостаточно высокой корреляции предсказаний с экспериментальными значениями, в то время как использование одной лишь задачи регрессии приводит к переобучению.

• Авторы Сергей Грудинин, Мария Кадукова

Задача 16

• Название: Оценка оптимального объема выборки для исследований в медицине
• Задача: В условиях недостаточного числа дорогостоящих измерений требуется спрогнозировать оптимальный объем пополняемой выборки.
• Данные: Выборки измерений в медицинской диагностике, в частности, выборка иммунологических маркеров.
• Литература:
  • Мотренко А.П. Материалы по алгоритмам оценки оптимального объема выборки в репозитории MLAlgorithms[23], [24].
• Базовый алгоритм: Серия эмпирических алгоритмов оценки объема выборки.
• Решение: Исследование свойств пространства параметров при пополнении выборки.
• Новизна: Предложена новая методология прогнозирования объема выборки, обоснованная с точки зрения классической и байесовской статистики.
• Авторы: А.М. Катруца, В.В. Стрижов, координатор Тамаз Гадаев

Задача 17

• Название: Прогнозирование намерений. Исследование свойств локальных моделей при пространственном декодировании сигналов головного мозга
• Задача: При построении систем нейрокомпьютерного интерфейса (brain-computer interface) используются простые, устойчивые модели. Важным этапом построения такой модели является построение адекватного признакового пространства. Ранее такая задача решалась с помощью выделения признаков из частотных характеристик сигналов.
• Данные: Наборы данных сигналов мозга ECoG/EEG.
• Литература:
  1. Motrenko A.P., Strijov V.V. Multi-way feature selection for ECoG-based brain-computer Interface // Expert systems with applications. - 2018.
  2. Eliseyev A., Aksenova T. Stable and artifact-resistant decoding of 3D hand trajectories from ECoG signals using the generalized additive model //Journal of neural engineering. – 2014.
• Базовый алгоритм: Сравнение предлагается производить с алгоритмом частных наименьших квадратов (partial least squares).
• Решение: В данном работе предлагается учесть пространственную зависимость между сенсорами, которые считывают данные. Для этого необходимо локально смоделировать пространственный импульс/сигнал и построить прогностическую модель на основе локального описания.
• Новизна: Предлагается существенно новый способ построения признакового описания в задаче декодирования сигналов.
• Авторы: В.В. Стрижов, Tetiana Aksenova+1, консультант – Роман Исаченко

Задача 18

• Название: Прогнозирование намерений. Построение оптимальной модели декодирования сигналов при моделировании нейрокомпьютерного интерфейса.
• Задача: Нейрокомпьютерный интерфейс (BCI) позволяет помочь людям с ограниченными возможностями вернуть их мобильность. По имеющемуся описанию сигнала прибора необходимо смоделировать поведение субъекта.
• Данные: Наборы данных сигналов мозга ECoG/EEG.
• Литература: kjm_ECoGLibrary_v7
• Решение: В данной работе предлагается построить единую систему, решающую задачу декодирования сигналов. В качестве этапов построения такой системы предлагается решить задачи предобработки данных, выделения признакового пространства, снижения размерности и выбора модели оптимальной сложности.
• Новизна: Предлагается систематический подход к решению задачи декодирования сигналов. В постановке задачи учитывается комплексная природа сигнала: непрерывная траектория движения, наличие дискретных структурных переменных (пальцы или движение суставов), наличие непрерывных переменных (позиция пальца или конечности).
• Авторы: В.В. Стрижов, Tetiana Aksenova+1, консультант – Роман Исаченко

Задача 19

• Название: Исследование зависимости качества распознавания онтологических объектов от глубины гипонимии.
• Задача: Необходимо исследовать зависимость качества распознавания онтологических объектов на различных уровнях гипонимии понятий. Классическая постановка задачи распознавания именованных сущностей: https://en.wikipedia.org/wiki/Named-entity_recognition
• Данные: Гипонимии из https://wordnet.princeton.edu/ , тексты разных доменов предположительно из WebOfScience.
• Литература: Релевантные статьи для классической постановки http://arxiv-sanity.com/search?q=named+entity+recognition
• Базовый алгоритм: В качестве алгоритма может использоваться https://arxiv.org/pdf/1709.09686.pdf или упрощенная его версия, исследования производятся с использованием библиотеки DeepPavlov.
• Решение: Необходимо собрать датасет гипонимии (вложенности понятий) объектов с использованием WordNet, произвести автоматическую разметку онтологических объектов текстов различных доменов для нескольких уровней обобщения понятий, провести ряд экспериментов для определения качества распознавания онтологических объектов для разных уровней вложенности.
• Новизна: Подобные исследования не производились, готовые датасеты с иерархической разметкой объектов отсутствуют. Распознавание онтологических объектов на различных уровнях гипонимии может быть использовано для производства дополнительных признаков при решении различных NLP (Natural language processing) задач, а также определения являются ли объекты парой гипоним-гипероним.
• Авторы: Бурцев Михаил Сергеевич (эксперт), Баймурзина Диляра Римовна (консультант).

Задача 20

• Название: Сравнение качества end-to-end обучаемых моделей в задаче ответа на вопросы в диалоге с учетом контекста
• Задача: Задан фрагмент текста и несколько последовательных вопросов. Ответы на первые n вопросов известны. Нужно сформировать ответ на n+1 вопрос. В качестве ответа нужно указать непрерывный промежуток в тексте заданного фрагмента текста (номера начального и конечного слов). При оценке качества ответа задача сводится к классификации символов фрагмента на класс 0 (не входит в ответ) и 1 (входит в ответ).
• Данные: Предоставляется размеченный датасет с фрагментами текста и наборами вопросов с ответами в диалоге
• Литература: Статья Bi-directional Attention Flow for Machine Comprehension (BiDAF2017) описывает end-to-end модель ответов на вопросы по фрагменту без учета контекста диалога. Статья QuAC: Question Answering in Context (QuAC2018) описывает набор данных, содержит описание используемого базового алгоритма с учетом контекста диалога. Статьи с описанием других моделей вопрос-ответных систем (R-Net, DrQA)
• Базовый алгоритм: Базовый алгоритм описан статьях и реализован (QuAC2018, BiDAF2017).
• Решение: Предлагается изучить механизмы учета контекста (k-ctx, append, etc) и исследовать возможность их добавления в другие модели (DrQA, R-NET), либо предложить собственные для повышения качества по мере F1. Для изучения поведения модели используется визуализация внимания (attention visualization), обучаемых эмбеддингов, а также анализ ошибочных ответов. Предоставляется доступ к вычислительным ресурсам, используемые фреймворки: TensorFlow, PyTorch или Keras.
• Новизна: Исследование проводится на новом датасете, для которого на данный момент имеется только базовый алгоритм. Подтверждение повышения качества от применения механизмов учета контекста диалога в других моделях указывает на применимость предлагаемых подходов для решения более широкого круга задач.
• Авторы: Антон Сергеевич Хританков

Задача 21

• Название: Методы выпуклой оптимизации высокого порядка
• Задача: Для выпуклых задач не очень больших размерностей эффективно (до n ~ 10^3 иногда даже до n ~ 10^4) применяются методы высокого порядка. До недавнего времени принято было считать, что это методы второго порядка (использующие вторые производные оптимизируемой функции). Однако в начале 2018 года Ю.Е. Нестеров [1] предложил в теории эффективный метод третьего порядка, который работает почти по оптимальным оценкам. В пособии [3] в упражнении 1.3 описан пример "плохой" выпуклой функции, предложенной Ю.Е. Нестеровым, на котором хотелось бы сравнить метод Нестерова второго и третьего порядка [1], метод из работы [2] второго и третьего порядка и обычные быстрые градиентные методы (первого порядка). Сравнивать стоит как по числу итераций, так и по общему времени работы.
• Литература:

1. https://alfresco.uclouvain.be/alfresco/service/guest/streamDownload/workspace/SpacesStore/aabc2323-0bc1-40d4-9653-1c29971e7bd8/coredp2018_05web.pdf?guest=true
2. https://arxiv.org/pdf/1809.00382.pdf
3. https://arxiv.org/pdf/1711.00394.pdf

• Автор: Евгения Алексеевна Воронцова (доцент ДВФУ, Владивосток), Александр Владимирович Гасников

Задача 22

• Название: Cutting plane methods for copositive optimization
• Задача: Conic program over the copositive cone (copositive program) min <C,X> : <A_i,X> = b_i, X \in \Pi_i C^k_i, k_i <= 5 A linear function is minimized over the intersection of an affine subspace with a product of copositive cones of orders k_i <= 5. Подробнее тут
• Данные: The algorithm will be tested on randomly generated instances
• Литература:
  • [1] Peter J. C. Dickinson, Mirjam Dür, Luuk Gijben, Roland Hildebrand. Scaling relationship between the copositive cone and Parrilo’s first level approximation. Optim. Lett. 7(8), 1669—1679, 2013.
  • [2] Stefan Bundfuss, Mirjam Dür. Algorithmic copositivity detection by simplicial partition. Linear Alg. Appl. 428, 1511—1523, 2008.
  • [3] Mirjam Dür. Copositive programming — a Survey. In Recent advances in Optimization and its Applications in Engineering, Springer, pp. 3-20, 2010.
• Базовый алгоритм: The reference algorithm is described in [4] Stefan Bundfuss, Mirjam Dür. An Adaptive Linear Approximation Algorithm for Copositive Programs. SIAM J. Optim., 20(1), 30-53, 2009.
• Решение: The copositive program will be solved by a cutting plane algorithm. The cutting plane (in the case of an infeasible iterate) will be constructed from the semidefinite representation of the diagonal 1 section of the cone proposed in [1]. The algorithm will be compared to a simplicial division method proposed in [2], [4]. General information about copositive programs and their applications in optimization can be found in [3] .
• Новизна: The proposed algorithm for optimization over copositive cones up to order 5 uses an exact semi-definite representation. In contrast to all other algorithms existing today the generation of cutting planes is non-iterative.
• Автор: Roland Hildebrand

Задача 23

• Название: Фрактальный анализ и синтез оптических изображений морского волнения
• Задача: Разнообразные физические процессы и явления изучаются с помощью изображений, получаемых дистанционно. Важной задачей является получение адекватной информации об интересующих процессах и явлениях путём измерения определённых характеристик изображений. Линии равной яркости (изолинии) на изображениях многих природных объектов являются фрактальными, то есть представляют собой множества точек, которые не могут быть представлены линиями конечной длины и занимают промежуточное положение между линиями и двумерными плоскими фигурами. Такие множества характеризуются фрактальной размерностью D, которая обобщает классическое понятие размерности множества и может принимать дробные значения. Для уединённой точки на изображении D=0, для гладкой кривой D=1, для плоской фигуры D=2. Фрактальная изолиния имеет размерность 1<D<2. Алгоритм расчёта D приведён, например, в [1]. Фрактальная размерность изолиний морской поверхности, может служить для оценки пространственных спектров морских волн по данным дистанционного зондирования [1]. Задача состоит в следующем. Необходимо провести исследование численными методами зависимости между характеристиками пространственных спектров морских волн и фрактальной размерностью спутниковых изображений Земли в области солнечного блика. Для исследования следует использовать метод численного синтеза оптических изображений морского волнения, описанный в [2]. Численное моделирование должно быть при различных характеристиках морских волн, а также при различных положениях Солнца и пространственном разрешении изображений.
• Литература:
  1. Лупян Е. А., Мурынин А. Б. Возможности фрактального анализа оптических изображений морской поверхности. // Препринт Института Космических исследований АН СССР Пр.-1521, Москва, 1989, 30 с.
  2. Мурынин А. Б. Восстановление пространственных спектров морской поверхности по оптическим изображениям в нелинейной модели поля яркости // Исследования Земли из космоса, 1990. № 6. С. 60-70.
• Автор: Иван Алексеевич Матвеев

Задача 24

• Название Максимизация энтропии при различных видах преобразований над изображением
• Задача: Паншарпенинг — это алгоритм повышения разрешения мультиспектральных изображений с использованием опорного изображения. Задача паншарпенинга формулируется следующим образом: имея панхроматическое изображение требуемого разрешения и мультиспектральное изображение пониженного разрешения, требуется восстановить мультиспектральное изображение в пространственном разрешении панхроматического. Из эмпирических наблюдений, основанных на большом количестве снимков высокого разрешения, известно, что пространственная вариативность интенсивности отраженного излучения для объектов одной природы гораздо больше, чем вариативность их спектра. Другими словами, можно наблюдать, что спектр отраженного излучения однороден в границах одного объекта, в то время как даже внутри одного объекта интенсивность отраженного излучения варьируется. На практике хороших результатов можно достигнуть, используя упрощенный подход, при котором считается, что если интенсивность соседних областей значительно отличается, то, вероятно, эти области принадлежат разным объектам с разными отраженными спектрами. На этом основан разработанный вероятностный алгоритм повышения разрешения мультиспектральных изображений с использованием опорного изображения [1]
• Необходимо провести исследование по максимизации энтропии при различных видах преобразований над изображением. Показать, что энтропия может служить индикатором потерь информации, содержащейся в изображении, при преобразованиях над ним. Формулировка обратной задачи по восстановлению изображения: Условие 1: Соответствие интенсивности (в каждой точке) восстановленного изображения интенсивности панхромного изображения. Условие 2: Соответствие низкочастотной составляющей восстановленного изображения исходному мультиспектральному изображению. Условие 3: Однородность (подобность) спектра в пределах одного объекта и допущение скачкообразного изменения спектра на границе двух однородных областей. Условие 4: При соблюдении первых трех условий, локальная энтропия восстановленного изображения должна быть максимизирована.
• Литература
  1. Гороховский К. Ю., Игнатьев В. Ю., Мурынин А. Б., Ракова К. О. Поиск оптимальных параметров вероятностного алгоритма повышения пространственного разрешения мультиспектральных спутниковых изображений // Известия РАН. Теория и системы управления, 2017, № 6.
• Автор: Иван Алексеевич Матвеев

Задача 25

• Название: Автоматическое детектирование и распознавание объектов на изображениях
• Задача: Автоматическое детектирование и распознавание объектов на изображениях и видео является одной из основных задач компьютерного зрения. Как правило, эти задачи разбиваются на несколько подзадач: предобработка, выделение характерных свойств изображения объекта и классификация. Этап предобработки обычно включает некоторые операции с изображением, такие как фильтрация, выравнивание яркости, геометрические корректирующие преобразования для облегчения устойчивого выделения признаков.

Под характерными свойствами изображения объекта понимается некоторый набор признаков, приближённо описывающий интересующий объект. Признаки можно разбить на два класса: локальные и интегральные. Преимуществом локальных признаков является их универсальность, инвариантность по отношению к неравномерным изменениям яркости и освещённости, но они не уникальны. Интегральные признаки, характеризующие изображение объекта в целом, не устойчивы к изменению структуры объекта и сложным условиям освещения. Существует комбинированный подход — использование локальных признаков в качестве элементов интегрального описания, когда искомый объект моделируется набором областей, каждая из которых характеризуется своим набором признаков — локальным текстурным дескриптором. Совокупность таких дескрипторов характеризует объект в целом. Под классификацией понимают определение принадлежности объекта к тому или иному классу путём анализа вектора признаков, полученного на предыдущем этапе, разделения признакового пространства на подобласти, указывающие на соответствующий класс. Существует множество подходов к классификации: нейросетевые, статистические (Байеса, регрессия, Фишера и др.), решающие деревья и леса, метрические (ближайшие К-соседей, парзеновские окна и т. д.) и ядерные (SVM, RBF, метод потенциальных функций), композиционные (AdaBoost). Для задачи обнаружения объекта на изображении оценивается принадлежность двум классам — классу изображений, содержащих объект, и классу изображений, не содержащих объект (изображениям фона).

• Литература и более подробно тут
• Автор: Иван Алексеевич Матвеев

Задача 26

• Название: Определение местоположения по сигналам акселерометра
• Задача: Даны исходные координаты, сигналы акселерометра, дополнительная информация (сигналы гироскопа, магнетометра). Возможно, дана неточная карта (задача SLAM)
• Данные: из работы [1], данные, собранные самостоятельно.
• Литература:
  1. https://arxiv.org/pdf/1712.09004.pdf
  2. https://ieeexplore.ieee.org/document/1528431
• Базовый алгоритм: из работы [1].
• Решение: Поиск априорной и дополнительной информации, которая позволяет повысить точность позиционирования.
• Новизна: Постановка задачи в терминах Projection to Latent Spaces
• Авторы: консультант Анастасия Мотренко, эксперт Илья Гарцеев, В. В. Стрижов

Задача 27

• Название: Создание ранжирующих моделей для систем информационного поиска. Алгоритм прогнозирования структуры локально-оптимальных моделей
• Задача: Требуется спрогнозировать временной ряд с помощью некоторой параметрической суперпозицией алгебраических функций. Предлагается не стоить прогностическую модель, а спрогнозировать ее, то есть предсказать структуру аппроксимирующей суперпозиции. Вводится класс рассматриваемых суперпозиций, и на множестве таких структурных описаний проводится поиск локально-оптимальной модели для рассматриваемой задачи. Задача состоит в 1) поиске подходящего структурного описания модели 2) описания алгоритма поиска той структуры, которая будет соответствовать оптимальной модели 3) описания алгоритма обратного построения модели по ее структурному описанию. В качестве уже имеющегося примера ответа на вопросы 1-3, смотри работы А. А. Варфоломеевой.
• Данные:
  • Коллекция текстовых документов TREC (!)
  • Набор временных рядов, который подразумевает восстановление функциональных зависимостей. Предлагается сначала использовать синтетические данные или сразу применить алгоритм к прогнозированию временных рядов 1) потребления электроэнергии 2) физической активности с последующим анализом получающихся структур.
• Литература:
  1. (!) Kulunchakov A.S., Strijov V.V. Generation of simple structured Information Retrieval functions by genetic algorithm without stagnation // Expert Systems with Applications, 2017, 85 : 221—230.
  2. А. А. Варфоломеева Выбор признаков при разметке библиографических списков методами структурного обучения, 2013, [25]
  3. Bin Cao, Ying Li and Jianwei Yin Measuring Similarity between Graphs Based on the Levenshtein Distance, 2012, [26]
• Базовой алгоритм: Описан в [1]. Развит в работе команды группы 974. Предлагается использовать их код и эксперимент.
• Решение: Предлагается попробовать повторить эксперимент А. А. Варфоломеевой для другого структурного описания, чтобы понять, что происходит. Суперпозиция алгебраических функций задает ордерево, на вершинах которого заданы метки соответствующих алгебраических функций или переменных. Поэтому структурным описанием такой суперпозиции может являться ее DFS-code. Это строка, состоящая из меток вершин, записанных в порядке обхода дерева поиском в глубину. Зная арности соответствующих алгебраических функций, можем любой такой DFS-code восстановить за O(n) и получить обратно суперпозицию функций. На множестве подобных строковых описаний предлагается искать то строковое описание, которое будет соответствовать оптимальной модели.
• Авторы: консультант Андрей Кулунчаков (Univ. Grenoble-Alpes), эксперт В. В. Стрижов

Задача 28

• Название: Мультимоделирование как универсальный способ описания выборки общего вида
• Задача: Построить метод инкрементального уточнения структуры мультимодели при появлении новых объектов. Разработка и сравнение разных алгоритмов обновления структуры мультимоделей. Построение оптимальной схемы уточнения структуры мультимодели в зависимости от полного размера выборки.
• Данные: На начальном этапе работы используются синтетические данные с известной статистической структурой. Тестирование разработанных методов производится на реальных данных из репозитория UCI.
• Литература:

1. Bishop, Christopher M. «Pattern recognition and machine learning». Springer, New York (2006).
2. Gelman, Andrew, et al. Bayesian data analysis, 3rd edition. Chapman and Hall/CRC, 2013.
3. MacKay, David JC. «The evidence framework applied to classification networks.» Neural computation 4.5 (1992): 720—736.
4. Адуенко А. А. «Выбор мультимоделей в задачах классификации» кандидатская диссертация
5. Motrenko, Anastasiya, Vadim Strijov, and Gerhard-Wilhelm Weber. «Sample size determination for logistic regression.» Journal of Computational and Applied Mathematics 255 (2014): 743—752.

• Базовой алгоритм: Алгоритм построения адекватных мультимоделей из #4.
• Решение: Байесовский подход к задаче выбора моделей на основании обоснованности. Анализ свойств обоснованности и ее связи со статистической значимостью.
• Новизна: Предлагается метод построения оптимальной схемы обновления структуры мультимодели при появлении новых объектов. Исследована связь обоснованности и статистической значимости для некоторых классов моделей.
• Авторы: Стрижов Вадим Викторович, Адуенко Александр Александрович (GMT-5)

Задача 29

• Название: Cross-Language Document Extractive Summarization with Neural Sequence Model.
• Задача: Предлагается решить задачу переноса обучения для модели сокращения текста выделением предложением (extractive summarization) и исследовать зависимость качества сокращения текста от качества обучения модели перевода. Имея данные для обучения модели сокращения на английском языке и параллельный англо-русский корпус текстов построить модель для сокращения текста на русском языке. Решение задачи оценивается на небольшом наборе данных для тестирования модели на русском языке, качество решения задачи определяется отношением значений критериев ROUGE на английском и русском наборах.
• Данные: Данные для обучения модели на английском языке (SummaRuNNer2016), параллельный корпус OPUS, данные для проверки на русском языке.
• Литература: В статье (SummaRuNNer2016) дается описание базового алгоритма сокращения текста, в работе Neural machine translation by jointly learning to align and translate.(NMT2016) дается описание модели перевода. Идея совместного использования моделей представлена в статье Cross-Language Document Summarization Based on Machine Translation Quality Prediction (CrossSum2010).
• Базовой алгоритм: Одна из идей базового алгоритма представлена в (CrossSum2010), модель перевода реализована (OpenNMT), предоставляется реализация модели сокращения текста (SummaRuNNer2016).
• Решение: Предлагается исследовать идею решения, предложенную в статье (CrossSum2010) и варианты объединения моделей сокращения и перевода. Базовые модели и предобработка наборов данных реализованы (OpenNMT), библиотеки PyTorch и Tensorflow. Анализ ошибок по сокращению текста производится, как описано в (SummaRuNNer2016), анализ качества обучения моделей стандартными инструментами библиотек, .
• Новизна: Для базовой модели применимость исследована на паре наборов данных, подтверждение возможности переноса обучения на набор данных на другом языке и указание условий для этого переноса расширит область применения модели и укажет необходимые новые доработки модели или предобработки данных.
• Авторы: Алексей Романов (консультант), Антон Хританков (эксперт).

Задача 30

• Название: Метод построения HG-LBP дескриптора на основе гистограмм градиентов для детектирования пешеходов.
• Задача: Предлагается разработать новый дескриптор, обобщающий LBP дескриптор на основе гистограмм модулей градиентов, имеющий свойства композиции HOG-LBP для задачи детектирования пешеходов на изображении. В качестве анализа качества нового дескриптора предлагается использовать графики ошибок детектирования FAR/FRR на базе INRIA.
• Данные: База данных пешеходов INRIA: http://pascal.inrialpes.fr/data/human/
• Литература:
  1. 1. T. Ojala and M. Pietikainen. Multiresolution Gray-Scale and Rotation Invariant Texture Classification with Local Binary Patterns, IEEE Trans on Pattern Analysis and Machine Intelligence, Vol. 24. No.7, July, 2002.
  2. 2. T. Bouwmans, C. Silva, C. Marghes, M. Zitouni, H. Bhaskar, C. Frelicot,, «On the Role and the Importance of Features for Background Modeling and Foreground Detection», https://arxiv.org/pdf/1611.09099v1.pdf
  3. 3. N. Dalal and B. Triggs, Histograms of Oriented Gradients for Human Detection // Proc. IEEE Conference on Computer Vision and Pattern Recognition, 2005, pp.886-893
  4. 4. T. Ahonen, A. Hadid, M. Pietikainen Face Description with Local Binary Patterns: Application to Face Recognition \\ IEEE Transactions on Pattern Analysis and Machine Intelligence, Volume:28 , Issue: 121.
  5. 5. http://www.magicandlove.com/blog/2011/08/26/people-detection-in-opencv-again/
  6. 6. http://www.cse.oulu.fi/CMV/Downloads/LBPMatlab2.
  7. 7. http://www.mathworks.com/help/vision/ref/extractlbpfeatures.html3.
  8. 8. http://www.codeproject.com/Articles/741559/Uniform-LBP-Features-and-Spatial-Histogram-Computa4.
  9. 9. http://www.cse.oulu.fi/CMV/Research
• Базовой алгоритм: Xiaoyu Wang, Tony X. Han, Shuicheng Yan. An HOG-LBP Human Detector with Partial Occlusion Handling \\ ICCV 2009
• Решение: Одним из вариантов обобщения LBP может быть использование вместо гистограмм распределения точек по LBP-коду, гистограмм распределения модулей градиентов точек в блоке по LBP-коду (HG-LBP). Предлагается для основы экспериментов использовать библиотеку OpenCV, в которой реализованы алгоритмы HOG и LBP. Необходимо модифицировать исходный код реализации LBP и вставить подсчет модулей градиента и накопление соответствующей гистограммы по LBP. Необходимо написать программу чтения базы INRIA, обучения по ней метода линейного SVM на исходных и модифицированных дескрипторах, сбора статистики детектирования и построения DET-графиков FAR/FRR.
• Новизна: Разработка вычислительно простых методов для выделения максимально информативных признаков в задачах распознавания является актуальной в области создания встроенных систем, обладающих малыми вычислительными ресурсами. Замена композиции дескрипторов одним, более информативным, чем каждый по отдельности может упростить решение задачи. Использование значений градиента в гистограммах дескриптора LPB является новым.
• Авторы: Гнеушев Александр Николаевич

Задача 31

• Название: Использование HOG дескриптора для обучения нейронной сети в задаче детектирования пешеходов
• Задача: Предлагается заменить линейный SVM классификатор в классическом алгоритме HOG простой сверточной нейронной сетью небольшой глубины, при этом HOG дескриптор должен представляться трехмерным тензором, сохраняющим пространственную структуру локальных блоков. В качестве анализа качества нового дескриптора предлагается использовать графики ошибок детектирования FAR/FRR на базе INRIA.
• Данные: База данных пешеходов INRIA: http://pascal.inrialpes.fr/data/human/
• Литература:
  1. 1. N. Dalal and B. Triggs, Histograms of Oriented Gradients for Human Detection // Proc. IEEE Conference on Computer Vision and Pattern Recognition, 2005, pp.886-893
  2. 3. Q. Zhu, S. Avidan, M.-C. Yeh, and K.-T. Cheng. Fast human detection using a cascade of histograms of oriented gradients. In CVPR, pages 1491—1498, 2006 O. Tuzel, F. Porikli, and P. Meer. Human detection via classification on riemannian manifolds. In CVPR, 2007
  3. 4. P. Dollar, C. Wojek, B. Schiele and P. Perona Pedestrian Detection: An Evaluation of the State of the Art / IEEE Transactions on Pattern Analysis and Machine Intelligence (PAMI), Vol 34. Issue 4, pp. 743—761
  4. 5. Xiaoyu Wang, Tony X. Han, Shuicheng Yan, An HOG-LBP Human Detector with Partial Occlusion Handling, ICCV 2009 http://www.xiaoyumu.com/s/PDF/Wang_HOG_LBP.pdf
  5. 6. https://en.wikipedia.org/wiki/Pedestrian_detection
  6. 7. HOG person detector tutorial https://chrisjmccormick.wordpress.com/2013/05/09/hog-person-detector-tutorial/
  7. 8. NavneetDalalThesis.pdf Navneet Dalal. Finding People in Images and Videos. PhD Thesis. Institut National Polytechnique de Grenoble / INRIA Rhone-Alpes, Grenoble, July 2006)
  8. 9. People Detection in OpenCV http://www.magicandlove.com/blog/2011/08/26/people-detection-in-opencv-again/
  9. 10. Andrew G. Howard, Menglong Zhu, Bo Chen, Dmitry Kalenichenko, Weijun Wang, Tobias Weyand, Marco Andreetto, Hartwig Adam. MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications
• Базовой алгоритм:
  1. 1. N. Dalal and B. Triggs, Histograms of Oriented Gradients for Human Detection // Proc. IEEE Conference on Computer Vision and Pattern Recognition, 2005, pp.886-893
  2. 2. Xiaoyu Wang, Tony X. Han, Shuicheng Yan, An HOG-LBP Human Detector with Partial Occlusion Handling, ICCV 2009
• Решение: Одним из вариантов обобщения алгоритма HOG может быть использование вместо линейного алгоритма SVM другого классификатора, например какой-либо нейронной сети. Предлагается для основы экспериментов использовать библиотеку OpenCV, в которой реализован алгоритм HOG и классификатор SVM. Нужно проанализировать исходный код реализации HOG, формализовать внутреннюю структуру вектора HOG дескриптора в форме трехмерного тензора — две пространственные и одна спектральная размерности. Необходимо написать программу чтения базы INRIA, обучения по ней метода линейного SVM на HOG-дескрипторах, сбора статистики детектирования и построения DET-графиков FAR/FRR. Необходимо на основе какой-либо системы обучения нейросети (например, mxnet) собрать неглубокую (не более 2-3 сверточных слоев) сверточную нейросеть известной архитектуры, обучить ее на базе INRIA и на тензорных дескрипторах HOG, построить соответствующие графики FAR/FRR.
• Новизна: Разработка вычислительно простых методов для выделения максимально информативных признаков в задачах распознавания является актуальной в области создания встроенных систем, обладающих малыми вычислительными ресурсами. Использование небольшого количества наиболее информативных дескрипторов может уменьшить вычислительную сложность, по сравнению с использованием большой композиции простых признаков, например в глубокой сверточной нейросети. Обычно классификаторы используют HOG дескриптор как вектор в целом, однако при этом теряется информация о локальной пространственной структуре и спектре признаков. Новизна заключается в использовании свойства локальности блоков в HOG дескрипторе и представление HOG в виде трехмерного тензора. Использование этой информации позволяет достичь устойчивости детектирования к перекрытию пешехода.
• Авторы: Гнеушев Александр Николаевич