Анализ поведения по сигналам носимых устройств

Материал из MachineLearning.

(Различия между версиями)
Перейти к: навигация, поиск
(→Проекты)
(→Проекты)
Строка 216: Строка 216:
* '''Авторы''': И.Н. Жариков.
* '''Авторы''': И.Н. Жариков.
* '''Эксперт''': Л.М. Местецкий (морфологические методы).
* '''Эксперт''': Л.М. Местецкий (морфологические методы).
 +
 +
=== Задача 1 (1-2) ===
 +
* '''Название''': Классификация суперпозиций движений физической активности
 +
* '''Задача''': Анализ поведения человека по измерениям датчиков мобильного телефона: по данным акселерометра определить движения человека. Данные акселерометра представляют собой сигнал, не имеющий точной периодики, который содержит неизвестную суперпозицию физических моделей. Будем рассматривать суперпозицию моделей: тело + рука/сумка/рюкзак.
 +
Классификация видов деятельности человека по измерениям фитнес-браслетов. По измерениям акселерометра и гироскопа требуется определить вид деятельности рабочего. Предполагается, что временные ряды измерений содержат элементарные движения, которые образуют кластеры в пространстве описаний временных рядов. (Развитие: Характерная продолжительность движения — секунды. Временные ряды размечены метками вида деятельности: работа, отдых. Характерная продолжительность деятельности — минуты. Требуется по описанию временного ряда и кластера восстановить вид деятельности.)
 +
* '''Данные''':
 +
** Собираются самостоятельно
 +
** Данные строителей
 +
** Временные ряды акселерометра WISDM ([[Временной ряд (библиотека примеров)]], раздел Accelerometry).
 +
* '''Литература''':
 +
** Карасиков М. Е., Стрижов В. В. Классификация временных рядов в пространстве параметров порождающих моделей // Информатика и ее применения, 2016. [[http://strijov.com/papers/Karasikov2016TSC.pdf URL]]
 +
** Кузнецов М. П., Ивкин Н. П. Алгоритм классификации временных рядов акселерометра по комбинированному признаковому описанию // Машинное обучение и анализ данных. 2015. T. 1, № 11. C. 1471—1483. [[http://jmlda.org/papers/doc/2015/no11/Ivkin2015TSclassification.pdf URL]]
 +
** Исаченко Р. В., Стрижов В. В. Метрическое обучение в задачах многоклассовой классификации временных рядов // Информатика и ее применения, 2016, 10(2) : 48-57. [[http://strijov.com/papers/Isachenko2016MetricsLearning.pdf URL]]
 +
** Задаянчук А. И., Попова М. С., Стрижов В. В. Выбор оптимальной модели классификации физической активности по измерениям акселерометра // Информационные технологии, 2016. [[http://strijov.com/papers/Zadayanchuk2015OptimalNN4.pdf URL]]
 +
** Motrenko A.P., Strijov V.V. Extracting fundamental periods to segment human motion time series // Journal of Biomedical and Health Informatics, 2016, Vol. 20, No. 6, 1466—1476. [[http://sourceforge.net/p/mlalgorithms/code/HEAD/tree/Group874/Motrenko2014TSsegmentation/JBHI/MotrenkoStrijov2014RV2.pdf?format=raw URL]]
 +
** Ignatov A., Strijov V. Human activity recognition using quasiperiodic time series collected from a single triaxial accelerometer // Multimedia Tools and Applications, 2015, 17.05.2015 : 1-14. [[http://strijov.com/papers/Ignatov2015HumanActivity.pdf URL]]
 +
* '''Базовой алгоритм''': Базовый алгоритм описан в работах [Карасиков, Стрижов: 2016] и [Кузнецов, Ивкин: 2014].
 +
* '''Решение''': Найти оптимальный способ сегментации и оптимальное описание временного ряда. Построить метрическое пространство описаний элементарных движений.
 +
* '''Новизна''': Предложен способ классификации и анализа сложных движений (Развитие: Соединение двух характеристических времен описания жизни человека, комбинированная постановка задачи.)
 +
* '''Авторы''': Александра Малькова, Мария Владимирова, Р. Г. Нейчев, В. В. Стрижов,
 +
 +
=== Задача 2 (1) ===
 +
* '''Название''': Сравнение нейросетевых и непрерывно-морфологических методов в задаче детекции текста (Text Detection).
 +
* '''Задача''': Automatically Detect Text in Natural Images.
 +
* '''Данные''': синтетические сгенерированные данные + подготовленная выборка фотографий + [https://vision.cornell.edu/se3/coco-text-2/ COCO-Text dataset] + [http://www.machinelearning.ru/wiki/index.php?title=%D0%9A%D0%BE%D0%BD%D0%BA%D1%83%D1%80%D1%81_Avito.ru-2014:_%D1%80%D0%B0%D1%81%D0%BF%D0%BE%D0%B7%D0%BD%D0%B0%D0%B2%D0%B0%D0%BD%D0%B8%D0%B5_%D0%BA%D0%BE%D0%BD%D1%82%D0%B0%D0%BA%D1%82%D0%BD%D0%BE%D0%B9_%D0%B8%D0%BD%D1%84%D0%BE%D1%80%D0%BC%D0%B0%D1%86%D0%B8%D0%B8_%D0%BD%D0%B0_%D0%B8%D0%B7%D0%BE%D0%B1%D1%80%D0%B0%D0%B6%D0%B5%D0%BD%D0%B8%D1%8F%D1%85 Конкурс Avito 2014].
 +
* '''Литература''': [https://vision.cornell.edu/se3/wp-content/uploads/2016/01/1601.07140v1.pdf COCO benchmark], [https://vision.cornell.edu/se3/wp-content/uploads/2016/01/1601.07140v1.pdf One of a state-of-the-art architecture]
 +
* '''Базовой алгоритм''': [https://github.com/eragonruan/text-detection-ctpn code] + морфологические методы, [http://www.machinelearning.ru/wiki/images/f/f1/Avito.ru-2014_Ulyanov_presentation.pdf Avito 2014 winner’s solution].
 +
* '''Решение''': Предлагается сравнить работы нескольких state-of-the-art алгоритмов, которым нужна обширная обучающая выборка, с морфологическими методы, требующие небольшого числа данных. Предлагается определить границы применимости тех или иных методов.
 +
* '''Новизна''': предложить алгоритм, основанный на использовании как нейросетевых, так и морфологических методов (решение задачи word detection).
 +
* '''Авторы''': И. Н. Жариков.
 +
* '''Эксперт''': Л. М. Местецкий (морфологические методы).
 +
 +
=== Задача 3 (1-2) ===
 +
* '''Название''': Распознавание текста на основе скелетного представления толстых линий и сверточных сетей
 +
* '''Задача''': Требуется построить две CNN, одна распознает растровое представление изображения, другая векторное. (Развитие: порождение толстых линий нейросетями)
 +
* '''Данные''': Шрифты в растровом представлении.
 +
* '''Литература''': Список работ [http://www.machinelearning.ru/wiki/images/a/a2/Morozov2017Synthesis_of_medicines.pdf], в частности arXiv:1611.03199 и
 +
* '''Базовый алгоритм''': Сверточная сеть для растрового изображения.
 +
* '''Решение''': Требуется предложить способ свертывания графовых структур, позволяющий породить информативное описание скелета толстой линии.
 +
* '''Новизна''': Предложен способ повышения качества распознавания толстых линий за счет нового способа порождения их описаний.
 +
* '''Авторы''': Л. М. Местецкий, И. А. Рейер, В. В. Стрижов
 +
 +
=== Задача 4 (1-2) ===
 +
* '''Название''': Создание ранжирующих моделей для систем информационного поиска. Алгоритм прогнозирования структуры локально-оптимальных моделей
 +
* '''Задача''': Требуется спрогнозировать временной ряд с помощью некоторой параметрической суперпозицией алгебраических функций. Предлагается не стоить прогностическую модель, а спрогнозировать ее, то есть предсказать структуру аппроксимирующей суперпозиции. Вводится класс рассматриваемых суперпозиций, и на множестве таких структурных описаний проводится поиск локально-оптимальной модели для рассматриваемой задачи. Задача состоит в 1) поиске подходящего структурного описания модели 2) описания алгоритма поиска той структуры, которая будет соответствовать оптимальной модели 3) описания алгоритма обратного построения модели по ее структурному описанию. В качестве уже имеющегося примера ответа на вопросы 1-3, смотри работы А. А. Варфоломеевой.
 +
* '''Данные''':
 +
** Коллекция текстовых документов TREC (!)
 +
** Набор временных рядов, который подразумевает восстановление функциональных зависимостей. Предлагается сначала использовать синтетические данные или сразу применить алгоритм к прогнозированию временных рядов 1) потребления электроэнергии 2) физической активности с последующим анализом получающихся структур.
 +
* '''Литература''':
 +
** (!) Kulunchakov A.S., Strijov V.V. Generation of simple structured Information Retrieval functions by genetic algorithm without stagnation // [http://strijov.com/papers/Kulunchakov2014RankingBySimpleFun.pdf Expert Systems with Applications, 2017, 85 : 221—230.]
 +
** А. А. Варфоломеева Выбор признаков при разметке библиографических списков методами структурного обучения, 2013, [http://www.machinelearning.ru/wiki/images/f/f2/Varfolomeeva2013Diploma.pdf?format=raw]
 +
** Bin Cao, Ying Li and Jianwei Yin Measuring Similarity between Graphs Based on the Levenshtein Distance, 2012, [http://naturalspublishing.com/files/published/92cn7jm44d8wt1.pdf?format=raw]
 +
* '''Базовой алгоритм''': Конкретно к предлагаемой проблеме базового алгоритма нет. Предлагается попробовать повторить эксперимент А. А. Варфоломеевой для другого структурного описания, чтобы понять, что происходит.
 +
* '''Решение''': Суперпозиция алгебраических функций задает ордерево, на вершинах которого заданы метки соответствующих алгебраических функций или переменных. Поэтому структурным описанием такой суперпозиции может являться ее DFS-code. Это строка, состоящая из меток вершин, записанных в порядке обхода дерева поиском в глубину. Зная арности соответствующих алгебраических функций, можем любой такой DFS-code восстановить за O(n) и получить обратно суперпозицию функций. На множестве подобных строковых описаний предлагается искать то строковое описание, которое будет соответствовать оптимальной модели.
 +
* '''Авторы''': Кулунчаков Андрей, В. В. Стрижов
 +
 +
=== Задача 5 (1) ===
 +
* '''Название''': Определение параметров нейросети, подлежащих оптимизации.
 +
* '''Задача''': Рассматривается задача оптимизации нейросети. Требуется разделить параметры модели на две группы:
 +
** а) Параметры модели, подлежащие оптимизации
 +
** б) Параметры модели, оптимизация которых завершилась. Дальнейшая оптимизация данных параметров не даст улучшения качества модели.
 +
Предлагается рассматривать оптимизацию параметров как стохастический процесс. Основываясь на истории процесса найдем те параметры, чья оптимизация больше не требуется.
 +
* '''Данные''': Выборка рукописных цифр MNIST
 +
* '''Базовый алгоритм''': Случайный выбор параметров.
 +
* '''Литература''':
 +
** [https://arxiv.org/pdf/1704.04289.pdf] SGD как стохастический процесс.
 +
** [http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.704.7138&rep=rep1&type=pdf] Вариационный вывод в нейросетях.
 +
* '''Новизна''': полученный алгоритм позволит существенно снизить вычислительную стоимость оптимизации нейросетей. Возможным дальнейшим развитием метода является получение оценок на параметры сети, полученной из исходной операциями расширения, сжатия, добавления и удаления слоев.
 +
* '''Авторы''': Бахтеев Олег, В. В. Стрижов
 +
 +
=== Задача 6 (1) ===
 +
* '''Название''': Предсказание графовой структуры нейросетевой модели.
 +
* '''Задача''': Рассматривается задача нахождения устойчивой (и не избыточной по параметрам) структуры сверточной нейросети. Предлагается предсказывать структуру нейросети с использованием doubly-recurrent нейросетей. В качестве обучающей выборки предлагается использовать структуры моделей, показавших хорошее качество на подвыборках небольшой мощности.
 +
* '''Данные''': Выборки MNIST, CIFAR-10
 +
* '''Базовый алгоритм''': случайный поиск. Возможно сравнение с работами по обучению с подкреплением.
 +
* '''Литература''':
 +
** [https://pdfs.semanticscholar.org/e7bd/0e7a7ee6b0904d5de6e76e095a6a3b88dd12.pdf] doubly-recurrent нейросети.
 +
** [https://arxiv.org/pdf/1707.07012] Схожий подход с использованием обучения с подкреплением.
 +
* '''Авторы''': Бахтеев Олег, В. В. Стрижов
 +
 +
=== Задача 7 (1) ===
 +
* '''Название''': Style Change Detection.
 +
* '''Задача''': Дана коллекция документов, требуется определить, написан ли каждый документ одним автором, или несколькими (http://pan.webis.de/clef18/pan18-web/author-identification.html).
 +
* '''Данные''': PAN 2018 (http://pan.webis.de/clef18/pan18-web/author-identification.html)
 +
PAN 2017 (http://pan.webis.de/clef17/pan17-web/author-identification.html)
 +
PAN 2016 (http://pan.webis.de/clef16/pan16-web/author-identification.html)
 +
* '''Литература''':
 +
1. Ian Goodfellow. NIPS 2016 Tutorial: Generative Adversarial Networks (https://arxiv.org/pdf/1701.06547.pdf)
 +
2. Jiwei Li, Will Monroe, Tianlin Shi, Sebastien Jean, Alan Ritter and Dan Jurafsky. Adversarial Learning for Neural Dialogue Generation(https://arxiv.org/pdf/1701.06547.pdf)
 +
3. M. Kuznetsov, A. Motrenko, R. Kuznetsova, V. Strijov. Methods for Intrinsic Plagiarism Detection and Author Diarization (https://pdfs.semanticscholar.org/1011/6d82a8438c78877a8a142be47c4ee8662138.pdf)
 +
4. K. Safin, R. Kuznetsova. Style Breach Detection with Neural Sentence Embeddings (https://pdfs.semanticscholar.org/c70e/7f8fbc561520accda7eea2f9bbf254edb255.pdf)
 +
* '''Базовый алгоритм''': решение, описанное в [3, 4].
 +
* '''Решение''': предлагается решать задачу, используя generative adversarial networks — генеративная модель порождает тексты в одном авторском стиле, дискриминативная модель — бинарный классификатор.
 +
* '''Новизна''': предполагается, что решение этой задачи предлагаемым методом может дать прирост качества по сравнению с типичными методами решениями этой задачи, а также связанных с ней задач кластеризации авторов.
 +
* '''Авторы''': Рита Кузнецова (консультант), В. В. Стрижов
 +
 +
=== Задача 8 (1) ===
 +
* '''Название''': Получение оценок правдоподобия с использованием автокодировщиков
 +
* '''Задача''': предполагается, что рассматриваемые объекты подчиняются гипотезе многообразия (manifold learning) — вектора высокий размерности сосредоточились вокруг некоторого подпространства меньшей размерности. Работы [1, 2] показывают, что некоторые модификации автокодировщиков ищут k-мерное многообразие в пространстве объектов, которое наиболее полно передает структуру данных. В работе [2] выводится оценка плотности вероятности данных с помощью автокодировщика. Требуется получить эту оценку на правдоподобие модели.
 +
* '''Данные''': предлагается провести эксперимент на коротких текстовых фрагментах Google ngrams (http://storage.googleapis.com/books/ngrams/books/datasetsv2.html)
 +
* '''Литература''':
 +
## Pascal Vincent, Hugo Larochelle, Isabelle Lajoie, Yoshua Bengio, Pierre-Antoine Manzagol. Stacked Denoising Autoencoders: Learning Useful Representations in a Deep Network with a Local Denoising Criterion (http://www.jmlr.org/papers/volume11/vincent10a/vincent10a.pdf).
 +
## Guillaume Alain, Yoshua Bengio. What Regularized Auto-Encoders Learn from the Data Generating Distribution (https://arxiv.org/pdf/1211.4246.pdf)
 +
## Hanna Kamyshanska, Roland Memisevic. The Potential Energy of an Autoencoder (https://www.iro.umontreal.ca/~memisevr/pubs/AEenergy.pdf)
 +
* '''Базовый алгоритм''':
 +
* '''Решение''': в задаче предлагается обучить векторные представления для фраз (n-грамм) с использованием автокодировщика, с помощью теоремы 2 в работе [2] получить оценку на правдоподобие выборки и, с помощью этой оценки, вывести правдоподобие модели. С помощью полученных оценок можно также рассмотреть процесс сэмплирования.
 +
* '''Новизна''': получение оценок правдоподобия данных и правдоподобия модели, порождение текстов с помощью полученных оценок.
 +
* '''Авторы''': Рита Кузнецова (консультант).
 +
 +
=== Задача 9 (1) ===
 +
* '''Название''': Предсказание свойств и типов атомов в молекулярных графах при помощи сверточных сетей.
 +
* '''Задача''': Multilabel classification using convolutional neural networks (CNN) on graphs.
 +
Для предсказания взаимодействия молекул друг с другом зачастую необходимо правильно описать составляющие их атомы, поставив им в соответствие некоторые типы. Для маленьких молекул доступно не так много дескрипторов: координаты и химические элементы атомов, длины связей и величины углов между ними. Используя эти признаки, мы успешно предсказываем гибридизации атомов и типы связей. При таком подходе каждый атом рассматривается «по отдельности», информация о соседних атомах, необходимая для определения типа атома, практически не используется, и типы атомов определяются с помощью проверки большого числа условий. В то же время, молекулы представимы в виде трехмерных молекулярных графов, и было бы интересно использовать это для предсказания их типов методами машинного обучения, например, с помощью CNN.
 +
Необходимо предсказать типы вершин и рёбер молекулярных графов :
 +
** тип атома (тип вершины графа, около 150 классов),
 +
** гибридизацию атома (вспомогательный признак, тип вершины, 4 класса),
 +
** тип связи (вспомогательный признак, тип ребра, 5 классов).
 +
 +
Тип атома (вершины графа) основан на информации о его гибридизации и свойствах соседних с ним атомов. Поэтому в случае успешного решения задачи классификации можно провести кластеризацию для поиска других способов определения типов атомов.
 +
 +
* '''Данные''': Около 15 тысяч молекул, представленных в виде молекулярных графов. Для каждой вершины (атома) известны 3D координаты и химический элемент. Дополнительно посчитаны длины связей, величины углов и двугранных углов между атомами (3D координаты графа), бинарные признаки, отражающие, входит ли атом в цикл и является ли он терминальным. Выборка размечена, однако в размеченных данных может содержаться ~5 % ошибок.
 +
Если данных будет недостаточно, возможно увеличение выборки (до 200 тысяч молекул), сопряженное с увеличением неточности в разметке.
 +
 +
* '''Литература''':
 +
** [http://proceedings.mlr.press/v48/niepert16.pdf]
 +
** [https://arxiv.org/pdf/1603.00856.pdf]
 +
** [https://arxiv.org/pdf/1204.4539.pdf]
 +
* '''Базовой алгоритм''': Предсказание гибридизаций и порядков связей с помощью мультиклассового нелинейного SVM с небольшим числом дескрипторов. https://hal.inria.fr/hal-01381010/document
 +
* '''Решение''': Предлагаемое решение задачи и способы проведения исследования.
 +
Способы представления и визуализации данных и проведения анализа ошибок, анализа качества алгоритма.
 +
На первом этапе нужно будет определить операции на графах, необходимые для построения архитектуры сети. Далее нужно будет обучить сеть для мульти-классовой классификации типов вершин (и ребер) входного графа.
 +
Для оценки качества алгоритма предполагается оценивать точность с помощью кросс-валидации. Для конечной публикации (в профильном журнале) нужно будет сделать специфический тест на качество предсказаний: на основе предсказанных типов связи молекула записывается в виде строки (в формате SMILES) и сравнивается с образцом. В этом случае для каждой молекулы предсказание будет считаться верным, только если типы всех связей в ней были предсказаны без ошибок.
 +
* '''Новизна''': Предложенные молекулярные графы обладают 3D структурой и внутренней иерархией, что делает их идеальным объектом применения CNN.
 +
* '''Авторы''': Сергей Грудинин, Мария Кадукова, В. В. Стрижов.
 +
 +
=== Задача 10 (1) ===
 +
* '''Название''': Формулировка и решение задачи оптимизации, сочетающей классификацию и регрессию, для оценки энергии связывания белка и маленьких молекул. Описание задачи [https://www.overleaf.com/read/rjdnyyxpdkyj]
 +
* '''Задача''':
 +
С точки зрения биоинформатики, задача заключается в оценке свободной энергии связывания белка с маленькой молекулой (лигандом): наилучший лиганд в своем наилучшем положении имеет \textbf{наименьшую свободную энергию} взаимодействия с белком. (Далее большой текст, см. файл по ссылке вверху.)
 +
* '''Данные''':
 +
** Данные для бинарной классификации.
 +
Около 12,000 комплексов белков с лигандами: для каждого из них есть 1 нативная поза и 18 ненативных. Основными дескрипторами являются гистограммы распределений расстояний между различными атомами белка и лиганда, размерность вектора дескрипторов ~ 20,000. В случае продолжения исследования и публикации в профильном журнале набор дескрипторов может быть расширен.
 +
Данные будут предоставлены в виде бинарных файлов со скриптом на python для чтения.
 +
** Данные для регрессии.
 +
Для каждого из представленных комплексов известно значение величины, которую можно интерпретировать как энергию связывания.
 +
* '''Литература''':
 +
** SVM [http://cs229.stanford.edu/notes/cs229-notes3.pdf]
 +
** Ridge Regression [http://scikit-learn.org/stable/modules/linear_model.html#ridge-regression]
 +
** [https://alex.smola.org/papers/2003/SmoSch03b.pdf] (секция 1)
 +
* '''Базовой алгоритм''': [https://hal.inria.fr/hal-01591154/]
 +
В задаче классификации мы использовали алгоритм, похожий на линейный SVM, связь которого с оценкой энергии, выходящей за рамки задачи классификации, описана в указанной выше статье. В задаче регрессии можно использовать различные функции потерь.
 +
* '''Решение''': Необходимо связать использованную ранее оптимизационную задачу с задачей регрессии и решить стандартными методами. Для проверки работы алгоритма будет использована кросс-валидация.
 +
Есть отдельный тестовый сет, состоящий из (1) 195 комплексов белков и лигандов, для которых нужно найти наилучшую позу лиганда (алгоритм получения положений лиганда отличается от используемого при обучении), (2) комплексов белков и лигандов, для нативных поз которых нужно предсказать энергию связывания, и (3) 65 белков, для которых нужно найти наиболее сильно связывающийся лиганд.
 +
* '''Новизна''': В первую очередь, интерес представляет ''объединение задач классификации и регрессии'''.
 +
Правильная оценка качества связывания белка и лиганда используется при разработке лекарства для поиска молекул, наиболее сильно взаимодействующих с исследуемым белком. Использование описанной выше задачи классификации для предсказания энергии связывания приводит к недостаточно высокой корреляции предсказаний с экспериментальными значениями, в то время как использование одной лишь задачи регрессии приводит к переобучению.
 +
* '''Авторы''' Сергей Грудинин, Мария Кадукова, В. В. Стрижов.
== Данные, ссылки на коллекции ==
== Данные, ссылки на коллекции ==

Версия 07:26, 16 апреля 2018

Короткий адрес: http://bit.ly/2r3y70F

Содержание

Проекты

Задача 1

  • Название: Аппроксимация границ радужки глаза
  • Задача: По изображению человеческого глаза определить окружности, аппроксимирующие внутреннюю и внешнюю границу радужки.
  • Данные: Растровые монохромные изображения, типичный размер 640*480 пикселей (однако, возможны и другие размеры)[1], [2].
  • Литература:
    • Адуенко А.А. Выбор мультимоделей в задачах классификации (научный руководитель В.В. Стрижов). Московский физико-технический институт, 2017. [3]
    • К.А.Ганькин, А.Н.Гнеушев, И.А.Матвеев Сегментация изображения радужки глаза, основанная на приближенных методах с последующими уточнениями // Известия РАН. Теория и системы управления, 2014, № 2, с. 78–92.
    • Duda, R. O. Use of the Hough transformation to detect lines and curves in pictures / R. O. Duda, P. E. Hart // Communications of the ACM. 1972. Vol. 15, no. 1. Pp.
  • Базовый алгоритм: Ефимов Юрий. Поиск внешней и внутренней границ радужки на изображении глаза методом парных градиентов, 2015.
  • Решение: См. Iris_circle_problem.pdf
  • Новизна: Предложен быстрый беспереборный алгоритм аппроксимации границ с помощью линейных мультимоделей.
  • Консультант: Александр Адуенко (автор Стрижов В.В., эксперт Матвеев И.А.)

Задача 2

  • Название: Оценка оптимального объема выборки
  • Задача: В условиях недостаточного числа дорогостоящих измерений требуется спрогнозировать оптимальный объем пополняемой выборки.
  • Данные: Выборки измерений в медицинской диагностике, в частности, выборка иммунологических маркеров.
  • Литература:
    • Мотренко А.П. Материалы по алгоритмам оценки оптимального объема выборки в репозитории MLAlgorithms[4], [5].
  • Базовый алгоритм: Алгоритмы оценки объема выборки при .
  • Решение: Исследование свойств пространства параметров при пополнении выборки.
  • Новизна: Предложена новая методология прогнозирования объема выборки, обоснованная с точки зрения классической и байесовской статистики.
  • Авторы: А.М. Катруца, В.В. Стрижов, эксперт А.П. Мотренко

Задача 3

  • Название: Восстановление структуры прогностической модели по вероятностному представлению
  • Задача: Требуется восстановить дерево суперпозиции по порожденному графу вероятностей связей.
  • Данные: Сегменты временных, пространственно-временных рядов (и текстовые коллекции).
  • Литература:
    • Работы Tommy Yakkola и других в LinkReview [6].
  • Базовый алгоритм: Метод ветвей и границ, динамическое пограммирование при построении полносвязного графа.
  • Решение: Построение модели в виде GAN, VAE порождает взвешенный граф, NN аппроксимирует структуру дерева.
  • Новизна: Предложен способ оштрафовать граф за то, что он не является деревом. Предложен способ прогнозирования структур прогностических моделей.
  • Авторы: А.М. Катруца, В.В. Стрижов

Задача 4

  • Название: Распознавание текста на основе скелетного представления толстых линий и сверточных сетей
  • Задача: Требуется построить две CNN, одна распознает растровое представление изображения, другая векторное.
  • Данные: Шрифты в растровом представлении.
  • Литература: Список работ [7], в частности arXiv:1611.03199 и
  • Базовый алгоритм: Сверточная сеть для растрового изображения.
  • Решение: Требуется предложить способ свертывания графовых структур, позволяющий породить информативное описание скелета толстой линии.
  • Новизна: Предложен способ повышения качества распознавания толстых линий за счет нового способа порождения их описаний.
  • Авторы: Л.М. Местецкий, И.А. Рейер, В.В. Стрижов

Задача 5

  • Название: Порождение признаков с помощью локально-аппроксимирующих моделей
  • Задача: Требуется проверить выполнимость гипотезы о простоте выборки для порожденных признаков. Признаки - оптимальные параметры аппроксимирующих моделей. При этом вся выборка не является простой и требует смеси моделей для ее аппроксимации. Исследовать информативность порожденных признаков - параметров аппроксимирующих моделей, обученных на сегментах исходного временного ряда.
  • Данные:
    • WISDM (Kwapisz, J.R., G.M. Weiss, and S.A. Moore. 2011. Activity recognition using cell phone accelerometers. ACM SigKDD Explorations Newsletter. 12(2):74–82.), USC-HAD или сложнее. Данные акселерометра (Human activity recognition using smart phone embedded sensors: A Linear Dynamical Systems method, W Wang, H Liu, L Yu, F Sun - Neural Networks (IJCNN), 2014)
    • (Временной ряд (библиотека примеров), раздел Accelerometry).
  • Литература:
    • Кузнецов М.П., Ивкин Н.П. Алгоритм классификации временных рядов акселерометра по комбинированному признаковому описанию // Машинное обучение и анализ данных. 2015. T. 1, № 11. C. 1471-1483.[8]
    • Карасиков М.Е., Стрижов В.В. Классификация временных рядов в пространстве параметров порождающих моделей // Информатика и ее применения, 2016.URL
    • Кузнецов М.П., Ивкин Н.П. Алгоритм классификации временных рядов акселерометра по комбинированному признаковому описанию // Машинное обучение и анализ данных. 2015. T. 1, № 11. C. 1471 - 1483. URL
    • Исаченко Р.В., Стрижов В.В. Метрическое обучение в задачах многоклассовой классификации временных рядов // Информатика и ее применения, 2016, 10(2) : 48-57. URL
    • Задаянчук А.И., Попова М.С., Стрижов В.В. Выбор оптимальной модели классификации физической активности по измерениям акселерометра // Информационные технологии, 2016. URL
    • Motrenko A.P., Strijov V.V. Extracting fundamental periods to segment human motion time series // Journal of Biomedical and Health Informatics, 2016, Vol. 20, No. 6, 1466 - 1476. URL
    • Ignatov A., Strijov V. Human activity recognition using quasiperiodic time series collected from a single triaxial accelerometer // Multimedia Tools and Applications, 2015, 17.05.2015 : 1-14. URL
  • Базовый алгоритм: Описан в работе Кузнецова, Ивкина.
  • Решение: Требуется построить набор локально-аппроксимирующих моделей и выбрать наиболее адекватные.
  • Новизна: Создан стандарт построения локально-аппроксимирующих моделей.
  • Авторы: С.Д. Иванычев, Р.Г. Нейчев, В.В. Стрижов

Задача 6

  • Название: Декодирование сигналов мозга и прогнозирование намерений
  • Задача: Требуется построить модель, восстанавливающую движение конечностей по кортикограмме.
  • Данные: neurotycho.org [9]
  • Литература:
    • Нейчев Р.Г., Катруца А.М., Стрижов В.В. Выбор оптимального набора признаков из мультикоррелирующего множества в задаче прогнозирования // Заводская лаборатория. Диагностика материалов, 2016, 82(3) : 68-74. [10]
    • MLAlgorithms: Motrenko, Isachenko (submitted)
  • Базовый алгоритм: Partial Least Squares[11]
  • Решение: Создать алгоритм выбора признаков, альтернативный PLS и учитывающий неортогональную структуру взаимозависимости признаков.
  • Новизна: Предложен способ выбора признаков, учитывающий закономерности как и независимой, так и в зависимой переменной.
  • Авторы: Р.В. Исаченко, В.В. Стрижов

Задача 7

  • Название: Автоматическое определение релевантности параметров нейросети.
  • Задача: Рассматривается задача нахождения устойчивой (и не избыточной по параметрам) структуры нейросети. Для отсечения избыточных параметров предлагается ввести априорные вероятностные предположения о распределении параметров и удалить из нейросети неинформативные параметры методом Белсли. Для настройки априорного распределения предлагается использовать градиентные методы.
  • Данные: Выборка рукописных цифр MNIST
  • Базовый алгоритм: Optimal Brain Damage, прореживание на основе вариацинного вывода. Структуру итоговой модели предлагается сравнивать с моделью, полученной алгоритмом AdaNet.
  • Литература:
    • [12] Градиентные методы оптимизации гиперпараметров.
    • [13] Градиентные методы оптимизации гиперпараметров.
    • [14] Optimal Brain Damage.
    • [15] AdaNet
    • [16] Метод Белсли
  • Авторы: О.Ю. Бахтеев, В.В. Стрижов

Задача 8

  • Название: Предсказание графовой структуры нейросетевой модели.
  • Задача: Рассматривается задача нахождения устойчивой (и не избыточной по параметрам) структуры сверточной нейросети. Предлагается предсказывать структуру нейросети с использованием doubly-recurrent нейросетей. В качестве обучающей выборки предлагается использовать структуры моделей, показавших хорошее качество на подвыборках небольшой мощности.
  • Данные: Выборки MNIST, CIFAR-10
  • Базовый алгоритм: случайный поиск. Возможно сравнение с работами по обучению с подкреплением.
  • Литература:
    • [17] doubly-recurrent нейросети.
    • [18] Схожий подход с использованием обучения с подкреплением.
  • Авторы: О.Ю. Бахтеев. В.В. Стрижов

Задача 9

  • Название: Deep Learning for reliable detection of tandem repeats in 3D protein structures подробнее в PDF
  • Задача: Deep learning algorithms pushed computer vision to a level of accuracy comparable or higher than a human vision. Similarly, we believe that it is possible to recognize the symmetry of a 3D object with a very high reliability, when the object is represented as a density map. The optimization problem includes i) multiclass classification of 3D data. The output is the order of symmetry. The number of classes is ~10-20 ii) multioutput regression of 3D data. The output is the symmetry axis (a 3-vector). The input data are typically 24x24x24 meshes. The total amount of these meshes is of order a million. Biological motivation : Symmetry is an important feature of protein tertiary and quaternary structures that has been associated with protein folding, function, evolution, and stability. Its emergence and ensuing prevalence has been attributed to gene duplications, fusion events, and subsequent evolutionary drift in sequence. Methods to detect these symmetries exist, either based on the structure or the sequence of the proteins, however, we believe that they can be vastly improved.
  • Данные: Synthetic data are obtained by ‘symmetrizing’ folds from top8000 library (http://kinemage.biochem.duke.edu/databases/top8000.php).
  • Литература: Our previous 3D CNN: [19] Invariance of CNNs (and references therein): [20], [21]
  • Базовой алгоритм: A prototype has already been created using the Tensorflow framework [4], which is capable to detect the order of cyclic structures with about 93% accuracy. The main goal of this internship is to optimize the topology of the current neural network prototype and make it rotational and translational invariant with respect to input data. [4] [22]
  • Решение: The network architecture needs to be modified according to the invariance properties (most importantly, rotational invariance). Please see the links below [23],

[24] The code is written using the Tensorflow library, and the current model is trained on a single GPU (Nvidia Quadro 4000)of a desktop machine.

  • Новизна: Applications of convolutional networks to 3D data are still very challenging due to large amount of data and specific requirements to the network architecture. More specifically, the models need to be rotationally and transnationally invariant, which makes classical 2D augmentation tricks loosely applicable here. Thus, new models need to be developed for 3D data.
  • Авторы: эксперт Sergei Grudinin, консультанты Guillaume Pages, Vadim Strijov

Задача 10

  • Название: Semi-supervised representation learning with attention
  • Задача: обучение векторных представлений с использованием механизма attention, благодаря которому значительно выросло качество машинного перевода. Предлагается использовать его в сети архитектуры encoder-decoder для получения векторов фрагментов текста произвольной длины.
  • Данные: Предлагается рассмотреть две выборки: Microsoft Paraphrase Corpus (небольшой набор предложений, https://www.microsoft.com/en-us/download/details.aspx?id=52398) и PPDB(набор коротких сегментов, не всегда корректная разметка. http://sitem.herts.ac.uk/aeru/ppdb/en/)
  • Литература:

1. Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, Illia Polosukhin. Attention Is All You Need (https://arxiv.org/abs/1706.03762). 2. John Wieting, Mohit Bansal, Kevin Gimpel, Karen Livescu. Towards Universal Paraphrastic Sentence Embeddings (https://arxiv.org/abs/1511.08198). 3. Ryan Kiros, Yukun Zhu, Ruslan Salakhutdinov, Richard S. Zemel, Antonio Torralba, Raquel Urtasun, Sanja Fidler. Skip-Thought Vectors (https://arxiv.org/abs/1506.06726). 4. Keras seq2seq (https://github.com/farizrahman4u/seq2seq).

  • Базовый алгоритм: решение [3] или векторные представления, полученные с использованием seq2seq [].
  • Решение: в задаче предлагается обучить векторные представления для фраз, используя механизм attention и метод частичного обучения. В качестве внутреннего функционала качества предлагается использовать усовершенствованную функцию ошибки из [2]. В качестве прикладной задачи можно рассмотреть задачу детектирования перефразирований и сентимент-анализ. Причем, исходя из результатов, полученный в [1], можно сделать предположение о том, что механизм attention в большей степени влияет на получение универсальных векторов для фраз, чем архитектура сети. Предлагается протестировать эту гипотезу с использованием двух различных архитектур - стандартной рекуррентной и feed-forward сети.
  • Новизна: новый метод.
  • Авторы: Рита Кузнецова, консультант

Задача 11

  • Название: Выбор интерпретируемых мультимоделей в задачах кредитного скоринга
  • Задача: Задача кредитного скоринга заключается в определении уровня кредитоспособности заемщика. Для этого используется анкета заемщика, содержащая как числовые (возраст, доход), так и категориальные признаки (пол, профессия). Требуется, имея историческую информацию о возвратах кредитов другими заемщиками, определить, вернет ли заемщик кредит. Данные могут быть разнородными (например, в случае наличия в стране разных регионов по доходу), и для адекватной классификации потребуется несколько моделей. Необходимо определить оптимальное число моделей. По набору параметров моделей необходимо составить портрет заемщика.
  • Данные: Предлагается рассмотреть пять выборок из репозиториев UCI и Kaggle, мощностью от 50000 объектов.
  • Литература: Диссертация А.А. Адуенко \MLAlgorithms\PhDThesis; С. Bishop, Pattern recognition and machine learning, последняя глава; 20 years of Mixture experts.
  • Базовой алгоритм: Кластеризация и построение независимых моделей логистической регрессии, Адабуст, Решающий лес (с ограничениями на сложность), Смесь экспертов.
  • Решение: Предлагается алгоритм выбора мультимодели (смеси моделей или смеси экспертов) и определения оптимального числа моделей.
  • Новизна: Предлагается функция расстояния между моделями, в которых распределения параметров заданы на разных носителях.
  • Авторы: А.В. Гончаров, В.В. Стрижов.

Задача 12

  • Название: Порождение признаков, инвариантных к изменению частоты временного ряда.
  • Задача: Неформально: есть набор временных рядов определенной частоты (s1), причем интересующая нас информация различима и при меньшей частоте дискретизации (например, отсчеты происходят каждую миллисекунду, а интересующие нас события происходят на интервале 0.1 с). Данные ряды интегрируются, снижая частоту в 10 раз (т.е. каждые 10 значений просто суммируются) и получается набор временных рядов s2.Предлагается найти такие преобразования над временным рядом, зависящие от частоты, что временные ряды высокой частоты s1и более низкой частоты s2 будут описываться одинаково. Формально: Задан набор временных рядов s1, ..., sNSс высокой частотой дискретизации 1. Целевая информация (например, движение рукой/cуточное колебание цены/…) различима и при меньшей частоте дискретизации 2 < 1. Необходимо найти такое отображение f: S G, -частота ряда, что оно будет порождать похожие признаковые описания для рядов различной частоты. Т.е.

f* = argminf E(f1(s1) -f2(s2)) , где E- некоторая функция ошибки.

  • Данные: Наборы временных рядов физической активности людей с акселерометров; временные ряды ЭЭГ человека; временные ряды энергопотребления городов/промышленных объектов. Ссылка на выборку: репозиторий UCI, наши выборки по ЭЭГ и акселерометрам.
  • Литература: См выше про Акселерометры
  • Базовой алгоритм: Преобразование Фурье.
  • Решение: Построение автоэнкодера с частично фиксированным внутренним представлением в виде того же временного ряда с меньшей частотой.
  • Новизна: Для временных рядов отсутствует “общепринятый подход” к анализу, в отличие, например, от анализа изображений. Если посмотреть на проблему отвлеченно, сейчас кот определяется так же хорошо, как и кот, занимающий вдвое меньшее пространство на изображении. Напрашивается аналогия с временными рядами. Тем более, природа данных в картинках и во временных рядах похожа: в картинках иерархия между значениями есть по двум осям (x и y), а во временных рядах - по одной - по оси времени. Гипотеза заключается в том, что сходные с анализом изображений методы позволят получить качественные результаты. Полученное признаковое представление может в дальнейшем использоваться для классификации и предсказания временных рядов.
  • Авторы: Р. Г. Нейчев, В.В. Стрижов.

Задача 13

  • Название: Deep learning for RNA secondary structure prediction
  • Задача: RNA secondary structure is an important feature which defines RNA functional properties. Its importance can be illustrated by the fact, that it is evolutionary preserved and some types of functional RNAs always * have the same secondary structure, for example all tRNAs fold into cloverleaf. As secondary structure often defines functions, knowing RNAs secondary structure may help investigate functions of novel RNA molecules. RNA folding is not as easy as DNA folding, because RNA is single stranded molecule which forms complicated base-pairing interactions, while DNA mostly exists as fully base paired double helices. Current methods of RNA structure prediction rely on experimentally evaluated thermodynamic rules, but with thermodynamics alone only 80% of structures can be accurately predicted. We propose an AI-driven method for predicting RNA secondary structure inspired by neural machine translation model.
  • Данные: RNA sequences in form of strings of characters
  • Литература: https://arxiv.org/abs/1609.08144
  • Базовой алгоритм: https://www.ncbi.nlm.nih.gov/pubmed/16873527
  • Решение: Deep learning recurrent encoder-decoder model with attention
  • Новизна: Currently RNA secondary structure prediction still remains unsolved problem and to the best of our knowledge DL approach has never been introduced in the literature before
  • Авторы: консультант Мария Попова

Задача 14

to be done

Задача 15

to be done

  • Название: Иерархическое тематическое моделирование текстовой коллекции
  • Задача: (варианты: новостной поток на русском / выпускные работы студентов на русском / научные статьи на английском / научпоп на русском).
  • Данные:
  • Литература:
    1. Воронцов К.В. Обзор вероятностных тематических моделей. 2017.
  • Базовой алгоритм:
  • Решение: построение тематической модели с помощью библиотеки BigARTM.
  • Новизна:
  • Авторы: К.В.Воронцов

Задача 16

to be done

  • Название: Анализ банковских транзакционных данных физических лиц для выявления паттернов потребления клиентов.
  • Задача:
  • Данные:
  • Литература:
    1. Воронцов К.В. Обзор вероятностных тематических моделей. 2017.
  • Базовой алгоритм:
  • Решение: построение тематической модели с помощью библиотеки BigARTM.
  • Новизна:
  • Авторы: К.В.Воронцов, консультанты Роза Айсина, Филипп Никитин.

Задача 17

to be done

Задача 18

  • Название: Сравнение нейросетевых и непрерывно-морфологических методов в задаче детекции текста (Text Detection).
  • Задача: Automatically Detect Text in Natural Images.
  • Данные: синтетические сгенерированные данные + подготовленная выборка фотографий + COCO-Text dataset + Конкурс Avito 2014.
  • Литература: COCO benchmark, One of a state-of-the-art architecture
  • Базовой алгоритм: code + морфологические методы, Avito 2014 winner's solution.
  • Решение: Предлагается сравнить работы нескольких state-of-the-art алгоритмов, которым нужна обширная обучающая выборка, с морфологическими методы, требующие небольшого числа данных. Предлагается определить границы применимости тех или иных методов.
  • Новизна: предложить алгоритм, основанный на использовании как нейросетевых, так и морфологических методов (решение задачи word detection).
  • Авторы: И.Н. Жариков.
  • Эксперт: Л.М. Местецкий (морфологические методы).

Задача 1 (1-2)

  • Название: Классификация суперпозиций движений физической активности
  • Задача: Анализ поведения человека по измерениям датчиков мобильного телефона: по данным акселерометра определить движения человека. Данные акселерометра представляют собой сигнал, не имеющий точной периодики, который содержит неизвестную суперпозицию физических моделей. Будем рассматривать суперпозицию моделей: тело + рука/сумка/рюкзак.

Классификация видов деятельности человека по измерениям фитнес-браслетов. По измерениям акселерометра и гироскопа требуется определить вид деятельности рабочего. Предполагается, что временные ряды измерений содержат элементарные движения, которые образуют кластеры в пространстве описаний временных рядов. (Развитие: Характерная продолжительность движения — секунды. Временные ряды размечены метками вида деятельности: работа, отдых. Характерная продолжительность деятельности — минуты. Требуется по описанию временного ряда и кластера восстановить вид деятельности.)

  • Данные:
  • Литература:
    • Карасиков М. Е., Стрижов В. В. Классификация временных рядов в пространстве параметров порождающих моделей // Информатика и ее применения, 2016. [URL]
    • Кузнецов М. П., Ивкин Н. П. Алгоритм классификации временных рядов акселерометра по комбинированному признаковому описанию // Машинное обучение и анализ данных. 2015. T. 1, № 11. C. 1471—1483. [URL]
    • Исаченко Р. В., Стрижов В. В. Метрическое обучение в задачах многоклассовой классификации временных рядов // Информатика и ее применения, 2016, 10(2) : 48-57. [URL]
    • Задаянчук А. И., Попова М. С., Стрижов В. В. Выбор оптимальной модели классификации физической активности по измерениям акселерометра // Информационные технологии, 2016. [URL]
    • Motrenko A.P., Strijov V.V. Extracting fundamental periods to segment human motion time series // Journal of Biomedical and Health Informatics, 2016, Vol. 20, No. 6, 1466—1476. [URL]
    • Ignatov A., Strijov V. Human activity recognition using quasiperiodic time series collected from a single triaxial accelerometer // Multimedia Tools and Applications, 2015, 17.05.2015 : 1-14. [URL]
  • Базовой алгоритм: Базовый алгоритм описан в работах [Карасиков, Стрижов: 2016] и [Кузнецов, Ивкин: 2014].
  • Решение: Найти оптимальный способ сегментации и оптимальное описание временного ряда. Построить метрическое пространство описаний элементарных движений.
  • Новизна: Предложен способ классификации и анализа сложных движений (Развитие: Соединение двух характеристических времен описания жизни человека, комбинированная постановка задачи.)
  • Авторы: Александра Малькова, Мария Владимирова, Р. Г. Нейчев, В. В. Стрижов,

Задача 2 (1)

  • Название: Сравнение нейросетевых и непрерывно-морфологических методов в задаче детекции текста (Text Detection).
  • Задача: Automatically Detect Text in Natural Images.
  • Данные: синтетические сгенерированные данные + подготовленная выборка фотографий + COCO-Text dataset + Конкурс Avito 2014.
  • Литература: COCO benchmark, One of a state-of-the-art architecture
  • Базовой алгоритм: code + морфологические методы, Avito 2014 winner’s solution.
  • Решение: Предлагается сравнить работы нескольких state-of-the-art алгоритмов, которым нужна обширная обучающая выборка, с морфологическими методы, требующие небольшого числа данных. Предлагается определить границы применимости тех или иных методов.
  • Новизна: предложить алгоритм, основанный на использовании как нейросетевых, так и морфологических методов (решение задачи word detection).
  • Авторы: И. Н. Жариков.
  • Эксперт: Л. М. Местецкий (морфологические методы).

Задача 3 (1-2)

  • Название: Распознавание текста на основе скелетного представления толстых линий и сверточных сетей
  • Задача: Требуется построить две CNN, одна распознает растровое представление изображения, другая векторное. (Развитие: порождение толстых линий нейросетями)
  • Данные: Шрифты в растровом представлении.
  • Литература: Список работ [25], в частности arXiv:1611.03199 и
  • Базовый алгоритм: Сверточная сеть для растрового изображения.
  • Решение: Требуется предложить способ свертывания графовых структур, позволяющий породить информативное описание скелета толстой линии.
  • Новизна: Предложен способ повышения качества распознавания толстых линий за счет нового способа порождения их описаний.
  • Авторы: Л. М. Местецкий, И. А. Рейер, В. В. Стрижов

Задача 4 (1-2)

  • Название: Создание ранжирующих моделей для систем информационного поиска. Алгоритм прогнозирования структуры локально-оптимальных моделей
  • Задача: Требуется спрогнозировать временной ряд с помощью некоторой параметрической суперпозицией алгебраических функций. Предлагается не стоить прогностическую модель, а спрогнозировать ее, то есть предсказать структуру аппроксимирующей суперпозиции. Вводится класс рассматриваемых суперпозиций, и на множестве таких структурных описаний проводится поиск локально-оптимальной модели для рассматриваемой задачи. Задача состоит в 1) поиске подходящего структурного описания модели 2) описания алгоритма поиска той структуры, которая будет соответствовать оптимальной модели 3) описания алгоритма обратного построения модели по ее структурному описанию. В качестве уже имеющегося примера ответа на вопросы 1-3, смотри работы А. А. Варфоломеевой.
  • Данные:
    • Коллекция текстовых документов TREC (!)
    • Набор временных рядов, который подразумевает восстановление функциональных зависимостей. Предлагается сначала использовать синтетические данные или сразу применить алгоритм к прогнозированию временных рядов 1) потребления электроэнергии 2) физической активности с последующим анализом получающихся структур.
  • Литература:
    • (!) Kulunchakov A.S., Strijov V.V. Generation of simple structured Information Retrieval functions by genetic algorithm without stagnation // Expert Systems with Applications, 2017, 85 : 221—230.
    • А. А. Варфоломеева Выбор признаков при разметке библиографических списков методами структурного обучения, 2013, [26]
    • Bin Cao, Ying Li and Jianwei Yin Measuring Similarity between Graphs Based on the Levenshtein Distance, 2012, [27]
  • Базовой алгоритм: Конкретно к предлагаемой проблеме базового алгоритма нет. Предлагается попробовать повторить эксперимент А. А. Варфоломеевой для другого структурного описания, чтобы понять, что происходит.
  • Решение: Суперпозиция алгебраических функций задает ордерево, на вершинах которого заданы метки соответствующих алгебраических функций или переменных. Поэтому структурным описанием такой суперпозиции может являться ее DFS-code. Это строка, состоящая из меток вершин, записанных в порядке обхода дерева поиском в глубину. Зная арности соответствующих алгебраических функций, можем любой такой DFS-code восстановить за O(n) и получить обратно суперпозицию функций. На множестве подобных строковых описаний предлагается искать то строковое описание, которое будет соответствовать оптимальной модели.
  • Авторы: Кулунчаков Андрей, В. В. Стрижов

Задача 5 (1)

  • Название: Определение параметров нейросети, подлежащих оптимизации.
  • Задача: Рассматривается задача оптимизации нейросети. Требуется разделить параметры модели на две группы:
    • а) Параметры модели, подлежащие оптимизации
    • б) Параметры модели, оптимизация которых завершилась. Дальнейшая оптимизация данных параметров не даст улучшения качества модели.

Предлагается рассматривать оптимизацию параметров как стохастический процесс. Основываясь на истории процесса найдем те параметры, чья оптимизация больше не требуется.

  • Данные: Выборка рукописных цифр MNIST
  • Базовый алгоритм: Случайный выбор параметров.
  • Литература:
    • [28] SGD как стохастический процесс.
    • [29] Вариационный вывод в нейросетях.
  • Новизна: полученный алгоритм позволит существенно снизить вычислительную стоимость оптимизации нейросетей. Возможным дальнейшим развитием метода является получение оценок на параметры сети, полученной из исходной операциями расширения, сжатия, добавления и удаления слоев.
  • Авторы: Бахтеев Олег, В. В. Стрижов

Задача 6 (1)

  • Название: Предсказание графовой структуры нейросетевой модели.
  • Задача: Рассматривается задача нахождения устойчивой (и не избыточной по параметрам) структуры сверточной нейросети. Предлагается предсказывать структуру нейросети с использованием doubly-recurrent нейросетей. В качестве обучающей выборки предлагается использовать структуры моделей, показавших хорошее качество на подвыборках небольшой мощности.
  • Данные: Выборки MNIST, CIFAR-10
  • Базовый алгоритм: случайный поиск. Возможно сравнение с работами по обучению с подкреплением.
  • Литература:
    • [30] doubly-recurrent нейросети.
    • [31] Схожий подход с использованием обучения с подкреплением.
  • Авторы: Бахтеев Олег, В. В. Стрижов

Задача 7 (1)

PAN 2017 (http://pan.webis.de/clef17/pan17-web/author-identification.html) PAN 2016 (http://pan.webis.de/clef16/pan16-web/author-identification.html)

  • Литература:

1. Ian Goodfellow. NIPS 2016 Tutorial: Generative Adversarial Networks (https://arxiv.org/pdf/1701.06547.pdf) 2. Jiwei Li, Will Monroe, Tianlin Shi, Sebastien Jean, Alan Ritter and Dan Jurafsky. Adversarial Learning for Neural Dialogue Generation(https://arxiv.org/pdf/1701.06547.pdf) 3. M. Kuznetsov, A. Motrenko, R. Kuznetsova, V. Strijov. Methods for Intrinsic Plagiarism Detection and Author Diarization (https://pdfs.semanticscholar.org/1011/6d82a8438c78877a8a142be47c4ee8662138.pdf) 4. K. Safin, R. Kuznetsova. Style Breach Detection with Neural Sentence Embeddings (https://pdfs.semanticscholar.org/c70e/7f8fbc561520accda7eea2f9bbf254edb255.pdf)

  • Базовый алгоритм: решение, описанное в [3, 4].
  • Решение: предлагается решать задачу, используя generative adversarial networks — генеративная модель порождает тексты в одном авторском стиле, дискриминативная модель — бинарный классификатор.
  • Новизна: предполагается, что решение этой задачи предлагаемым методом может дать прирост качества по сравнению с типичными методами решениями этой задачи, а также связанных с ней задач кластеризации авторов.
  • Авторы: Рита Кузнецова (консультант), В. В. Стрижов

Задача 8 (1)

  • Название: Получение оценок правдоподобия с использованием автокодировщиков
  • Задача: предполагается, что рассматриваемые объекты подчиняются гипотезе многообразия (manifold learning) — вектора высокий размерности сосредоточились вокруг некоторого подпространства меньшей размерности. Работы [1, 2] показывают, что некоторые модификации автокодировщиков ищут k-мерное многообразие в пространстве объектов, которое наиболее полно передает структуру данных. В работе [2] выводится оценка плотности вероятности данных с помощью автокодировщика. Требуется получить эту оценку на правдоподобие модели.
  • Данные: предлагается провести эксперимент на коротких текстовых фрагментах Google ngrams (http://storage.googleapis.com/books/ngrams/books/datasetsv2.html)
  • Литература:
    1. Pascal Vincent, Hugo Larochelle, Isabelle Lajoie, Yoshua Bengio, Pierre-Antoine Manzagol. Stacked Denoising Autoencoders: Learning Useful Representations in a Deep Network with a Local Denoising Criterion (http://www.jmlr.org/papers/volume11/vincent10a/vincent10a.pdf).
    2. Guillaume Alain, Yoshua Bengio. What Regularized Auto-Encoders Learn from the Data Generating Distribution (https://arxiv.org/pdf/1211.4246.pdf)
    3. Hanna Kamyshanska, Roland Memisevic. The Potential Energy of an Autoencoder (https://www.iro.umontreal.ca/~memisevr/pubs/AEenergy.pdf)
  • Базовый алгоритм:
  • Решение: в задаче предлагается обучить векторные представления для фраз (n-грамм) с использованием автокодировщика, с помощью теоремы 2 в работе [2] получить оценку на правдоподобие выборки и, с помощью этой оценки, вывести правдоподобие модели. С помощью полученных оценок можно также рассмотреть процесс сэмплирования.
  • Новизна: получение оценок правдоподобия данных и правдоподобия модели, порождение текстов с помощью полученных оценок.
  • Авторы: Рита Кузнецова (консультант).

Задача 9 (1)

  • Название: Предсказание свойств и типов атомов в молекулярных графах при помощи сверточных сетей.
  • Задача: Multilabel classification using convolutional neural networks (CNN) on graphs.

Для предсказания взаимодействия молекул друг с другом зачастую необходимо правильно описать составляющие их атомы, поставив им в соответствие некоторые типы. Для маленьких молекул доступно не так много дескрипторов: координаты и химические элементы атомов, длины связей и величины углов между ними. Используя эти признаки, мы успешно предсказываем гибридизации атомов и типы связей. При таком подходе каждый атом рассматривается «по отдельности», информация о соседних атомах, необходимая для определения типа атома, практически не используется, и типы атомов определяются с помощью проверки большого числа условий. В то же время, молекулы представимы в виде трехмерных молекулярных графов, и было бы интересно использовать это для предсказания их типов методами машинного обучения, например, с помощью CNN. Необходимо предсказать типы вершин и рёбер молекулярных графов :

    • тип атома (тип вершины графа, около 150 классов),
    • гибридизацию атома (вспомогательный признак, тип вершины, 4 класса),
    • тип связи (вспомогательный признак, тип ребра, 5 классов).

Тип атома (вершины графа) основан на информации о его гибридизации и свойствах соседних с ним атомов. Поэтому в случае успешного решения задачи классификации можно провести кластеризацию для поиска других способов определения типов атомов.

  • Данные: Около 15 тысяч молекул, представленных в виде молекулярных графов. Для каждой вершины (атома) известны 3D координаты и химический элемент. Дополнительно посчитаны длины связей, величины углов и двугранных углов между атомами (3D координаты графа), бинарные признаки, отражающие, входит ли атом в цикл и является ли он терминальным. Выборка размечена, однако в размеченных данных может содержаться ~5 % ошибок.

Если данных будет недостаточно, возможно увеличение выборки (до 200 тысяч молекул), сопряженное с увеличением неточности в разметке.

  • Литература:
  • Базовой алгоритм: Предсказание гибридизаций и порядков связей с помощью мультиклассового нелинейного SVM с небольшим числом дескрипторов. https://hal.inria.fr/hal-01381010/document
  • Решение: Предлагаемое решение задачи и способы проведения исследования.

Способы представления и визуализации данных и проведения анализа ошибок, анализа качества алгоритма. На первом этапе нужно будет определить операции на графах, необходимые для построения архитектуры сети. Далее нужно будет обучить сеть для мульти-классовой классификации типов вершин (и ребер) входного графа. Для оценки качества алгоритма предполагается оценивать точность с помощью кросс-валидации. Для конечной публикации (в профильном журнале) нужно будет сделать специфический тест на качество предсказаний: на основе предсказанных типов связи молекула записывается в виде строки (в формате SMILES) и сравнивается с образцом. В этом случае для каждой молекулы предсказание будет считаться верным, только если типы всех связей в ней были предсказаны без ошибок.

  • Новизна: Предложенные молекулярные графы обладают 3D структурой и внутренней иерархией, что делает их идеальным объектом применения CNN.
  • Авторы: Сергей Грудинин, Мария Кадукова, В. В. Стрижов.

Задача 10 (1)

  • Название: Формулировка и решение задачи оптимизации, сочетающей классификацию и регрессию, для оценки энергии связывания белка и маленьких молекул. Описание задачи [35]
  • Задача:

С точки зрения биоинформатики, задача заключается в оценке свободной энергии связывания белка с маленькой молекулой (лигандом): наилучший лиганд в своем наилучшем положении имеет \textbf{наименьшую свободную энергию} взаимодействия с белком. (Далее большой текст, см. файл по ссылке вверху.)

  • Данные:
    • Данные для бинарной классификации.

Около 12,000 комплексов белков с лигандами: для каждого из них есть 1 нативная поза и 18 ненативных. Основными дескрипторами являются гистограммы распределений расстояний между различными атомами белка и лиганда, размерность вектора дескрипторов ~ 20,000. В случае продолжения исследования и публикации в профильном журнале набор дескрипторов может быть расширен. Данные будут предоставлены в виде бинарных файлов со скриптом на python для чтения.

    • Данные для регрессии.

Для каждого из представленных комплексов известно значение величины, которую можно интерпретировать как энергию связывания.

  • Литература:
  • Базовой алгоритм: [39]

В задаче классификации мы использовали алгоритм, похожий на линейный SVM, связь которого с оценкой энергии, выходящей за рамки задачи классификации, описана в указанной выше статье. В задаче регрессии можно использовать различные функции потерь.

  • Решение: Необходимо связать использованную ранее оптимизационную задачу с задачей регрессии и решить стандартными методами. Для проверки работы алгоритма будет использована кросс-валидация.

Есть отдельный тестовый сет, состоящий из (1) 195 комплексов белков и лигандов, для которых нужно найти наилучшую позу лиганда (алгоритм получения положений лиганда отличается от используемого при обучении), (2) комплексов белков и лигандов, для нативных поз которых нужно предсказать энергию связывания, и (3) 65 белков, для которых нужно найти наиболее сильно связывающийся лиганд.

  • Новизна': В первую очередь, интерес представляет объединение задач классификации и регрессии.

Правильная оценка качества связывания белка и лиганда используется при разработке лекарства для поиска молекул, наиболее сильно взаимодействующих с исследуемым белком. Использование описанной выше задачи классификации для предсказания энергии связывания приводит к недостаточно высокой корреляции предсказаний с экспериментальными значениями, в то время как использование одной лишь задачи регрессии приводит к переобучению.

  • Авторы Сергей Грудинин, Мария Кадукова, В. В. Стрижов.

Данные, ссылки на коллекции

Библиографические коллекции

Категория:Статьи

https://doi.org/10.1109/TNNLS.2016.2531089
https://doi.org/10.1007/s10444-016-9483-y
https://doi.org/10.1007/s00521-015-2039-0
https://doi.org/10.1016/j.neucom.2018.02.074
https://academic.oup.com/biostatistics/advance-article/doi/10.1093/biostatistics/kxx070/4788724
https://doi.org/10.1016/j.ins.2018.02.041
https://doi.org/10.1016/j.asoc.2017.11.037
https://doi.org/10.1016/j.asoc.2018.01.002
https://doi.org/10.1002/bimj.201700021
https://doi.org/10.1007/s11063-017-9592-8
https://web.stanford.edu/~hallac/GGS.pdf
http://eprints.lse.ac.uk/64863/8/Fryzlewicz_Multiple%20change-point%20detection_2017_published%20LSERO.pdf
https://doi.org/10.1177/0278364917713116
https://doi.org/10.1109/JSEN.2017.2703859
https://doi.org/10.1117/12.2262918
https://doi.org/10.1145/3014812.3014875
https://doi.org/10.1145/3056540.3076194
https://doi.org/10.1016/j.procs.2016.05.345
https://doi.org/10.1177/1550147716683687
https://doi.org/10.1109/35021BIGCOMP.2015.7072841
https://dl.acm.org/citation.cfm?id=2997017
https://doi.org/10.1016/j.ins.2017.11.045
http://www.mdpi.com/1424-8220/18/4/1126/htm
http://www.mdpi.com/1424-8220/18/2/623/htm
https://doi.org/10.1007/s11042-015-3188-y
https://doi.org/10.1142/S021951941850015X
https://doi.org/10.1016/j.ins.2017.11.045
Карасиков М.Е., Стрижов В.В. Классификация временных рядов в пространстве параметров порождающих моделей // Информатика и ее применения, 2016. [URL]
Кузнецов М.П., Ивкин Н.П. Алгоритм классификации временных рядов акселерометра по комбинированному признаковому описанию // Машинное обучение и анализ данных. 2015. T. 1, № 11. C. 1471 - 1483. [URL]
Исаченко Р.В., Стрижов В.В. Метрическое обучение в задачах многоклассовой классификации временных рядов // Информатика и ее применения, 2016, 10(2) : 48-57. [URL]
Задаянчук А.И., Попова М.С., Стрижов В.В. Выбор оптимальной модели классификации физической активности по измерениям акселерометра // Информационные технологии, 2016. [URL]
Motrenko A.P., Strijov V.V. Extracting fundamental periods to segment human motion time series // Journal of Biomedical and Health Informatics, 2015, PP(99). [URL]
Ignatov A., Strijov V. Human activity recognition using quasiperiodic time series collected from a single triaxial accelerometer // Multimedia Tools and Applications, 2015, 17.05.2015 : 1-14. [URL] И прочие работы по этой теме тут www.ccas.ru/strijov
Источник — «http://machinelearning.ru/wiki/index.php?title=%D0%90%D0%BD%D0%B0%D0%BB%D0%B8%D0%B7_%D0%BF%D0%BE%D0%B2%D0%B5%D0%B4%D0%B5%D0%BD%D0%B8%D1%8F_%D0%BF%D0%BE_%D1%81%D0%B8%D0%B3%D0%BD%D0%B0%D0%BB%D0%B0%D0%BC_%D0%BD%D0%BE%D1%81%D0%B8%D0%BC%D1%8B%D1%85_%D1%83%D1%81%D1%82%D1%80%D0%BE%D0%B9%D1%81%D1%82%D0%B2»
Личные инструменты