Байесовские методы машинного обучения (Спецсеминар)

Материал из MachineLearning.

Версия 14:11, 18 сентября 2009

Основные направления работы семинара

Семинар (рук. н.с. каф. ММП ф-та ВМК МГУ, к.ф.-м.н. Д.П. Ветров, м.н.с. ВЦ РАН Д.А. Кропотов) проводится для студентов каф. ММП, ф-та ВМК МГУ, но открыт для всех желающих. Основным направлением работы семинара является исследование и применение т.н. байесовского подхода к теории вероятностей в решении задач машинного обучения и компьютерного зрения. Байесовские методы получили большое распространение в мире в течение последних 15 лет. Их основными достоинствами является

• возможность автоматической настройки структурных параметров алгоритмов машинного обучения (выбор количества кластеров, определение коэффициента регуляризации, отбор релевантных признаков и объектов, определение топологии нейросети и пр.);
• корректная работа с фактами, достоверность которых точно неизвестна, позволяющая обобщить методы классической булевой логики на ситуации, содержащие значительный элемент неопределенности, которая позволяет успешно применить байесовские методы в экспертных системах;
• возможность учета структурных и вероятностных взаимосвязей в массивах данных, опирающаяся на активно развиваемый в настоящее время аппарат графических моделей;
• представление данных и настраиваемых параметров, позволяющее объединять результаты наблюдений косвенных показателей неизвестной величины с априорными представлениями о ее характерных значениях.

Участники спецсеминара активно участвуют в теоретической работе по разработке новых методов настройки структурных параметров и алгоритмов машинного обучения для нестандартных задач, а также занимаются прикладными исследованиями в области когнитивных технологий.

Методическая поддержка спецсеминара осуществляется спецкурсами «Байесовские методы машинного обучения» и «Структурные методы анализа изображений и сигналов», читаемых на факультете ВМК.

Прикладные проекты

Построение трехмерной модели мозга мыши и статистический анализ экспрессии генов в мозге

Множественный трекинг лабораторных животных

Одним из основных инструментов в современных когнитивных исследованиях являются методы анализа поведения человека или животного. Построение описания поведения вручную является очень трудоемким процессом, поэтому все большую популярность получают системы автоматического анализа поведения. Такие системы, как правило, включают в себя модуль видеонаблюдения, модуль сегментации видеосигнала (выделения в нем элементарных структурных единиц поведения — поведенческих актов) и модуль поиска закономерностей в поведении. Первичным элементом любой системы автоматического анализа поведения является модуль видеонаблюдения, позволяющий осуществлять сопровождение наблюдаемого объекта (трекинг) и, возможно, оценивать ряд его характеристик, например, геометрическую форму, скорость и т. п. Наибольшее распространение такие системы получили для наблюдения за лабораторными мышами. Серьезным ограничением современных систем видеонаблюдения за животными является их неспособность осуществлять наблюдение и идентификацию одновременно для нескольких животных, находящихся в клетке. Это сильно ограничивает область их применения, т.к. не позволяет анализировать социальное поведение. Кроме того, большую часть времени вне экспериментов животное проводит в т.н. домашней клетке, содержащей обычно 3–5 мышей. Для изучения изменений поведения животного в течение долгих интервалов времени (недели, месяцы) желательно осуществлять видеонаблюдение за ним и в домашней клетке. Современные технологии позволяют это сделать аппаратно, но надежных методов для множественного трекинга и идентификации мышей в клетке до сих пор не создано. Это связано в первую очередь со сложностями при разделении мышей, которые любят сбиваться в кучку и находиться в тесном телесном контакте, а также с персонификацией найденных особей. Видео

Определение поведенческих актов животного по данным видеонаблюдения

Нахождение скрытых закономерностей в поведении

Анализ изображений клеточных структур

Теоретическая работа

Непрерывное обобщение информационного критерия Акаике в задачах регрессии и классификации

Недиагональная регуляризация обобщенных линейных моделей

Рассмотрен новый тип процедуры регуляризации в Байесовских методах классификации. В основе предлагаемого подхода лежит приведение матрицы гессиана логарифма функции правдоподобия к диагональному виду с последующей независимой регуляризацией вдоль собственных векторов. Это позволяет представить обоснованность (evidence) в виде произведения одномерных интегралов, из-за чего процесс автоматического определения коэффициентов регуляризации сходится за одну итерацию. В качестве примеров показано использование данного подхода для Гауссовского и Лапласовского априорных распределений. В обоих случаях качество полученного решения сравнимо с тем, которое дает метод релевантных векторов RVM (Relevance Vector Machine), при этом время обучения метода меньше, а разреженность решающего правила выше.

Автоматическое определение количества компонент в EM-алгоритме восстановления смеси нормальных распределений

Классический ЕМ-алгоритм восстановления смеси нормальных распределений не позволяет определять количество компонент смеси. В работе предлагается алгоритм автоматического определения числа компонент ARD EM, основанный на методе релевантных векторов. Идея алгоритма состоит в использовании на начальном этапе заведомо избыточного количества компонент смеси с дальнейшим определением релевантных компонент с помощью максимизации обоснованности. Эксперименты на модельных задачах показывают, что количество найденных кластеров либо совпадает с истинным, либо немного превосходит его. Кроме того, кластеризация с помощью ARD EM оказывается ближе к истинной, чем у аналогов, основанных на скользящем контроле и принципе минимальной длины описания.

Статья, PDF [670Кб].

См. также

EM-алгоритм с последовательным добавлением компонент