Участник:Amolchanov/Детекция движения
Материал из MachineLearning.
| На странице изложена примерная структура будущей статьи посвященной исследованию задачи детекции движения транспортных средств в видеоданных студентом Андреем Молчановым в рамках работы над дипломом |
Содержание |
Дневник исследователя
Оформил покадровую обработку как отдельный класс, отвечающий за фильтрацию. Также добавил морфологию. После добавления, изображение, как и ожидалось слегка сгладилось, дырки пропали. В ближайших планах обнаружение объектов с помощью стропов. --amolchanov 23:54, 27 апреля 2010 (MSD)
Более подробно описал работу над проектом здесь. Сейчас думаю, какую структуру данных лучше выбрать для хранения информации о пятнах и треках. --amolchanov 16:36, 10 мая 2010 (MSD)
Предпосылки
При исследовании некоторых задач, связанных с анализом поведения автомобильного потока, возникает необходимость получения экспериментальных данных.
Примером такой задачей может быть построение модели движения автомобилей по еще не построенной трассе с целью определения вероятности возникновения пробок. Для анализа такой модели необходимо будет наполнить ее объектами-машинами, которые будут передвигаться по определенным правилам. Для того, чтобы модель как можно больше соответствовала реальности, правила, по которым будут передвигаться машины, должны основываться на данных о передвижении машин, полученных с действующих дорог.
Существует несколько методов получения таких данных. Например, могут использоваться специальные устройства, устанавливаемые в сам автомобиль и снимающие данные с его систем управления.
В моей работе изучается другой подход — восстановление данных по видеозаписи определенного участка трассы.
Постановка задачи
Используя видеозапись участка дороги восстановить треки машин, проезжающих по этому участку. Под треком понимается соответствие временным точкам позиции машины в реальном пространстве.
Так как данные будут использоваться лишь в отдельно проводимых далее экспериментах, задача восстановления в режиме реального времени не ставится.
Описание исходных данных
Анализируемая видеозапись участка дороги. На данном этапе решения задачи, под видеозаписью понимается последовательность BMP-файлов, находящихся в одной директории. Это сделано дл того, чтобы избежать технических сложностей, связанных с обработкой видео-файлов, закодированных с помощью различных кодеков.
Кроме видеозаписи может использоваться дополнительная информация об участке дороги. Это может быть например, указанный участок кадра, в котором могут быть автомобили. Либо это может быть информация о перспективе, необходимая для перевода экранных координат в пространственные.
Требуемый результат
Восстановленные треки машин, проехавших по участку дороги и попавших на видеозапись. Понятно, что если легковой автомобиль всю запись был загорожен большим грузовиком, то мы никак не сможем получить о нем информацию.
Кроме того, заранее предполагается некоторый небольшой процент ошибок, связанных с тем, что данная задача в традиционном смысле не разрешима в принципе.
Этапы решения задачи
Подготовка видеозаписи
Необходимо конвертировать видеозапись произвольного формата в последовательность кадров, сохраненных в формате Bitmap. Предполагается решение задачи вручную с использованием программы VirtualDub и соответствующих кодеков. В частности, для подготовки тестовой видеозаписи использовался кодек MPEG-2 / DVD (by fcchandler).
Выделение перемещающихся пятен на кадрах
Для обработки траекторий машин нам необходимо обнаруживать их. Выделение множеств точек, соответствующих машинам на кадре базируется на гипотезе 1.
Гипотеза 1. Если взять разность двух последовательных кадров, то значение точки в кадре будет тем больше, чем выше вероятность того, что в этом месте находится машина (на обоих кадрах).
Обоснование гипотезы 1. Примерная скорость автомобиля на трассе - 70 километров в час, это около 20 метров в секунду. В видеозаписи на 1 секунду приходится 25 кадров. Таким образом, за один кадр машина сдвигается на расстояние чуть меньше метра. Длина машины - приблизительно 2-3 метра. В результате получается, что изменяется цвет пикселей, соответствующих объединению множеств, относящихся к позициям одной машины на соседних кадрах, и это объединение будет не сильно отличаться от множества, относящегося к машине на одном кадре.
Итак, для выделения пятен, относящихся к движущимся машинам, можно использовать последовательное вычитание соседних кадров. Кроме того, так как нам необходимо однозначно считать, относится ли пиксель к пятну или нет, необходимо выполнять бинаризацию с некоторым порогом. Значение порога было подобрано опытным путем.
Кроме пятен, относящихся к движущимся машинам, на некоторых кадров появляются шумы, возникающие из-за посторонних объектов, например качающихся деревьев, или дрожания камеры. Для борьбы с этим выполняется удаление отдельно находящихся пикселей. Такое удаление возможно в соответствии с гипотезой 2.
Гипотеза 2. Пятна, состоящие из 1 пикселя, соответствуют не движущимся машинам, а шумам.
Обоснование гипотезы 2. Машина может иметь размер в 1 пиксель в следующих случаях:
- Видна лишь малая часть машины потому, что остальная ее часть находится за кадром
- Видна лишь малая часть машины потому, что остальная ее часть загорожена неподвижным объектом (например, дорожным знаком)
- Машина находится очень далеко и имеет малый размер на кадре в соответствии с законами перспективы
В первом и втором случаях мы можем проигнорировать эту машину потому, что она проявится на других кадрах в нормальном размере. В третьем случае мы не обрабатываем машину по причине того, что на таком расстоянии все равно не удастся эффективно восстанавливать треки.
Мы предполагаем, что машина не имеет сквозных отверстий. Соответственно, пятна также не должны иметь внутренних полостей и мы закрашиваем их.
Для улучшения результата мы можем связать близко примыкающие области с помощью морфологической обработки. Она состоит из последовательной дилатации (расширения черных областей), закраски внутренних областей и обратной дилатации (расширение белой области). Такая обработка позволяет бороться с тем эффектом, когда машина распадается на несколько пятен. С другой стороны, она в некоторой степени способствует объединению пятен, относящимся к разным близко находящимся машинам, в одно большое пятно.
В итоге для поиска таких пятен предпринимается следующая последовательность действий:
- Вычитание предыдущего кадра из текущего
- Бинаризация с некоторым порогом
- Удаление отдельно находящихся точек (не имеющих соседей)
- Дилатация с размером ядра 1
- Морфологическая обработка кадра
Связывание информации о пятнах между кадрами
Находится на этапе решения.
Текущие результаты
Из предложенной видеозаписи выделяются машины с высокой степенью четкости.
Ссылки на файлы
Файлы отправил на почту, так как здесь файлы не выкладываются.
Ссылки на литературу
- Р. Гонсалес, Р. Вудс, «Цифровая обработка изображений» (на OZON.ru)
- Шани Растопман (?)
