Конкурс Avito.ru-2014: распознавание контактной информации на изображениях
Материал из MachineLearning.
Конкурс по распознаванию контактной информации на изображениях Avito.ru — конкурс по решению прикладной задачи из области анализа изображений, проводимый в рамках 10-й Международной конференции «Интеллектуализация обработки информации-2014» (ИОИ-2014), Греция, о. Крит, 4-11 октября 2014 года.
Конкурс проводится компанией Avito.ru при организационной поддержке компании Форексис.
Вопросы организаторам конкурса можно задавать в обсуждении этой страницы для зарегистрированных на портале MachineLearning.ru пользователей, либо по почте competition.avito.2014@forecsys.ru с указанием в теме письма «Вопрос».
Предварительный рейтинг участников.
Ключевые даты конкурса
01.10 – Старт конкурса
до 04.11 23:59 – Регистрация участников
до 11.11 23:59 – Обучения алгоритмов
до 13.11 23:59 – Сбор алгоритмов участников
14.11 – Предоставление контрольной выборки C и ответов для выборки B
15.11 – 18.11 – Сбор результатов алгоритмов на контрольной выборке C
19.11 – 09.12 – Определение победителей и проверка на воспроизводимость результатов, публикация презентаций победителей на портале MachineLearning.ru
Avito.ru
Avito.ru является самым большим в России сайтом объявлений. Миллионы людей ежедневно заходят на портал, чтобы продать или купить практически всё, что пожелают: от цифровой техники и одежды до автомобилей и недвижимости. Объявления размещают частные лица, предприниматели и компании, поэтому на Avito.ru можно купить как бывшие в употреблении вещи, так и абсолютно новые товары.
Миссия Avito.ru — соединить продавцов и покупателей по всей России, изменив их повседневную жизнь к лучшему.
На Avito.ru более 24 миллионов активных объявлений и каждый день огромное количество объявлений создается или изменяется. Эффективность Avito.ru в значительной степени зависит от качества заполнения содержания объявлений, поскольку качественные объявления позволяют покупателям оперативно находить подходящие предложения, а продавцам - продавать свои товары за считанные часы.
Описание задачи
По правилам Avito.ru в объявлении контактная информация продавца (например, телефон, e-mail, ссылка на сайт) должна быть указана в соответствующих текстовых полях. Это позволяет организовать удобный поиск для покупателей, эффективно находить дубликаты объявлений, организовывать черные списки недобросовестных продавцов и выявлять другие нарушения. Типичным нарушением является заполнение текстовых полей объявления недействительной контактной информацией, в то же время, на изображении предоставляется актуальная информация.
Цель конкурса – создание эффективного алгоритма распознавания изображений, содержащих контактную информацию.
Справа приведены два примера изображений с контактной информацией.
Описание данных
Исходная выборка, выборка A, содержит 41 122 изображения, классифицированных на два класса:
- 1 – имеется контактная информация (12031),
- 0 – нет контактной информации (29091).
Выборка A используется для настройки алгоритмов участниками.
Еще 10 000 изображений являются тестовыми, выборка B, – ответы по ним известны только организаторам. Тестовые данные будут использоваться для составления промежуточного рейтинга участников, который, согласно правилам обновляется два раза в неделю.
И, наконец, третья выборка, выборка C, – контрольная, предоставляется участникам на третьем этапе конкурса и содержит 10 000 изображений. Контрольная выборка будет использоваться для определения победителей конкурса. Подробнее об этапах конкурса .
Изображения имеют формат jpg, ответы по обучающей выборке представлены в csv-файле в формате Id, label, где Id – имя файла изображения, а label – метка класса, 0 или 1.
Данные можно скачать по ссылкам:
Выборка A – папка содержит обучающие картинки в формате jpg.
Выборка B – папка содержит тестовые картинки в формате jpg.
Метки классов объектов обучающей выборки – csv-файл содержит метки классов для выборки A.
Функционал качества алгоритма распознавания
Качество работы алгоритмов распознавания оценивается показателем AUC – площадь под ROC-кривой.
Реализация функционала качества AUC в среде Matlab:
[X,Y,T,AUC] = perfcurve(labels,scores,posclass);
Регистрация участников
Для регистрации в конкурсе участнику необходимо до 04 ноября 2014 года 23:59 прислать письмо на адрес competition.avito.2014@forecsys.ru с темой «Регистрация», содержащее никнейм участника – имя/псевдоним, которое будет отображаться в предварительном рейтинге участников, формируемом в течение первого этапа. Электронный адрес отправителя письма будет использоваться для идентификации участника.
Заявкой на регистрацию в конкурсе Вы подтверждаете, что ознакомились и согласны с Правилами конкурса.
Этапы и сроки проведения конкурса
Конкурс проходит в два этапа.
Этап первый: настройка алгоритмов распознавания
Этап проходит с момента объявления конкурса 01.10.2014 и до 11 ноября 2014 года, 23:59 по московскому времени.
В течение этого времени участники настраивают свои алгоритмы на обучающей части данных конкурсной задачи (выборка A).
Для проверки качества алгоритмов и составления предварительного рейтинга результатов участники отправляют файл с результатами на выборке B на почту competition.avito.2014@forecsys.ru, указав в теме письма «Результаты B: Никнейм участника» (письмо должно быть отправлено с того же электронного адреса, что и при регистрации участника).
Результаты представляются в csv-формате (образец файла здесь). Рекомендуеиый формат имени файла “YYYYMMDD_Никнейм_участника_Results_B_version1.csv”. Файл с результатами содержит два столбца: в первом столбце указаны идентификаторы изображений (имена файлов), а во втором – вещественные оценки вероятностей нахождения на картинках контактной информации. Значения оценок вероятностей должны принадлежать отрезку [0,1]. Пропуски и строковые не допускаются.
Два раза в неделю – понедельник и четверг до 23:59 по московскому времени – осуществляется прием писем с оценками вероятностей для выборки B для составления очередного предварительного рейтинга участников. В течение следующего рабочего дня будет обновлен предварительных рейтинг результатов участников. Для расчета рейтинга используются результаты участника, полученные в последнем письме.
До 13 ноября 23:59 по московскому времени участники должны прислать ZIP-архив c файлами программы алгоритма. Программа алгоритма будет использована для проверки воспроизводимости результатов участника, претендующего на победу в конкурсе, на контрольной выборке C. Участники, не приславшие вовремя свои алгоритмы, не смогут претендовать на победу в конкурсе.
Этап второй: применение алгоритмов на контрольной выборке C
14 ноября 2014 года участникам предоставляется для скачивания контрольная выборка C.
С 15 по 18 ноября 2014 23:59 по московскому времени участники высылают результаты работы алгоритмов на выборке C (образец файла здесь) на почтовый адрес competition.avito.2014@forecsys.ru, указав в теме письма «Результаты C: Никнейм участника». Рекомендуемый формат имени файла “YYYYMMDD_Никнейм_участника_Results_C_version1.csv”.
Последние присланные участником результаты до 18 ноября 2014 23:59 на контрольной выборке C будут использованы при определении победителей конкурса.
Процедура определения победителей и призовой фонд
Победителем конкурса (первое место) станет участник, алгоритм которого продемонстрировал наилучший результат на контрольной выборке C.
Второе место займет участник, показавший наилучший результат на контрольной выборке C среди тех участников, которые использовали только некоммерческое ПО. В случае, если первое место занял участник, пользующийся только некоммерческим ПО, второе место достанется следующему по оценке качества алгоритма по результатам на выборке C среди тех, кто использовал только некоммерческое ПО.
Воспроизводимость результата работы алгоритма участника с использованием присланной ранее программы алгоритма является обязательным условием получения призового места. Предоставление организаторам необходимого ПО и помощь в воспроизведении результатов является обязанностью участника. Кроме того, участник, претендующий на победу в конкурсе, должен подготовить описание алгоритма.
Денежная премия:
- 1-е место 100 000 рублей (без учета налогов).
- 2-е место 50 000 рублей (без учета налогов).
- 1-е место 100 000 рублей (без учета налогов).
Публикация презентаций победителей
Победителям конкурса предоставляется возможность опубликовать презентации своих алгоритмов на странице конкурса. Презентация должна кратко и наглядно иллюстрировать подход участника к решению задачи, применяемые методы и полученные результаты. Формат и содержание презентации согласуются с организаторами.
Требования к программному обеспечению
Приветствуется, в первую очередь, использование программного обеспечения (ПО), которое не требует лицензии для коммерческого использования. Использование коммерческого ПО также допускается.
К ПО предъявляется одно общее требование – возможность воспроизведения организаторами результатов участника без приобретения каких-либо лицензий, например, используя тестовые версии соответствующего ПО, которые находятся в открытом доступе на сайте производителя.
Предоставление организаторам необходимого ПО и помощь в воспроизведении результатов является обязанностью участника.
Требования к описанию алгоритма распознавания
Требуется предоставить Word или PDF документ на русском языке с описанием Вашего алгоритма по следующему шаблону:
- Идентификация
Никнейм и адрес электронной почты. - Аннотация
4-6 предложений, объясняющих общий подход к построению алгоритма, включающих, например, принципы генерации или отбора признаков и метод обучения.
- Генерация и отбор признаков
Описание метода генерации и/или отбора признаков изображений. Список и общее описание выбранных признаков.
- Процесс обучения
Описание деталей метода обучения, использованного для построения алгоритма. Если комбинировались или объединялись разные методы, опишите каким образом. - Описание программы алгоритма
Для каждой функции опишите:
- входные переменные
- выходные переменные
- что функция делает
- Все программные файлы должны быть присланы в том же письме в отдельном архиве. Сам код должен содержать подробные и понятные комментарии.
- Зависимости
Список зависимостей, библиотек, функций, пакетов или код других сторонних компаний, использованных для создания алгоритма. - Инструкция по воспроизведению (аналог README файла)
Пошаговая инструкция для создания проекта из приведенного кода. - Дополнительные комментарии и наблюдения
Любые дополнительные комментарии или наблюдения, которые у Вас есть по поводу данных, алгоритма или процесса улучшения алгоритма. - Графики
Графики или картинки, которые Вы сделали из данных или в процессе обучения и которые показались Вам полезными или интересными. - Ссылки
Необходимые ссылки или другие внешние источники информации.
