|
|
(67 промежуточных версий не показаны.) |
Строка 1: |
Строка 1: |
- | {{TOCright}} | + | {{notice| |
- | ==Конкурс Avito-2016: Распознавание категории объявления==
| + | '''Официальная страница конкурса'''<br/> |
- | '''Конкурс по распознаванию категории объявления Avito-2016''' — это конкурс по решению прикладной задачи из области анализа изображений и текстов, проводимый при информационной поддержке 11-й Международной конференции [http://www.mmro.ru/ «Интеллектуализация обработки информации»]. | + | Официальная страница конкурса теперь расположена на портале [http://dataring.ru/competitions/avito-category/ DataRing.ru]. |
| + | }} |
| | | |
- | Организаторы конкурса – компания «КЕХ еКоммерц» (сайт объявлений [http://www.avito.ru/ Avito]) и ее партнер – компания [[Форексис]].
| + | Информационные партнеры конкурса - 11-я Международная конференция [http://mmro.ru/ «Интеллектуализация обработки информации»] и [https://developer.nvidia.com/deep-learning портал компании Nvidia], посвященный Deep Learning.<br/> |
| | | |
- | Вопросы организаторам конкурса можно задавать по электронной почте на адрес [mailto:competitions@forecsys.ru competitions@forecsys.ru] с указанием в теме письма «Avito-2016: Вопрос».
| + | Информационные партнеры конкурса - 11-я Международная конференция [http://mmro.ru/ «Интеллектуализация обработки информации»] и компания [http://www.nvidia.ru/page/home.html Nvidia].<br/> |
| | | |
- | С информацией об организаторе конкурса, правилах его проведения, количестве наград, сроках, месте и порядке их получения можно ознакомиться [[Media:Competition avito 2016 2 rules.pdf|здесь]].
| + | Информационные партнеры конкурса - 11-я Международная конференция [http://mmro.ru/ «Интеллектуализация обработки информации»] и компания [http://www.nvidia.ru/page/home.html Nvidia] ([https://developer.nvidia.com/deep-learning тематический ресурс] Nvidia Deeplearning).<br/> |
| | | |
- | [[Конкурс Avito-2016: Распознавание категории объявления/Рейтинг участников|Предварительный рейтинг участников]].
| + | ==Письмо от Nvidia== |
| + | Дополнительно специально рассказывать про NV тем кто применяет DL нет смысла, они и так без наших продуктов едва ли смогут обойтись. Однако рассказывать про DL тем кто этой технологией не пользуется – это может быть осмысленно. |
| + | |
| + | Думаю что мы с вами могли бы быть полезны друг другу следующим образом – вы проводите конкурс для какого-то из партнеров, мы сделаем анонс этого конкурса по нашим каналам (сайт, группы, блоги, альманах, рассылка по ВУЗам…), а вы отдельно где-то в информации о конкурсе можете написать что-то типа рекомендации использовать новейшие GPU NVIDIA, или просто дать ссылку на наш портал для разработчиков посвященный DL тематике или еще что-то… |
| | | |
- | С предыдущими конкурсами [[Конкурс_Avito.ru-2014:_распознавание_контактной_информации_на_изображениях|Avito-2014]], [[Конкурс_Avito-2015:_Распознавание_отклика_на_маркетинговое_предложение|Avito-2015]] и [[Конкурс_Avito-2016:_Распознавание_марки_и_модели_автомашин_на_изображениях|Avito-2016]] можно ознакомиться на соответствующих страницах.
| + | Вот ссылка на портал по DL : https://developer.nvidia.com/deep-learning |
| + | (тут выложены и курсы обучения и инструменты, и ПО, и сэмплы…) |
| + | |
| + | Лого во вложении. |
| + | Текст: |
| + | About NVIDIA |
| + | NVIDIA (NASDAQ: NVDA) is a computer technology company that has pioneered GPU-accelerated computing. It targets the world’s most demanding users — gamers, designers and scientists — with products, services and software that power amazing experiences in virtual reality, artificial intelligence, professional visualization and autonomous cars. More information at http://nvidianews.nvidia.com/. |
| | | |
- | ==Ключевые даты конкурса== | + | ==Конкурс Avito-2016: Распознавание категории объявления== |
- | '''13 июня 2016 года''' – Старт конкурса<br /> | + | '''Конкурс по распознаванию категории объявления Avito-2016''' — это конкурс по решению прикладной задачи из области анализа изображений и текстов, проводимый при информационной поддержке 11-й Международной конференции [http://mmro.ru/ «Интеллектуализация обработки информации»]. |
| | | |
- | 1 этап (изображения):
| + | Организаторы конкурса – компания «КЕХ еКоммерц» (сайт объявлений [http://www.avito.ru/ Avito]) и ее партнер – компания [[Форексис]]. <br/> |
- | :'''13 июня 2016 года''' – Старт 1 этапа<br />
| + | Призовой фонд конкурса - '''500 000 рублей.''' |
- | :'''до 23:59 24 июня 2016 года''' – Предоставление результатов участниками и регулярный расчет предварительного рейтинга<br />
| + | |
- | :'''до 23:59 31 июня 2016 года''' – Определение победителей 1 этапа<br />
| + | |
- | 2 этап (изображения + заголовки):
| + | |
- | :'''01 августа 2016 года''' – Старт 2 этапа<br />
| + | |
- | :'''до 23:59 21 августа 2016 года''' – Предоставление результатов участниками и регулярный расчет предварительного рейтинга<br />
| + | |
- | :'''до 23:59 28 августа 2016 года''' – Определение победителей 2 этапа<br />
| + | |
- | 3 этап (изображения + заголовки + описания):
| + | |
- | :'''29 августа 2016 года''' – Старт 3 этапа<br />
| + | |
- | :'''до 23:59 28 сентября 2016 года''' – Предоставление результатов участниками и регулярный расчет предварительного рейтинга<br />
| + | |
- | :'''до 23:59 02 октября 2016 года''' – Определение победителей 3 этапа<br />
| + | |
| | | |
- | '''до 23:59 14 октября 2016 года''' – Публикация презентаций победителей каждого из этапов на странице конкурса<br />
| + | Для участия в конкурсе и получения доступа к данным необходимо пройти процедуру регистрации описанную в разделе [[Конкурс_Avito-2016:_Распознавание_категории_объявления#Регистрация_участников|Регистрация участников]]. |
| + | Вопросы организаторам конкурса можно задавать по электронной почте на адрес [mailto:competitions@forecsys.ru competitions@forecsys.ru] с указанием в теме письма «Avito-2016: Вопрос». |
| | | |
- | ==Avito==
| + | С предыдущими конкурсами [[Конкурс_Avito.ru-2014:_распознавание_контактной_информации_на_изображениях|Avito-2014]], [[Конкурс_Avito-2015:_Распознавание_отклика_на_маркетинговое_предложение|Avito-2015]] и [[Конкурс_Avito-2016:_Распознавание_марки_и_модели_автомашин_на_изображениях|Avito-2016]] можно ознакомиться на соответствующих страницах. |
- | [http://www.avito.ru/ Avito] является самым большим в России сайтом объявлений. Миллионы людей ежедневно заходят на портал, чтобы продать или купить практически всё, что пожелают: от цифровой техники и одежды до автомобилей и недвижимости. Объявления размещают частные лица, предприниматели и компании, поэтому на Avito.ru можно купить как бывшие в употреблении вещи, так и абсолютно новые товары.На Avito более 24 миллионов активных объявлений и каждый день огромное количество объявлений создается или изменяется. | + | |
| | | |
- | Миссия Avito.ru — соединить продавцов и покупателей по всей России, изменив их повседневную жизнь к лучшему.
| + | С информацией об организаторе конкурса, правилах его проведения, количестве наград, сроках, месте и порядке их получения можно ознакомиться [[Media:Competition avito 2016 2 rules.pdf|здесь]]. |
| | | |
- | ==Описание задачи==
| + | Если Вы хотите узнавать о новых конкурсах еще до их старта, напишите письмо на адрес [mailto:competitions@forecsys.ru competitions@forecsys.ru] с темой «Подписка». |
- | По правилам Avito при создании объявления пользователю требуется указать его категорию. При этом любой человек с весьма хорошей точностью сможет понять, о какой категории идет речь, если увидит фотографию продаваемого товара, заголовок объявления и текстовое описание. Задача конкурса состоит в том, чтобы создать алгоритм, способный делать это автоматически. Это упростит жизнь миллионам пользователей, а также снизит число ошибочно заполненных категорий объявлений.
| + | |
| | | |
- | Весной 2016 года [[Конкурс_Avito-2016:_Распознавание_марки_и_модели_автомашин_на_изображениях|прошел]] конкурс по распознаванию марки и модели автомашин на изображениях Avito-2016. В конкурсе требовалось построить алгоритм, который бы классифицировал марку и модель автомобиля по его фотографии с хорошей точностью (была достигнута точность боле 96%). Другими словами, для объявления о продаже авто требовалось определить его конкретную подкатегорию. В новом конкурсе перед участниками стоит в некотором смысле аналогичная задача: для объявления произвольной тематики определить его категорию.
| + | [[Конкурс Avito-2016: Распознавание категории объявления/Рейтинг участников|Предварительный рейтинг участников]]. |
- | | + | |
- | '''Цель конкурса''' – создание эффективного алгоритма определения категории объявления.
| + | |
- | | + | |
- | Этот конкурс представляет из себя длительный "марафон": это три последовательных этапа с одной и той же задачей и постепенно расширяющимся набором признаков. Основная задача - определить категорию объявления.
| + | |
- | | + | |
- | Этот конкурс представляет из себя длительный "марафон": на трех последовательных этапах участникам предстоит решать задачу определения категории объявления с постепенно расширяющимся набором признаков.
| + | |
- | | + | |
- | На первом этапе объявления представлены одним или несколькими изображениями.<br />
| + | |
- | На втором этапе в дополнение к имеющимся данным выгружаются заголовки объявлений.<br />
| + | |
- | На третьем этапе ко всему этому добавляются текстовые описания товаров.
| + | |
- | | + | |
- | Ниже приведены примеры изображений, заголовков и описаний продаваемых товаров.
| + | |
- | {| class="wikitable" style="text-align:center"
| + | |
- | |'''Изображение'''
| + | |
- | | width="25%"|[[Изображение:Avito-2016 iphone.jpg|x250px]]
| + | |
- | | width="25%"|[[Изображение:Avito-2016 dress.jpg|x250px]]
| + | |
- | | width="25%"|[[Изображение:Avito-2016 moto.jpg|x250px]]
| + | |
- | | width="25%"|[[Изображение:Avito-2016 shaurma.jpg|x250px]]
| + | |
- | |-align="left"
| + | |
- | |'''Заголовок'''
| + | |
- | |iPhone 5 16GB white
| + | |
- | |Платье на выпускной
| + | |
- | |CBR1000RR
| + | |
- | |Павильон по продаже шаурмы в проходном месте
| + | |
- | |-align="left"
| + | |
- | |'''Описание'''
| + | |
- | |Телефон в идеальном состоянии,пользовалась девушка.
| + | |
- | Обмен не предлагать.
| + | |
- | | + | |
- | |РБ/у один раз.
| + | |
- | Торг.
| + | |
- | |Без падений, в родном пластике, 21000пробег, пригнан в 2014, первый хозяин в России. Новая резина, все в идеале!
| + | |
- | |Продается бизнес по продаже продуктов быстрого питания в проходном месте! Территориально м.авиамоторная...
| + | |
- | |-align="left"
| + | |
- | |'''Категория'''
| + | |
- | |Бытовая электроника/Телефоны
| + | |
- | |Личные вещи/Одежда, обувь, аксессуары
| + | |
- | |Транспорт/Мотоциклы и мототехника
| + | |
- | |Для бизнеса/Готовый бизнес
| + | |
- | |}
| + | |
- | <br clear="all" />
| + | |
- | | + | |
- | ==Описание данных==
| + | |
- | Объектом является объявление. На разных этапах объекты представлены разным набором признаков.
| + | |
- | | + | |
- | На первом этапе объявления представлены изображениями. <br />
| + | |
- | На втором этапе объявления представлены изображениями и заголовками. <br />
| + | |
- | На третьем этапе объявления представлены изображениями, заголовками и описаниями. <br />
| + | |
- | | + | |
- | Целевой характеристикой для объектов является категория. Категория представляет собой 4х-уровневую иерархическую классификацию.
| + | |
- | | + | |
- | Обучающая выборка, '''выборка A''', состоит из 600 000 объявлений, классифицированных на 300 категорий. Эта выборка используется участниками для настройки своих алгоритмов.
| + | |
- | | + | |
- | Контрольная выборка состоит из 300 000 объявлений. Участникам предстоит классифицировать эти объявления по категориям. Эта выборка будет использоваться для составления промежуточного и итогового рейтингов участников. Промежуточный рейтинг будет рассчитываться по 1/3 объявлений из контрольной выборки ('''выборка B'''). Итоговый рейтинг будет рассчитываться в конце каждого этапа по 2/3 объявлений контрольной выборки ('''выборка C'''). Разбиение контрольной выборки на выборки B и C участникам не раскрывается.
| + | |
- | | + | |
- | Изображения имеют формат jpg.
| + | |
- | | + | |
- | Ответы по обучающей выборке представлены в csv-файле в формате id, label, где id – имя файла изображения, а label – метка категории 4го уровня, которая автоматически определяет все родительские категории.
| + | |
- | | + | |
- | Соответствие идентификаторов категорий их названиям указано в файле-словаре.
| + | |
- | | + | |
- | Данные можно получить после регистрации в конкурсе.
| + | |
- | | + | |
- | ==Функционал качества алгоритма распознавания==
| + | |
- | Для каждого объекта точность предсказания категории рассчитывается как взвешенная сумма совпадений предсказания на каждом уровне:
| + | |
- | ::<tex>q_i=0.3\cdot M_i^1+0.3\cdot M_i^2+0.2\cdot M_i^3+0.2\cdot M_i^4</tex>,
| + | |
- | где <tex>M_i^m</tex> равно 1, если категория <tex>m</tex>-го уровня для объекта <tex>i</tex> угадана верно (match), иначе 0.
| + | |
- | | + | |
- | Таким образом, <tex>q_i=1</tex> только в том случае, если категория угадана вплоть до последнего уровня.
| + | |
- | | + | |
- | Если <tex>M_i^m=0</tex>, то это автоматически означает, что <tex>M_i^{m+1}=0</tex>.
| + | |
- | | + | |
- | Общее качество рассчитывается как средняя точность распознавания всех объектов:
| + | |
- | ::<tex>Q=\frac{1}{N}\sum_i{q_i}</tex>,
| + | |
- | где <tex>N</tex> - количество объектов.
| + | |
- | | + | |
- | ==Регистрация участников==
| + | |
- | Для регистрации в конкурсе потенциальному участнику необходимо прислать письмо по электронной почте на адрес [mailto:competitions@forecsys.ru competitions@forecsys.ru] с темой «Avito-2016: Регистрация», содержащее никнейм участника – имя/псевдоним, которое будет отображаться в предварительном рейтинге участников, формируемом в течение первого этапа. Кроме того следует указать источник информации о конкурсе. Адрес электронной почты участника будет использоваться для его идентификации.
| + | |
- | | + | |
- | Заявкой на регистрацию в конкурсе Вы подтверждаете, что ознакомились и согласны с [[Media:Competition avito 2016 2 rules.pdf|Правилами конкурса]].
| + | |
- | | + | |
- | ==Порядок и сроки предоставления участниками результатов==
| + | |
- | | + | |
- | Участники настраивают свои алгоритмы классификации объявлений, используя обучающую выборку A.
| + | |
- | | + | |
- | Для проверки качества алгоритма и составления рейтинга результатов каждый участник отправляет файл с результатами работы алгоритма на контрольной выборке по электронной почте на адрес [mailto:competitions@forecsys.ru competitions@forecsys.ru], указав в теме письма «Конкурс Avito-2016: Результаты Никнейм участника» (письмо должно быть отправлено с того же электронного адреса, что и при регистрации участника).
| + | |
- | | + | |
- | Результаты представляются в csv-формате (образец файла [http://machinelearning.ru/data/competition.avito.2016/20160616_competition_avito_2016_Ivanov_Results.7z здесь]). Рекомендуемый формат имени файла “YYYYMMDD_competition_avito_2016_Никнейм_участника_Results.csv”. Файл с результатами содержит два столбца с заголовками в первой строчке: в первом столбце (adv_id) указаны идентификаторы объявлений, а во втором (label) – идентификаторы класса, к которому алгоритм сопоставил эти объявления. Пропуски и строковые значения не допускаются.
| + | |
- | | + | |
- | Два раза в неделю – '''понедельник и четверг до 23:59''' по московскому времени – заканчивается прием писем с результатами для составления очередного [[Конкурс Avito-2016: Распознавание категории объявления/Рейтинг участников|предварительного рейтинга участников]]. В течение следующего рабочего дня будет обновлен предварительный рейтинг результатов участников. Для расчета рейтинга используются результаты участника, полученные в '''последнем письме''' до указанного времени.
| + | |
- | | + | |
- | Предварительный рейтинг участников будет рассчитан по 1/3 объявлений контрольной выборки (выборка B). Итоговый рейтинг будет рассчитан по 2/3 контрольной выборки (Выборка C). Разбиение контрольной выборки на выборки B и C участникам не раскрывается. | + | |
- | | + | |
- | Для расчета итогового рейтинга участников будет взят последний присланный до конца соответствующего этапа результат.
| + | |
- | | + | |
- | После окончания срока приема результатов и выявления лидеров участники, претендующие на победу предоставляют свои программы, а также описания алгоритмов. При помощи присланных программ и описаний происходит верификация результатов и определение победителей. После этого победителям выплачиваются денежные призы.
| + | |
- | | + | |
- | ==Процедура определения победителей и призовой фонд==
| + | |
- | На каждом этапе награждаются два первых места.
| + | |
- | | + | |
- | Денежная премия:
| + | |
- | :1-е место '''100 000''' рублей (без учета налогов).
| + | |
- | :2-е место '''50 000''' рублей (без учета налогов).
| + | |
- | Jobs:
| + | |
- | :Возможность устроиться в Avito специалистом по анализу данных.
| + | |
- | :Если Вы заинтересованы в работе в Avito, сообщите об этом в регистрационном письме.
| + | |
- | | + | |
- | '''Победителем конкурса''' (первое место) станет участник, алгоритм которого продемонстрировал наилучший результат на контрольной C. <br\>
| + | |
- | '''Второе место''' займет участник, алгоритм которого продемонстрировал второй по качеству результат на выборке С.
| + | |
- | | + | |
- | Информация о победителях будет опубликована на [[Конкурс Avito-2016: Распознавание категории объявления|странице конкурса]].
| + | |
- | | + | |
- | '''Воспроизводимость результата работы алгоритма''' участника с использованием предоставляемой участником программы является обязательным условием признания этого участника победителем конкурса. Предоставление организаторам необходимого ПО и помощь в воспроизведении результатов работы алгоритма является обязанностью участника. Кроме того, участник должен подготовить описание алгоритма.
| + | |
- | | + | |
- | ==Публикация презентаций победителей==
| + | |
- | Победителям конкурса предоставляется возможность опубликовать презентации своих алгоритмов на [[Конкурс Avito-2016: Распознавание категории объявления|странице конкурса]]. Презентация должна кратко и наглядно иллюстрировать подход участника к решению задачи, применяемые методы и полученные результаты. Формат и содержание презентации согласуются с организаторами.
| + | |
- | | + | |
- | ==Требования к программному обеспечению==
| + | |
- | Призовое место участник может занять только в том случае, если он использовал программное обеспечение (ПО), которое не требует лицензии для коммерческого использования.
| + | |
- | | + | |
- | К ПО предъявляется требование – возможность воспроизведения организаторами результатов работы алгоритмов участников.
| + | |
- | | + | |
- | Запрещается использовать различные внешние данные, которые не были согласованы с организаторами.
| + | |
- | | + | |
- | Предоставление организаторам необходимого ПО и помощь в воспроизведении результатов является обязанностью участника.
| + | |
- | | + | |
- | ==Требования к описанию алгоритма распознавания==
| + | |
- | Требуется предоставить файл формата .doc, docx или .pdf с описанием алгоритма на русском языке по следующему шаблону:
| + | |
- | # '''Идентификация''' <br />Никнейм и адрес электронной почты участника.
| + | |
- | # '''Аннотация''' <br />4-6 предложений, объясняющих общий подход к построению алгоритма, включающих, например, принципы генерации или отбора признаков и метод обучения.<br />
| + | |
- | # '''Генерация и отбор признаков''' <br />Описание метода генерации и/или отбора признаков изображений. Список и общее описание выбранных признаков. <br />
| + | |
- | # '''Процесс обучения'''<br />Описание деталей метода обучения, использованного для построения алгоритма. Если комбинировались или объединялись разные методы, опишите каким образом.
| + | |
- | # '''Описание программы алгоритма''' <br />Для каждой функции:<br />
| + | |
- | #*входные переменные
| + | |
- | #*выходные переменные
| + | |
- | #*что функция делает<br />
| + | |
- | # '''Зависимости'''<br />Список зависимостей, библиотек, функций, пакетов или код других сторонних компаний, использованных для создания алгоритма.
| + | |
- | # '''Инструкция по воспроизведению''' (аналог README файла)<br />Пошаговая инструкция для создания проекта из приведенного кода.
| + | |
- | # '''Дополнительные комментарии и наблюдения''' <br />Любые дополнительные комментарии или наблюдения по поводу данных, алгоритма или процесса улучшения алгоритма.
| + | |
- | # '''Графики'''<br />Графики или картинки, которые были сделаны из данных или в процессе обучения и которые показались полезными или интересными.
| + | |
- | # '''Ссылки'''<br/> Необходимые ссылки или другие внешние источники информации.
| + | |
- | == Подстраницы ==
| + | |
- | {{Служебная:Prefixindex/Конкурс Avito-2016: Распознавание категории объявления/}}
| + | |
- | | + | |
- | [[Категория:Конкурс Avito-2016]]
| + | |
Дополнительно специально рассказывать про NV тем кто применяет DL нет смысла, они и так без наших продуктов едва ли смогут обойтись. Однако рассказывать про DL тем кто этой технологией не пользуется – это может быть осмысленно.
Думаю что мы с вами могли бы быть полезны друг другу следующим образом – вы проводите конкурс для какого-то из партнеров, мы сделаем анонс этого конкурса по нашим каналам (сайт, группы, блоги, альманах, рассылка по ВУЗам…), а вы отдельно где-то в информации о конкурсе можете написать что-то типа рекомендации использовать новейшие GPU NVIDIA, или просто дать ссылку на наш портал для разработчиков посвященный DL тематике или еще что-то…
Лого во вложении.
Текст:
About NVIDIA
NVIDIA (NASDAQ: NVDA) is a computer technology company that has pioneered GPU-accelerated computing. It targets the world’s most demanding users — gamers, designers and scientists — with products, services and software that power amazing experiences in virtual reality, artificial intelligence, professional visualization and autonomous cars. More information at http://nvidianews.nvidia.com/.
Для участия в конкурсе и получения доступа к данным необходимо пройти процедуру регистрации описанную в разделе Регистрация участников.
Вопросы организаторам конкурса можно задавать по электронной почте на адрес competitions@forecsys.ru с указанием в теме письма «Avito-2016: Вопрос».
С информацией об организаторе конкурса, правилах его проведения, количестве наград, сроках, месте и порядке их получения можно ознакомиться здесь.
Если Вы хотите узнавать о новых конкурсах еще до их старта, напишите письмо на адрес competitions@forecsys.ru с темой «Подписка».