Участник:Pavel Levdik/Песочница

Материал из MachineLearning.

< Участник:Pavel Levdik(Различия между версиями)
Перейти к: навигация, поиск
(→Описание задачи)
Текущая версия (11:35, 16 августа 2016) (править) (отменить)
 
(95 промежуточных версий не показаны.)
Строка 1: Строка 1:
-
{{TOCright}}
+
{{notice|
-
==Конкурс Avito-2016-2: Распознавание категории объявления==
+
'''Официальная страница конкурса'''<br/>
-
'''Конкурс по распознаванию категории объявления Avito-2016''' — это конкурс по решению прикладной задачи из области анализа изображений и текстов, проводимый при информационной поддержке 11-й Международной конференции [http://www.mmro.ru/ «Интеллектуализация обработки информации»].
+
Официальная страница конкурса теперь расположена на портале [http://dataring.ru/competitions/avito-category/ DataRing.ru].
 +
}}
-
Организаторы конкурса – компания «КЕХ еКоммерц» (сайт объявлений [http://www.avito.ru/ Avito]) и ее партнер – компания [[Форексис]].
+
Информационные партнеры конкурса - 11-я Международная конференция [http://mmro.ru/ «Интеллектуализация обработки информации»] и [https://developer.nvidia.com/deep-learning портал компании Nvidia], посвященный Deep Learning.<br/>
-
Вопросы организаторам конкурса можно задавать по электронной почте на адрес [mailto:competitions@forecsys.ru competitions@forecsys.ru] с указанием в теме письма «Avito-2016: Вопрос».
+
Информационные партнеры конкурса - 11-я Международная конференция [http://mmro.ru/ «Интеллектуализация обработки информации»] и компания [http://www.nvidia.ru/page/home.html Nvidia].<br/>
-
С информацией об организаторе конкурса, правилах его проведения, количестве наград, сроках, месте и порядке их получения можно ознакомиться [[Media:Competition avito 2016 2 rules.pdf‎|здесь]].
+
Информационные партнеры конкурса - 11-я Международная конференция [http://mmro.ru/ «Интеллектуализация обработки информации»] и компания [http://www.nvidia.ru/page/home.html Nvidia] ([https://developer.nvidia.com/deep-learning тематический ресурс] Nvidia Deeplearning).<br/>
-
[[Конкурс Avito-2016-2: Распознавание категории объявления/Рейтинг участников|Предварительный рейтинг участников]].
+
==Письмо от Nvidia==
 +
Дополнительно специально рассказывать про NV тем кто применяет DL нет смысла, они и так без наших продуктов едва ли смогут обойтись. Однако рассказывать про DL тем кто этой технологией не пользуется – это может быть осмысленно.
 +
 +
Думаю что мы с вами могли бы быть полезны друг другу следующим образом – вы проводите конкурс для какого-то из партнеров, мы сделаем анонс этого конкурса по нашим каналам (сайт, группы, блоги, альманах, рассылка по ВУЗам…), а вы отдельно где-то в информации о конкурсе можете написать что-то типа рекомендации использовать новейшие GPU NVIDIA, или просто дать ссылку на наш портал для разработчиков посвященный DL тематике или еще что-то…
-
С предыдущими конкурсами [[Конкурс_Avito.ru-2014:_распознавание_контактной_информации_на_изображениях|Avito-2014]], [[Конкурс_Avito-2015:_Распознавание_отклика_на_маркетинговое_предложение|Avito-2015]] и [[Конкурс_Avito-2016:_Распознавание_марки_и_модели_автомашин_на_изображениях|Avito-2016]] можно ознакомиться на соответствующих страницах.
+
Вот ссылка на портал по DL : https://developer.nvidia.com/deep-learning
 +
(тут выложены и курсы обучения и инструменты, и ПО, и сэмплы…)
 +
 +
Лого во вложении.
 +
Текст:
 +
About NVIDIA
 +
NVIDIA (NASDAQ: NVDA) is a computer technology company that has pioneered GPU-accelerated computing. It targets the world’s most demanding users — gamers, designers and scientists — with products, services and software that power amazing experiences in virtual reality, artificial intelligence, professional visualization and autonomous cars. More information at http://nvidianews.nvidia.com/.
-
==Ключевые даты конкурса==
+
==Конкурс Avito-2016: Распознавание категории объявления==
-
'''13 июня 2016 года''' – Старт конкурса<br />
+
'''Конкурс по распознаванию категории объявления Avito-2016''' — это конкурс по решению прикладной задачи из области анализа изображений и текстов, проводимый при информационной поддержке 11-й Международной конференции [http://mmro.ru/ «Интеллектуализация обработки информации»].
-
1 этап (изображения):
+
Организаторы конкурса – компания «КЕХ еКоммерц» (сайт объявлений [http://www.avito.ru/ Avito]) и ее партнер – компания [[Форексис]]. <br/>
-
:'''13 июня 2016 года''' – Старт 1 этапа<br />
+
Призовой фонд конкурса - '''500 000 рублей.'''
-
:'''до 23:59 10 июня 2016 года''' – Предоставление участниками дополнительных внешних данных, используемых для обучения<br />
+
-
:'''до 23:59 24 июня 2016 года''' – Предоставление результатов участниками и регулярный расчет предварительного рейтинга<br />
+
-
:'''до 23:59 31 июня 2016 года''' – Определение победителей 1 этапа<br />
+
-
2 этап (изображения + заголовки):
+
-
:'''01 августа 2016 года''' – Старт 2 этапа<br />
+
-
:'''до 23:59 14 августа 2016 года''' – Предоставление участниками дополнительных внешних данных, используемых для обучения<br />
+
-
:'''до 23:59 21 августа 2016 года''' – Предоставление результатов участниками и регулярный расчет предварительного рейтинга<br />
+
-
:'''до 23:59 28 августа 2016 года''' – Определение победителей 2 этапа<br />
+
-
3 этап (изображения + заголовки + описания):
+
-
:'''29 августа 2016 года''' – Старт 3 этапа<br />
+
-
:'''до 23:59 18 сентября 2016 года''' – Предоставление участниками дополнительных внешних данных, используемых для обучения<br />
+
-
:'''до 23:59 28 сентября 2016 года''' – Предоставление результатов участниками и регулярный расчет предварительного рейтинга<br />
+
-
:'''до 23:59 02 октября 2016 года''' – Определение победителей 3 этапа<br />
+
-
'''до 23:59 14 октября 2016 года''' – Публикация презентаций победителей каждого из этапов на странице конкурса<br />
+
Для участия в конкурсе и получения доступа к данным необходимо пройти процедуру регистрации описанную в разделе [[Конкурс_Avito-2016:_Распознавание_категории_объявления#Регистрация_участников|Регистрация участников]].
 +
Вопросы организаторам конкурса можно задавать по электронной почте на адрес [mailto:competitions@forecsys.ru competitions@forecsys.ru] с указанием в теме письма «Avito-2016: Вопрос».
-
==Avito==
+
С предыдущими конкурсами [[Конкурс_Avito.ru-2014:_распознавание_контактной_информации_на_изображениях|Avito-2014]], [[Конкурс_Avito-2015:_Распознавание_отклика_на_маркетинговое_предложение|Avito-2015]] и [[Конкурс_Avito-2016:_Распознавание_марки_и_модели_автомашин_на_изображениях|Avito-2016]] можно ознакомиться на соответствующих страницах.
-
[http://www.avito.ru/ Avito] является самым большим в России сайтом объявлений. Миллионы людей ежедневно заходят на портал, чтобы продать или купить практически всё, что пожелают: от цифровой техники и одежды до автомобилей и недвижимости. Объявления размещают частные лица, предприниматели и компании, поэтому на Avito.ru можно купить как бывшие в употреблении вещи, так и абсолютно новые товары.На Avito более 24 миллионов активных объявлений и каждый день огромное количество объявлений создается или изменяется.
+
-
Миссия Avito.ru — соединить продавцов и покупателей по всей России, изменив их повседневную жизнь к лучшему.
+
С информацией об организаторе конкурса, правилах его проведения, количестве наград, сроках, месте и порядке их получения можно ознакомиться [[Media:Competition avito 2016 2 rules.pdf‎|здесь]].
-
 
+
-
==Описание задачи==
+
-
'''Цель конкурса''' – создание эффективного алгоритма определения категории объявления.
+
-
 
+
-
Этот конкурс представляет из себя длительный "марафон": это три последовательных этапах с одной и той же задачей и постепенно расширяющимся набором признаков. Основная задача - определить категорию объявления.
+
-
 
+
-
Этот конкурс представляет из себя длительный "марафон": на трех последовательных этапах участникам предстоит решать задачу определения категории объявления с постепенно расширяющимся набором признаков.
+
-
 
+
-
На первом этапе для каждого объявления предоставляется одно или несколько изображений.<br />
+
-
На втором этапе в дополнение к имеющимся данным выгружаются заголовки объявлений.<br />
+
-
На третьем этапе ко всему этому добавляются текстовые описания товаров.
+
-
 
+
-
Ниже приведены примеры изображений, заголовков и описаний продаваемых товаров.
+
-
{| class="wikitable" style="text-align:center"
+
-
|[[Изображение:Avito-2016 kat.jpg|x175px]]
+
-
|[[Изображение:Avito-2016 dress.jpg|x175px]]
+
-
|[[Изображение:Avito-2016 door.jpg|x175px]]
+
-
|[[Изображение:Avito-2016 shaurma.jpg|x175px]]
+
-
|-align="left"
+
-
|Заголовок:
+
-
Шотландцы с отличными породными данными
+
-
|Заголовок:
+
-
Роскошное платье в греческом стиле желтое mysya
+
-
|Заголовок:
+
-
Дверь задняя правая для Ауди Q7
+
-
|Заголовок:
+
-
Павильон по продаже шаурмы в проходном месте
+
-
|-align="left"
+
-
|Описание:
+
-
Шотландские вислоухие котята готовы к переезду! Возраст 6 недель. Привиты, ветеринарные паспорта имеются.
+
-
 
+
-
Коротко о породе:
+
-
Вислоухие шотландские кошки (скоттиш-фолд) обладают спокойным темпераментом, обожают играть с детьми. Они имеют необычную особенность - они любят стоять на задних лапах. Обычно такую стойку шотландцы принимают, когда им что-то любопытно. Пока котятки маленькие, они любят играть, с возрастом питомец становится более сдержанным. У многих шотландцев есть привычка спать на спине, выглядит это очень мило.
+
-
 
+
-
Звоните скорее! Вы обретете прекрасного друга!
+
-
 
+
-
|Описание:
+
-
Распродаю гардероб.
+
-
Шикарное платье в греческом стиле. Желтый и желто-лимонный цвет - тренд этого года. Украшено металлическими колечками на бретельке.
+
-
Одевалось один раз на день рождения.
+
-
Покупала за 4200.
+
-
Все мои объявления можно посмотреть забив в поиске mysya.
+
-
 
+
-
|Описание:
+
-
Задняя правая дверь Ауди Q7.
+
-
Б.У оригинал с небольшим дефектом.
+
-
В нашем магазине предоставлен не весь перечень запчастей, имеющихся на складе.
+
-
Наличие и цену уточняйте по телефону!
+
-
Отправим в регион!
+
-
 
+
-
|Описание:
+
-
Продается бизнес по продаже продуктов быстрого питания в проходном месте! Территориально м.авиамоторная. Рядом офисы и учебные заведения. Площадь 8 кв.м., низкая арендная ставка 60тр., 10-13тр. к/у. Работа 24 часа. Штат из двух сотрудников. Дневная смена 1600р., ночная 1100р. Продукция: шаурма, куры гриль, шашлыки, крылья, ход доги. Холодильники, спиралевый мангал и т.д. Установлено видеонаблюдение. В день продается 25 кг. Выручка в день от 10 тр.
+
-
 
+
-
Причина продажи: пмж область
+
-
|-align="left"
+
-
|Категория:
+
-
Животные/Кошки
+
-
|Категория:
+
-
Личные вещи/Одежда, обувь, аксессуары
+
-
|Категория:
+
-
Транспорт/Запчасти и аксессуары
+
-
|Категория:
+
-
Для бизнеса/Готовый бизнес
+
-
|}
+
-
<br clear="all" />
+
-
 
+
-
==Описание данных==
+
-
Обучающая выборка, '''выборка A''', состоит из 600 000 объявлений, классифицированных на 300 категорий. Эта выборка используется участниками для настройки своих алгоритмов.
+
-
 
+
-
Контрольная выборка состоит из 300 000 объявлений. Участникам предстоит классифицировать эти объявления по категориям. Эта выборка будет использоваться для составления промежуточного и итогового рейтингов участников. Промежуточный рейтинг будет рассчитываться по 1/3 объявлений из контрольной выборки ('''выборка B'''). Итоговый рейтинг будет рассчитываться на каждом этапе по 2/3 объявлений контрольной выборки ('''выборка C'''). Разбиение контрольной выборки на выборки B и C участникам не раскрывается.
+
-
 
+
-
Изображения имеют формат jpg, ответы по обучающей выборке представлены в csv-файле в формате id, label, где id – имя файла изображения, а label – метка класса.
+
-
 
+
-
Данные можно получить после регистрации в конкурсе.
+
-
 
+
-
==Внешние модели и данные==
+
-
Для обучения моделей разрешается использовать внешние модели и коллекции данных. При этом внешние ресурсы должны быть разрешены к коммерческому использованию. В случае использования внешних моделей или данных участник обязан прислать информацию об этом competitions@forecsys.ru соответствующей даты на каждом из этапов. Впоследствии организаторы сделают эту коллекцию доступной всем участникам.
+
-
 
+
-
==Функционал качества алгоритма распознавания==
+
-
Качество работы алгоритмов распознавания оценивается как доля верно соотнесенных к своему классу объектов.
+
-
 
+
-
==Регистрация участников==
+
-
Для регистрации в конкурсе потенциальному участнику необходимо прислать письмо по электронной почте на адрес [mailto:competitions@forecsys.ru competitions@forecsys.ru] с темой «Avito-2016-2: Регистрация», содержащее никнейм участника – имя/псевдоним, которое будет отображаться в предварительном рейтинге участников, формируемом в течение первого этапа. Кроме того следует указать источник информации о конкурсе. Адрес электронной почты участника будет использоваться для его идентификации.
+
-
 
+
-
Заявкой на регистрацию в конкурсе Вы подтверждаете, что ознакомились и согласны с [[Media:Competition avito 2016 2 rules.pdf‎|Правилами конкурса]].
+
-
 
+
-
==Порядок и сроки предоставления участниками результатов==
+
-
 
+
-
Участники настраивают свои алгоритмы классификации объявлений, используя обучающую выборку A. На каждом этапе она состоит из разного набора данных.
+
-
 
+
-
На первом этапе конкурса она содержит только изображения объявлений. <br />
+
-
На втором этапе в дополнение к этому выгружаются текстовые заголовки объявлений. <br />
+
-
На третьем этапе участники получат текстовые описания объявлений.
+
-
 
+
-
Для проверки качества алгоритма и составления рейтинга результатов каждый участник отправляет файл с результатами работы алгоритма на контрольной выборке по электронной почте на адрес [mailto:competitions@forecsys.ru competitions@forecsys.ru], указав в теме письма «Конкурс Avito-2016-2: Результаты Никнейм участника» (письмо должно быть отправлено с того же электронного адреса, что и при регистрации участника).
+
-
 
+
-
Результаты представляются в csv-формате (образец файла [http://machinelearning.ru/data/competition.avito.2016/20160616_competition_avito_2016_Ivanov_Results.7z здесь]). Рекомендуемый формат имени файла “YYYYMMDD_competition_avito_2016_2_Никнейм_участника_Results.csv”. Файл с результатами содержит два столбца с заголовками в первой строчке: в первом столбце (adv_id) указаны идентификаторы объявлений, а во втором (label) – идентификаторы класса, к которому алгоритм сопоставил эти объявления. Пропуски и строковые значения не допускаются.
+
-
 
+
-
Два раза в неделю – '''понедельник и четверг до 23:59''' по московскому времени – заканчивается прием писем с результатами для составления очередного [[Конкурс Avito-2016-2: Распознавание категории объявления/Рейтинг участников|предварительного рейтинга участников]]. В течение следующего рабочего дня будет обновлен предварительный рейтинг результатов участников. Для расчета рейтинга используются результаты участника, полученные в '''последнем письме''' до указанного времени.
+
-
 
+
-
Предварительный рейтинг участников будет рассчитан по 1/3 объявлений контрольной выборки (выборка B). Итоговый рейтинг будет рассчитан по 2/3 контрольной выборки (Выборка C). Разбиение контрольной выборки на выборки B и C участникам не раскрывается.
+
-
 
+
-
Для расчета итогового рейтинга участников будет взят последний присланный до конца соответствующего этапа результат.
+
-
 
+
-
После окончания срока приема результатов и выявления лидеров участники, претендующие на победу предоставляют свои программы, а также описания алгоритмов. При помощи присланных программ и описаний происходит верификация результатов и определение победителей. После этого победителям выплачиваются денежные призы.
+
-
 
+
-
==Процедура определения победителей и призовой фонд==
+
-
На каждом этапе награждаются два первых места.
+
-
 
+
-
Денежная премия:
+
-
:1-е место '''100 000''' рублей (без учета налогов).
+
-
:2-е место '''50 000''' рублей (без учета налогов).
+
-
Jobs:
+
-
:Возможность устроиться в Avito специалистом по анализу данных.
+
-
:Если Вы заинтересованы в работе в Avito, сообщите об этом в регистрационном письме.
+
-
 
+
-
'''Победителем конкурса''' (первое место) станет участник, алгоритм которого продемонстрировал наилучший результат на контрольной C. <br\>
+
-
'''Второе место''' займет участник, алгоритм которого продемонстрировал второй по качеству результат на выборке С.
+
-
 
+
-
Информация о победителях будет опубликована на [[Конкурс Avito-2016-2: Распознавание категории объявления|странице конкурса]].
+
-
 
+
-
'''Воспроизводимость результата работы алгоритма''' участника с использованием предоставляемой участником программы является обязательным условием признания этого участника победителем конкурса. Предоставление организаторам необходимого ПО и помощь в воспроизведении результатов работы алгоритма является обязанностью участника. Кроме того, участник должен подготовить описание алгоритма.
+
-
 
+
-
==Публикация презентаций победителей==
+
-
Победителям конкурса предоставляется возможность опубликовать презентации своих алгоритмов на [[Конкурс Avito-2016-2: Распознавание категории объявления|странице конкурса]]. Презентация должна кратко и наглядно иллюстрировать подход участника к решению задачи, применяемые методы и полученные результаты. Формат и содержание презентации согласуются с организаторами.
+
-
 
+
-
==Требования к программному обеспечению==
+
-
Призовое место участник может занять только в том случае, если он использовал программное обеспечение (ПО), которое не требует лицензии для коммерческого использования.
+
-
 
+
-
К ПО предъявляется требование – возможность воспроизведения организаторами результатов работы алгоритмов участников.
+
-
 
+
-
Запрещается использовать различные внешние данные, которые не были согласованы с организаторами.
+
-
 
+
-
Предоставление организаторам необходимого ПО и помощь в воспроизведении результатов является обязанностью участника.
+
-
==Требования к описанию алгоритма распознавания==
+
Если Вы хотите узнавать о новых конкурсах еще до их старта, напишите письмо на адрес [mailto:competitions@forecsys.ru competitions@forecsys.ru] с темой «Подписка».
-
Требуется предоставить файл формата .doc, docx или .pdf с описанием алгоритма на русском языке по следующему шаблону:
+
-
# '''Идентификация''' <br />Никнейм и адрес электронной почты участника.
+
-
# '''Аннотация''' <br />4-6 предложений, объясняющих общий подход к построению алгоритма, включающих, например, принципы генерации или отбора признаков и метод обучения.<br />
+
-
# '''Генерация и отбор признаков''' <br />Описание метода генерации и/или отбора признаков изображений. Список и общее описание выбранных признаков. <br />
+
-
# '''Процесс обучения'''<br />Описание деталей метода обучения, использованного для построения алгоритма. Если комбинировались или объединялись разные методы, опишите каким образом.
+
-
# '''Описание программы алгоритма''' <br />Для каждой функции:<br />
+
-
#*входные переменные
+
-
#*выходные переменные
+
-
#*что функция делает<br />
+
-
# '''Зависимости'''<br />Список зависимостей, библиотек, функций, пакетов или код других сторонних компаний, использованных для создания алгоритма.
+
-
# '''Инструкция по воспроизведению''' (аналог README файла)<br />Пошаговая инструкция для создания проекта из приведенного кода.
+
-
# '''Дополнительные комментарии и наблюдения''' <br />Любые дополнительные комментарии или наблюдения по поводу данных, алгоритма или процесса улучшения алгоритма.
+
-
# '''Графики'''<br />Графики или картинки, которые были сделаны из данных или в процессе обучения и которые показались полезными или интересными.
+
-
# '''Ссылки'''<br/> Необходимые ссылки или другие внешние источники информации.
+
-
== Подстраницы ==
+
-
{{Служебная:Prefixindex/Конкурс Avito-2016-2: Распознавание категории объявления/}}
+
-
[[Категория:Конкурс Avito-2016]]
+
[[Конкурс Avito-2016: Распознавание категории объявления/Рейтинг участников|Предварительный рейтинг участников]].

Текущая версия

Официальная страница конкурса

Официальная страница конкурса теперь расположена на портале DataRing.ru.


Информационные партнеры конкурса - 11-я Международная конференция «Интеллектуализация обработки информации» и портал компании Nvidia, посвященный Deep Learning.

Информационные партнеры конкурса - 11-я Международная конференция «Интеллектуализация обработки информации» и компания Nvidia.

Информационные партнеры конкурса - 11-я Международная конференция «Интеллектуализация обработки информации» и компания Nvidia (тематический ресурс Nvidia Deeplearning).

Письмо от Nvidia

Дополнительно специально рассказывать про NV тем кто применяет DL нет смысла, они и так без наших продуктов едва ли смогут обойтись. Однако рассказывать про DL тем кто этой технологией не пользуется – это может быть осмысленно.

Думаю что мы с вами могли бы быть полезны друг другу следующим образом – вы проводите конкурс для какого-то из партнеров, мы сделаем анонс этого конкурса по нашим каналам (сайт, группы, блоги, альманах, рассылка по ВУЗам…), а вы отдельно где-то в информации о конкурсе можете написать что-то типа рекомендации использовать новейшие GPU NVIDIA, или просто дать ссылку на наш портал для разработчиков посвященный DL тематике или еще что-то…

Вот ссылка на портал по DL : https://developer.nvidia.com/deep-learning (тут выложены и курсы обучения и инструменты, и ПО, и сэмплы…)

Лого во вложении. Текст: About NVIDIA NVIDIA (NASDAQ: NVDA) is a computer technology company that has pioneered GPU-accelerated computing. It targets the world’s most demanding users — gamers, designers and scientists — with products, services and software that power amazing experiences in virtual reality, artificial intelligence, professional visualization and autonomous cars. More information at http://nvidianews.nvidia.com/.

Конкурс Avito-2016: Распознавание категории объявления

Конкурс по распознаванию категории объявления Avito-2016 — это конкурс по решению прикладной задачи из области анализа изображений и текстов, проводимый при информационной поддержке 11-й Международной конференции «Интеллектуализация обработки информации».

Организаторы конкурса – компания «КЕХ еКоммерц» (сайт объявлений Avito) и ее партнер – компания Форексис.
Призовой фонд конкурса - 500 000 рублей.

Для участия в конкурсе и получения доступа к данным необходимо пройти процедуру регистрации описанную в разделе Регистрация участников. Вопросы организаторам конкурса можно задавать по электронной почте на адрес competitions@forecsys.ru с указанием в теме письма «Avito-2016: Вопрос».

С предыдущими конкурсами Avito-2014, Avito-2015 и Avito-2016 можно ознакомиться на соответствующих страницах.

С информацией об организаторе конкурса, правилах его проведения, количестве наград, сроках, месте и порядке их получения можно ознакомиться здесь.

Если Вы хотите узнавать о новых конкурсах еще до их старта, напишите письмо на адрес competitions@forecsys.ru с темой «Подписка».

Предварительный рейтинг участников.

Источник — «http://machinelearning.ru/wiki/index.php?title=%D0%A3%D1%87%D0%B0%D1%81%D1%82%D0%BD%D0%B8%D0%BA:Pavel_Levdik/%D0%9F%D0%B5%D1%81%D0%BE%D1%87%D0%BD%D0%B8%D1%86%D0%B0»
Личные инструменты