Материал из MachineLearning.

Полигон алгоритмов -- научный проект по созданию системы тестирования и сравнения алгоритмов классификации.

Назначение системы =

Система «Полигон» предназначена для массового тестирования алгоритмов классификации на реальных задачах и представления результатов тестирования пользователю через web-интерфейс. Пользователь, тестирующий свой алгоритм на задачах системы, будет иметь возможность сравнить показатели качества работы своего алгоритма с аналогичными показателями других алгоритмов, тестировавшихся на выбранных задачах. Пользователями Системы являются специалисты по анализу данных, эксперты в различных предметных областях, разработчики алгоритмов, научные работники, учащиеся и преподаватели вузов.

Цели системы

Создать общедоступный инструмент для массового решения задач классификации и распознавания образов, возникающих в различных предметных областях. Обеспечить открытую технологию для пополнения библиотеки алгоритмов и базы задач. Реализовать в Системе современную методику тестирования, основанную на скользящем контроле и расширенном наборе показателей качества алгоритмов. Обеспечить пользователей удобным и гибким механизмом разграничения прав доступа к алгоритмам, исходным данным задач и результатам тестирования, с целью сохранения авторских прав и конфиденциальности. Одной из целей создания Системы является поднятие престижа российских научных школ в области машинного обучения и интеллектуального анализа данных.

Задачи системы

Система должна решать следующие задачи:

1. Предоставлять удобный интерфейс для просмотра и анализа как агрегированных, так и детальных результатов тестирования алгоритмов на задачах.
2. Предоставлять пользователям возможность добавлять алгоритмы.
3. Предоставлять пользователям возможность добавлять задачи.
4. Предоставлять пользователям (группам пользователей) возможность устанавливать права доступа к своим задачам, алгоритмам и результатам тестирования для других пользователей и групп.
5. Обеспечить единую методологию тестирования алгоритмов, позволяющую сравнивать качество алгоритмов по объективным показателям. Обеспечить защиту от возможных фальсификаций результатов тестирования.