Полигон алгоритмов/Подробный отчет по задаче
Материал из MachineLearning.
|
Инструкция по работе с подробным отчётом по одной задаче и нескольких алгоритмах в системе «Полигон».
Данный отчёт позволяет сравнить качество классификации выбранных алгоритмов на конкретной задаче и, соответственно, определить, какой из представленных алгоритмов лучше всего подходит к данной задаче.
Помимо скалярных статистик, в данном отчете можно просмотреть и графические. На каждом графике одновременно отображаются результаты расчетов статистики для нескольких алгоритмов, что даёт максимальные возможности для сравнения качества работы алгоритмов классификации.
Верхний блок
В верхней части отчета находится шапка отчета, которая содержит общую информацию об отчете и ссылки для управления отчетом:
Информация о данном отчете
- об отчёте: идентификационный номер, название, пользователь, дата создания.
- о задаче: идентификационный номер, синоним (уникальное имя задачи в репозитории системы Полигон), название, автор, количество объектов, признаков, классов. При нажатии на синоним задачи поверх текущей страницы отображается панель, содержащая полную информацию о задаче.
Ссылки с правой стороны
- Ссылка Изменить параметры отчёта открывает блок управления внешними параметрами отчёта.
- Ссылка Сравнить классы изменяет параметры отображения всех графических блоков: отображаются графические статистики нескольких первых классов (до 3-х) по типу разбиения, основному для каждого блока (то есть по контролю, если это возможно, иначе по полной выборке).
- Ссылка Сравнить контроль и обучение изменяет параметры отображения всех графических блоков: в блоках, где сравнение контроля и обучения возможно, происходит расчет статистик по важному классу для задачи (в данный момент по умолчанию считается, что это класс 0) и отображается 2 поля: одно для контроля, второе для обучения.
- Ссылка Отобразить/скрыть доверительный интервал дает возможность отображения или сокрытия доверительного интервала как в таблице скалярных статистик, так и в графических блоках.
- Ссылка Версия для печати переводит внешний вид отчета к виду, оптимальному для печати (отсутствуют панели управления параметрами и т. п.)
- Ссылка Справка по отчету перенаправляет пользователя на данную страницу
Управление внешними параметрами отчета
Изменение общих параметров отчета
Данная панель открывается поверх текущей страницы при нажатии на ссылку Изменить параметры отчёта
Здесь имеется возможность изменять порядок блоков статистик, а так же включать и выключать блоки статистик.
Кроме этого, здесь также можно задать параметры отображения для всех блоков одновременно.
Выбор типа разбиения:
Задает разбиение соответствующих статистик в блоках. Блок отображается только в том случае, если статистика может быть рассчитана на выбранном разбиении.
При выборе разбиения по умолчанию, для каждого блока отображается основное разбиение (контроль, если это возможно, иначе полная выборка).
Если ничего не выбрано, то выбор классов игнорируется, и параметры отображения блоков остаются прежними.
Выбор классов:
Если указанный тип разбиения это позволяет, то с помощью клавиши Ctrl можно выбрать несколько классов.
При выборе разбиения «контроль и обучение (на отдельных графиках)» можно задать только один класс, на котором будет происходить сравнение. При этом, если в данном случае выбран целевой класс задачи, то отображение блоков полностью совпадает с отображением при нажатии на ссылку Сравнить контроль и обучение
На панели присутствуют подсказки, облегчающие работу с данным блоком управления: при нажатии на кнопку Подсказка появляется краткая справка, а при выборе некоторого типа разбиения отображается сколько можно теперь выбрать классов (один или несколько).
Изменение порядка и видимости алгоритмов в отчете
В данном виде отчета слева всегда отображается панель со списком всех возможных алгоритмов.
При нажатии на названии алгоритма появляется панель с кратким его описанием. А при нажатии на параметры отображаются параметры работы данного алгоритма.
Около каждого алгоритма находится флаг его видимости. Если в этом поле поставить галочку, то данный алгоритм появится во всех блоках статистик; если, наоборот, убрать галочку, то исчезнет.
Также возле каждого алгоритма есть стрелки вверх и вниз, позволяющие изменять порядок следования алгоритмов в отображаемом отчете. (т.е. кнопка вверх меняет местами данный алгоритм с предыдущим, а вниз - с последующим).
Содержание отчёта по задаче
Отчёт по задаче состоит из следующих блоков:
Скалярный блок
В данной таблице собраны все скалярные статистики, которые были вычислены на данной паре задача-алгоритм. Каждый столбец содержит статистики, вычисленные по определенному классу для данного алгоритма. Выбор класса осуществляется с помощью выпадающего списка.
Графические блоки
- Разложение ошибки на смещение и вариацию
- Карта ошибок
- Рок-кривая
- Распределение отступов
- Кривая обучения
- Кривая переобученности
- Распределение стандартной ошибки
- Распределение переобученности
Управление графическими блоками
Для удобства пользователя было добавлено быстрое управление параметрами графических статистик.
В каждом графическом блоке можно изменять число изображений, а для каждого изображения выбирать класс и тип разбиения с помощью выпадающих списков.
Подробнее об управлении написано здесь.
