Полигон алгоритмов/Подробный отчёт задача-алгоритм

Материал из MachineLearning.

Текущая версия

Инструкция по работе с подробным отчётом задача-алгоритм в системе «Полигон».

Данный отчёт позволяет оценить насколько хорошо данный алгоритм подходит для конкретной задачи.
Помимо скалярных статистик, здесь можно просмотреть графические статистики. Все статистики подсчитаны отдельно на обучении, контроле и и на полной выборке, если это возможно. Это даёт максимальные возможности для анализа работы алгоритма классификации на конкретной задаче.

Верхний блок.

Сверху показана информация об отчёте:

• об отчёте: идентификационный номер, название, пользователь, дата создания.

• о задаче: идентификационный номер, синоним (уникальное имя задачи в репозитории системы Полигон), название, автор, количество объектов, признаков, классов. Синоним является ссылкой на страницу, содержащую полную информацию о задаче.
• об алгоритме: идентификационный номер, синоним (уникальное имя алгоритма в репозитории системы Полигон), название, автор, параметры алгоритма. Синоним является ссылкой на страницу, содержащую полную информацию об алгоритме, а ссылка Параметры показывает блок основных параметров алгоритма.

• Ссылка Изменить параметры отчёта открывает блок управления внешними параметрами отчёта.

Здесь имеется возможность изменять порядок блоков статистик, а так же включать и выключать блоки статистик.
Кроме этого можно включить режим отчёта, в котором графики будут рисоваться с доверительными интервалами.

Быстрое управление видом отчёта:

• Ссылка Сравнить классы позволяет быстро перейти к сравнению первых трёх (двух) классов.
• Ссылка Сравнить обучении и контроль позволяет быстро перейти к сравнению обучающей и контрольной выборки для целевого класса (пока работает по нулевому классу).
  

При нажатии на ссылку отчёт настраивается специальным образом для сравнения классов или для сравнения обучения и контроля на целевом классе. Таким образом, пользователь одним кликом мышки может сразу перейти к нужному ему виду отчёта, что очень удобно.

• Ссылка Отобразить/скрыть доверительный интервал дает возможность отображения или сокрытия доверительного интервала как в таблице скалярных статистик, так и в графических блоках.

• Ссылка Версия для печати переводит внешний вид отчета к виду, оптимальному для печати (отсутствуют панели управления параметрами и т. п.)

• Ссылка Справка по отчету перенаправляет пользователя на данную страницу

• Ссылка Скачать результаты тестирования позволяет получить результаты тестирования данного экземпляра алгоритма на данной задаче в виде .csv-файла. Формат файла описан здесь.

Подробный отчёт задача-алгоритм.

Подробный отчёт состоит из следующих блоков:

Скалярный блок

В данной таблице собраны все скалярные статистики, которые были вычислены на данной паре задача-алгоритм. Каждый столбец содержит статистики, вычисленные отдельно по данному классу (либо суммарно по всем классам в первом столбце).

Статистики были получены отдельно на контрольной и на обучающей выборке, если такое возможно. Например, Переобученность не считается отдельно по обучению и контролю, так как она равна разнице между ошибкой на обучении и ошибкой на контроле.

Графические блоки

• Разложение ошибки на смещение и вариацию

• Карта ошибок

• Рок-кривая

• Распределение отступов

• Кривая обучения

• Кривая переобученности

• Распределение стандартной ошибки

• Распределение переобученности

Управление графическими блоками

Для удобства пользователя было добавлено быстрое управление параметрами графических статистик.

• Поле "Выборка":

  Поле выборка даёт возможность посмотреть на данную статистику отдельно на контроле, на обучении или на обучении и контроле вместе на совмещённом графике для этого нужно выбрать соответствующий пункт в выпадающем списке.

• Поле "Класс":

  Поле класс даёт возможность посмотреть на данную статистику для определённого класса или на всех классах одновременно.

Внимание: классы нумеруются с нуля.

• Кнопка Добавить ">>":

  Кнопка позволяет добавить график в блок данной статистики для проведения сравнительного анализа. Можно добавлять несколько графиков.

  График добавляется с теми же параметрами, что и первый, поэтому для сравнения следует изменить соответствующие настройки.

Например, нам надо сравнить нулевой и первый класс на обучающей выборке.
Мы нажимаем на кнопку добавить и настраиваем первый график: Класс 1, Обучение, и второй: Класс 0, Обучение.

Добавленные графики можно удалять с помощью кнопки удалить "X".

• Кнопка "Свернуть":

  Каждый блок при необходимости можно свернуть нажав на кнопку Свернуть:

См. также

• Полигон алгоритмов/Общий отчёт задачи-алгоритмы
• Полигон алгоритмов/Подробный отчет по задаче