Полигон алгоритмов/Подробный отчёт задача-алгоритм
Материал из MachineLearning.
Инструкция по работе с подробным отчётом задача-алгоритм в системе «Полигон».
Данный отчёт позволяет оценить насколько хорошо данный алгоритм подходит для конкретной задачи.
Помимо скалярных статистик, здесь можно просмотреть графические статистики. Все статистики подсчитаны отдельно на обучении, контроле и и на полной выборке, если это возможно. Это даёт максимальные возможности для анализа работы алгоритма классификации на конкретной задаче.
Содержание |
Верхний блок.
Сверху показана информация об отчёте:
- об отчёте: идентификационный номер, название, пользователь, дата создания.
- о задаче: идентификационный номер, синоним (уникальное имя задачи в репозитории системы Полигон), название, автор, количество объектов, признаков, классов. Синоним является ссылкой на страницу, содержащую полную информацию о задаче.
- об алгоритме: идентификационный номер, синоним (уникальное имя алгоритма в репозитории системы Полигон), название, автор, параметры алгоритма. Синоним является ссылкой на страницу, содержащую полную информацию об алгоритме, а ссылка Параметры показывает блок основных параметров алгоритма.
- Ссылка Изменить параметры отчёта открывает блок управления внешними параметрами отчёта.
Здесь имеется возможность изменять порядок блоков статистик, а так же включать и выключать блоки статистик.
Кроме этого можно включить режим отчёта, в котором графики будут рисоваться с доверительными интервалами.
Быстрое управление видом отчёта:
- Ссылка Сравнить классы позволяет быстро перейти к сравнению первых трёх (двух) классов.
- Ссылка Сравнить обучении и контроль позволяет быстро перейти к сравнению обучающей и контрольной выборки для целевого класса (пока работает по нулевому классу).
При нажатии на ссылку отчёт настраивается специальным образом для сравнения классов или для сравнения обучения и контроля на целевом классе. Таким образом, пользователь одним кликом мышки может сразу перейти к нужному ему виду отчёта, что очень удобно.
- Ссылка Отобразить/скрыть доверительный интервал дает возможность отображения или сокрытия доверительного интервала как в таблице скалярных статистик, так и в графических блоках.
- Ссылка Версия для печати переводит внешний вид отчета к виду, оптимальному для печати (отсутствуют панели управления параметрами и т. п.)
- Ссылка Справка по отчету перенаправляет пользователя на данную страницу
- Ссылка Скачать результаты тестирования позволяет получить результаты тестирования данного экземпляра алгоритма на данной задаче в виде .csv-файла. Формат файла описан здесь.
Подробный отчёт задача-алгоритм.
Подробный отчёт состоит из следующих блоков:
Скалярный блок
В данной таблице собраны все скалярные статистики, которые были вычислены на данной паре задача-алгоритм. Каждый столбец содержит статистики, вычисленные отдельно по данному классу (либо суммарно по всем классам в первом столбце).
Статистики были получены отдельно на контрольной и на обучающей выборке, если такое возможно. Например, Переобученность не считается отдельно по обучению и контролю, так как она равна разнице между ошибкой на обучении и ошибкой на контроле.
Графические блоки
- Разложение ошибки на смещение и вариацию
- Карта ошибок
- Рок-кривая
- Распределение отступов
- Кривая обучения
- Кривая переобученности
- Распределение стандартной ошибки
- Распределение переобученности
Управление графическими блоками
Для удобства пользователя было добавлено быстрое управление параметрами графических статистик.
- Поле "Выборка":
- Поле выборка даёт возможность посмотреть на данную статистику отдельно на контроле, на обучении или на обучении и контроле вместе на совмещённом графике для этого нужно выбрать соответствующий пункт в выпадающем списке.
- Поле "Класс":
- Поле класс даёт возможность посмотреть на данную статистику для определённого класса или на всех классах одновременно.
Внимание: классы нумеруются с нуля.
- Кнопка Добавить ">>":
- Кнопка позволяет добавить график в блок данной статистики для проведения сравнительного анализа. Можно добавлять несколько графиков.
- График добавляется с теми же параметрами, что и первый, поэтому для сравнения следует изменить соответствующие настройки.
Например, нам надо сравнить нулевой и первый класс на обучающей выборке.
Мы нажимаем на кнопку добавить и настраиваем первый график: Класс 1, Обучение, и второй: Класс 0, Обучение.
Добавленные графики можно удалять с помощью кнопки удалить "X".
- Кнопка "Свернуть":
- Каждый блок при необходимости можно свернуть нажав на кнопку Свернуть:
