Полигон алгоритмов/Общий отчёт задачи-алгоритмы

Материал из MachineLearning.

Перейти к: навигация, поиск

Инструкция по работе с общим отчётом задачи-алгоритмы в системе «Полигон».

Содержание

Данный отчёт позволяет сравнить алгоритмы на задачах с помощью используемого набора статистик.
Чтобы перейти к подробному отчёту на задаче-алгоритме следует нажать на соответствующую ячейку в таблице.

Описание отчёта

В левом верхнем углу экрана изображена краткая информация об отчёте:


Описание отчёта


  • Название: название отчёта, задаётся пользователем при создании отчёта.
  • Идентификатор отчета: идентификационный номер отчёта, задаётся автоматически при создании отчёта.
  • Пользователь: пользователь, который создал данный отчёт.
  • Дата создания: дата создания отчёта.
  • Описание: краткое описание отчёта.


  • Ссылка на комментарии к отчёту расположена чуть ниже. По ней можно прочитать комментарии к данному отчёту, а зарегистрированные пользователи так же смогут оставить свои комментарии.
  • Ссылка Версия для печати переводит внешний вид отчета к виду, оптимальному для печати (отсутствуют панели управления параметрами и т. п.)
  • Ссылка Справка по отчету перенаправляет пользователя на данную страницу
  • Ссылка Зафиксировать позволяет зафиксировать отчет. Отображается только на нефиксированных отчетах.

Если зафиксировать отчет, значения статистик в его ячейках и соответствующие результаты тестирования гарантированно не будут изменяться.


Комментарии

Блок быстрого управления отчётом.

В правом верхнем углу экрана изображён блок быстрого управления отчётом:


Блок быстрого управления отчётом


  • Статистика: Позволяет выбрать параметр, по которому будет происходить сравнение в таблице.
    1. Стандартная ошибка:
      Средняя ошибка на разбиениях, полученных при скользящем контроле.
    2. Переобученность:
      Переобученность это разность между средними ошибками на контроле и на обучении. Чем больше разность, тем больше вероятность переобучения.
    3. Смещение:
      Среднее смещение характеризует степень несогласованности данного объекта с алгоритмом обучения. Чем меньше смещение, тем лучше алгоритм подходит для решения конкретной задачи.
    4. Вариация:
      Средняя вариация характеризует степень изменчивости результата обучения на данном объекте при варьировании состава обучающей выборки. Чем меньше вариация, тем устойчивее алгоритм классификации.
    5. Доля пограничных объектов:
      Объект называется пограничным, если его отступ находится вблизи нуля. При наличии доверительного интервала мы используем более строгое определение пограничного объекта: объект называется пограничным, если нуль входит в его доверительный интервал.
    6. Доля шумовых объектов:
      Шумовым объект называется, если его отступ меньше нуля. В нашем случае, когда мы имеем ещё доверительный интервал, считаем, что объект шумовой это тот объект, у которого весь доверительный интервал лежит меньше нуля. Чем меньше шумовых объектов, тем лучше работает алгоритм классификации и (или) тем лучше сама выборка (содержит мало выбросов).
    7. Доля эталонных объектов:
      Объект называется эталонным, если его отступ находится вблизи единицы. В нашем случае, когда мы имеем ещё доверительный интервал, считаем, что шумовой это тот объект, у которого весь доверительный интервал около единицы.
  • Тип разбиения: Параметр, по которому будет рассчитываться выбранная статистика.
    • Полная выборка: Полная выборка.
    • Контроль: Контрольная выборка.
    • Обучение: Обучающая выборка.

Для просмотра отчёта с изменёнными параметрами следует нажать кнопку Перейти.

Описание статистики, выбранной в данный момент, расположено чуть ниже в светло-жёлтом блоке.

Под блоком быстрого управления отмечается какая статистика и на каком типе разбиения показана в данный момент в таблице.

Таблица задачи-алгоритмы

Основная информация отчёта содержится в таблице задачи-алгоритмы.


Таблица задачи-алгоритмы


По строкам в ней расположены алгоритмы, а по столбцам - задачи.
В заголовке каждой строки и каждого столбца содержится краткая информация об алгоритме и о задаче соответственно: идентификационный номер, синоним и название. Название задачи - ссылка на страницу с полной информацией о задачи, название алгоритма - ссылка на страницу с полной информацией об алгоритме.

В ячейках таблицы показаны значения выбранной в данный момент статистики. В каждом столбце (то есть для каждой задачи) красным цветом выделено максимальное значение статистики, а синим - минимальное.

Если в блоке управления внешними параметрами включен доверительный интервал, то он так же будет отображаться в каждой ячейке. Тогда отчёт будет выглядеть следующим образом:

Таблица отчёта с доверительным интервалом


В левой верхней клетке таблицы находится ссылка на блок управления внешними параметрами отчёта Изменить параметры.


Внешние параметры отчёта

В данном блоке можно менять расположение задач и алгоритмов в таблице (то есть менять строки и столбцы местами).
Так же есть возможность включить доверительный интервал, тогда все статистики в таблице будут выводиться с доверительным интервалом (5%).



Личные инструменты