Полигон алгоритмов/Общий отчёт задачи-алгоритмы

Материал из MachineLearning.

Раздел находится в разработке

Инструкция по работе с общим отчётом задачи-алгоритмы в системе «Полигон».

Данный отчёт позволяет сравнить алгоритмы на задачах с помощью используемого набора статистик.
Чтобы перейти к подробному отчёту на задаче-алгоритме следует нажать на соответствующую ячейку в таблице.

Описание отчёта.

В левом верхнем углу экрана изображена краткая информация об отчёте:

• Название: название отчёта, задаётся пользователем при создании отчёта.
• Идентификатор отчета: идентификационный номер отчёта, задаётся автоматически при создании отчёта.
• Пользователь: пользователь, который создал данный отчёт.
• Дата создания: дата создания отчёта.
• Описание: краткое описание отчёта.

Ссылка на комментарии к отчёту расположена чуть ниже. По ней можно прочитать комментарии к данному отчёту, а зарегистрированные пользователи так же смогут оставить свои комментарии.

Блок быстрого управления отчётом.

В правом верхнем углу экрана изображён блок быстрого управления отчётом:

• Статистика: Позволяет выбрать параметр, по которому будет происходить сравнение в таблице.
  1. Стандартная ошибка: Средняя ошибка на разбиениях, полученных при скользящем контроле.
  2. Переобученность: Переобученность это разность между средними ошибками на контроле и на обучении. Чем больше разность, тем больше вероятность переобучения.
  3. Смещение: Среднее смещение характеризует степень несогласованности данного объекта с алгоритмом обучения. Чем меньше смещение, тем лучше алгоритм подходит для решения конкретной задачи.
  4. Вариация: Средняя вариация характеризует степень изменчивости результата обучения на данном объекте при варьировании состава обучающей выборки. Чем меньше вариация, тем устойчивее алгоритм классификации.
  5. Доля пограничных объектов: Объект называется пограничным, если его отступ находится вблизи нуля. При наличии доверительного интервала мы используем более строгое определение пограничного объекта: объект называется пограничным, если нуль входит в его доверительный интервал.
  6. Доля шумовых объектов: Шумовым объект называется, если его отступ меньше нуля. В нашем случае, когда мы имеем ещё доверительный интервал, считаем, что объект шумовой это тот объект, у которого весь доверительный интервал лежит меньше нуля. Чем меньше шумовых объектов, тем лучше работает алгоритм классификации и (или) тем лучше сама выборка (содержит мало выбросов).
  7. Доля эталонных объектов: Объект называется эталонным, если его отступ находится вблизи единицы. В нашем случае, когда мы имеем ещё доверительный интервал, считаем, что объект шумовой это тот объект, у которого весь доверительный интервал около единицы.

• Тип разбиения: Параметр, по которому будет рассчитываться выбранная статистика.
  • Полная выборка: Полная выборка.
  • Контроль: Контрольная выборка.
  • Обучение: Обучающая выборка.

Для просмотра отчёта с изменёнными параметрами следует нажать кнопку Перейти.

Описание статистики, выбранной в данный момент, расположено чуть ниже в светло-жёлтом блоке.

Под блоком быстрого управления отмечается какая статистика и на каком типе разбиения выбрана в данный момент.

Таблица задачи-алгоритмы

Основная информация отчёта содержится в таблице задачи-алгоритмы.

По строкам в ней расположены алгоритмы, а по столбцам - задачи.
В заголовке каждой строки и каждого столбца содержится краткая информация об алгоритме и о задаче соответственно: идентификационный номер, синоним и название.

В ячейках таблицы показаны значения выбранной в данный момент статистики. В каждом столбце (то есть для каждой задачи) красным цветом выделено максимальное значение статистики, а синим - минимальное. Если в блоке управления внешними параметрами включен доверительный интервал, то он так же будет отображаться в каждой ячейке.

В левой верхней клетке таблицы находится ссылка на блок управления внешними параметрами отчёта.
В данном блоке можно менять расположение задач и алгоритмов в таблице (то есть менять строки и столбцы местами).
Так же есть возможность включить доверительный интервал, тогда все статистики в таблице будут выводиться с доверительным интервалом (5%).