Полигон алгоритмов/Общий отчёт задачи-алгоритмы

Материал из MachineLearning.

Версия 15:54, 3 ноября 2009

Инструкция по работе с общим отчётом задачи-алгоритмы в системе «Полигон».

Данный отчёт позволяет сравнить алгоритмы на задачах с помощью используемого набора статистик.
Чтобы перейти к подробному отчёту на задаче-алгоритме следует нажать на соответствующую ячейку в таблице.

Описание отчёта.

В левом верхнем углу экрана изображена краткая информация об отчёте:

• Название: название отчёта, задаётся пользователем при создании отчёта.
• Идентификатор отчета: идентификационный номер отчёта, задаётся автоматически при создании отчёта.
• Пользователь: пользователь, который создал данный отчёт.
• Дата создания: дата создания отчёта.
• Описание: краткое описание отчёта.

Ссылка на комментарии к отчёту расположена чуть ниже. По ней можно прочитать комментарии к данному отчёту, а зарегистрированные пользователи так же смогут оставить свои комментарии.

Блок быстрого управления отчётом.

В правом верхнем углу экрана изображён блок быстрого управления отчётом:

• Статистика: Позволяет выбрать параметр, по которому будет происходить сравнение в таблице.
  1. Стандартная ошибка:

     Средняя ошибка на разбиениях, полученных при скользящем контроле.

  2. Переобученность:

     Переобученность это разность между средними ошибками на контроле и на обучении. Чем больше разность, тем больше вероятность переобучения.

  3. Смещение:

     Среднее смещение характеризует степень несогласованности данного объекта с алгоритмом обучения. Чем меньше смещение, тем лучше алгоритм подходит для решения конкретной задачи.

  4. Вариация:

     Средняя вариация характеризует степень изменчивости результата обучения на данном объекте при варьировании состава обучающей выборки. Чем меньше вариация, тем устойчивее алгоритм классификации.

  5. Доля пограничных объектов:

     Объект называется пограничным, если его отступ находится вблизи нуля. При наличии доверительного интервала мы используем более строгое определение пограничного объекта: объект называется пограничным, если нуль входит в его доверительный интервал.

  6. Доля шумовых объектов:

     Шумовым объект называется, если его отступ меньше нуля. В нашем случае, когда мы имеем ещё доверительный интервал, считаем, что объект шумовой это тот объект, у которого весь доверительный интервал лежит меньше нуля. Чем меньше шумовых объектов, тем лучше работает алгоритм классификации и (или) тем лучше сама выборка (содержит мало выбросов).

  7. Доля эталонных объектов:

     Объект называется эталонным, если его отступ находится вблизи единицы. В нашем случае, когда мы имеем ещё доверительный интервал, считаем, что шумовой это тот объект, у которого весь доверительный интервал около единицы.

• Тип разбиения: Параметр, по которому будет рассчитываться выбранная статистика.
  • Полная выборка: Полная выборка.
  • Контроль: Контрольная выборка.
  • Обучение: Обучающая выборка.

Для просмотра отчёта с изменёнными параметрами следует нажать кнопку Перейти.

Описание статистики, выбранной в данный момент, расположено чуть ниже в светло-жёлтом блоке.

Под блоком быстрого управления отмечается какая статистика и на каком типе разбиения показана в данный момент в таблице.

Таблица задачи-алгоритмы

Основная информация отчёта содержится в таблице задачи-алгоритмы.

По строкам в ней расположены алгоритмы, а по столбцам - задачи.
В заголовке каждой строки и каждого столбца содержится краткая информация об алгоритме и о задаче соответственно: идентификационный номер, синоним и название. Название задачи - ссылка на страницу с полной информацией о задачи, название алгоритма - ссылка на страницу с полной информацией об алгоритме.

В ячейках таблицы показаны значения выбранной в данный момент статистики. В каждом столбце (то есть для каждой задачи) красным цветом выделено максимальное значение статистики, а синим - минимальное.

Если в блоке управления внешними параметрами включен доверительный интервал, то он так же будет отображаться в каждой ячейке. Тогда отчёт будет выглядеть следующим образом:

В левой верхней клетке таблицы находится ссылка на блок управления внешними параметрами отчёта Изменить параметры.

В данном блоке можно менять расположение задач и алгоритмов в таблице (то есть менять строки и столбцы местами).
Так же есть возможность включить доверительный интервал, тогда все статистики в таблице будут выводиться с доверительным интервалом (5%).