Полигон алгоритмов/Общий отчёт задачи-алгоритмы

Материал из MachineLearning.

Версия 08:58, 8 сентября 2010

Инструкция по работе с общим отчётом задачи-алгоритмы в системе «Полигон».

Данный отчёт позволяет сравнить алгоритмы на задачах с помощью используемого набора статистик.
Чтобы перейти к подробному отчёту на задаче-алгоритме следует нажать на соответствующую ячейку в таблице.

Описание отчёта

В левом верхнем углу экрана изображена краткая информация об отчёте:

• Название: название отчёта, задаётся пользователем при создании отчёта.
• Идентификатор отчета: идентификационный номер отчёта, задаётся автоматически при создании отчёта.
• Пользователь: пользователь, который создал данный отчёт.
• Дата создания: дата создания отчёта.
• Описание: краткое описание отчёта.

• Ссылка на комментарии к отчёту расположена чуть ниже. По ней можно прочитать комментарии к данному отчёту, а зарегистрированные пользователи так же смогут оставить свои комментарии.

• Ссылка Версия для печати переводит внешний вид отчета к виду, оптимальному для печати (отсутствуют панели управления параметрами и т. п.)

• Ссылка Справка по отчету перенаправляет пользователя на данную страницу

• Ссылка Зафиксировать позволяет зафиксировать отчет. Данная ссылка отображается только на нефиксированных отчетах. Подробнее о фиксации отчетов написано здесь

Блок быстрого управления отчётом

В правом верхнем углу экрана изображён блок быстрого управления отчётом:

• Статистика: Позволяет выбрать параметр, по которому будет происходить сравнение в таблице.
  1. Стандартная ошибка:

     Средняя ошибка на разбиениях, полученных при скользящем контроле.

  2. Переобученность:

     Переобученность это разность между средними ошибками на контроле и на обучении. Чем больше разность, тем больше вероятность переобучения.

  3. Смещение:

     Среднее смещение характеризует степень несогласованности данного объекта с алгоритмом обучения. Чем меньше смещение, тем лучше алгоритм подходит для решения конкретной задачи.

  4. Вариация:

     Средняя вариация характеризует степень изменчивости результата обучения на данном объекте при варьировании состава обучающей выборки. Чем меньше вариация, тем устойчивее алгоритм классификации.

  5. Доля пограничных объектов:

     Объект называется пограничным, если его отступ находится вблизи нуля. При наличии доверительного интервала мы используем более строгое определение пограничного объекта: объект называется пограничным, если нуль входит в его доверительный интервал.

  6. Доля шумовых объектов:

     Шумовым объект называется, если его отступ меньше нуля. В нашем случае, когда мы имеем ещё доверительный интервал, считаем, что объект шумовой это тот объект, у которого весь доверительный интервал лежит меньше нуля. Чем меньше шумовых объектов, тем лучше работает алгоритм классификации и (или) тем лучше сама выборка (содержит мало выбросов).

  7. Доля эталонных объектов:

     Объект называется эталонным, если его отступ находится вблизи единицы. В нашем случае, когда мы имеем ещё доверительный интервал, считаем, что шумовой это тот объект, у которого весь доверительный интервал около единицы.

• Тип разбиения: Параметр, по которому будет рассчитываться выбранная статистика.
  • Полная выборка: Полная выборка.
  • Контроль: Контрольная выборка.
  • Обучение: Обучающая выборка.

Для просмотра отчёта с изменёнными параметрами следует нажать кнопку Перейти.

Описание статистики, выбранной в данный момент, расположено чуть ниже в светло-жёлтом блоке.

Под блоком быстрого управления отмечается какая статистика и на каком типе разбиения показана в данный момент в таблице.

Таблица задачи-алгоритмы

Основная информация отчёта содержится в таблице задачи-алгоритмы.

По строкам в ней расположены алгоритмы, а по столбцам - задачи.
В заголовке каждой строки и каждого столбца содержится краткая информация об алгоритме и о задаче соответственно: идентификационный номер, синоним и название. Название задачи - ссылка на страницу с полной информацией о задачи, название алгоритма - ссылка на страницу с полной информацией об алгоритме.

В ячейках таблицы показаны значения выбранной в данный момент статистики. В каждом столбце (то есть для каждой задачи) красным цветом выделено максимальное значение статистики, а синим - минимальное.

Если в блоке управления внешними параметрами включен доверительный интервал, то он так же будет отображаться в каждой ячейке. Тогда отчёт будет выглядеть следующим образом:

В левой верхней клетке таблицы находится ссылка на блок управления внешними параметрами отчёта Изменить параметры.

В данном блоке можно менять расположение задач и алгоритмов в таблице (то есть менять строки и столбцы местами).
Так же есть возможность включить доверительный интервал, тогда все статистики в таблице будут выводиться с доверительным интервалом (5%).

Фиксирование отчетов

В Системе могут быть отчеты двух типов - фиксированные и нефиксированные.

После создания отчета он является нефиксированным, т.е. его данные могут изменяться при постепенном расчете заданий на тестирование или пересчете соответствующих заданий - пересчете ячеек.

После фиксации отчета значения статистик во всех ячейках отчета и соответствующие результаты тестирования "замораживаются", т.е. данные фиксированного отчета не могут больше изменяться. Сохраняются те данные, которые соответствуют отчету на момент фиксации.

На фиксированных отчетах недопустим пересчет ячеек. Но даже если ячейка находится в некотором фиксированном отчете, пользователь, который имеет на это право (см. Пересчет ячеек отчета), может отправить ее на пересчет в нефиксированном отчете. При этом значения статистик в данной ячейке обновятся во всех связанных нефиксированных отчетах, но останутся неизменными в фиксированных.

Пересчет ячеек отчета

Ячейку по паре задача-экземпляр алгоритма можно отправить на пересчет только в следующих условиях:

• отчет нефиксированный
• пользователь авторизован и является как владельцем отчета, так и владельцем соответствующего алгоритма; а также у пользователя должны права на пользование задачей
• задача и алгоритм не удалены из Системы

Поскольку данные статистик и результатов тестирования для конкретного экземпляра алгоритма и задачи общие для всех нефиксированных отчетов, будьте внимательны при отправке ячеек на пересчет. Данные по данной ячейке обновятся во всех нефиксированных отчетах, в которых она находится.