Алгоритм обучения
Материал из MachineLearning.
Алгоритм обучения (learning algorithm), синоним Метод обучения — в задачах обучения по прецедентам — алгоритм , который принимает на входе обучающую выборку данных
, строит и выдаёт на выходе функцию
из заданной модели
, реализующую отображение из множества объектов
во множество ответов
.
Построенная функция должна аппроксимировать (восстанавливать) зависимость ответов от объектов, в целом неизвестную, и заданную лишь в конечном числе точек — объектов обучающей выборки
.
Построенная функция называется
классификатором (в задачах классификации) или
функцией регрессии (в задачах восстановления регрессии).
В общем случае её называют по-разному:
алгоритмом (преимущественно в русскоязычных работах),
концептом (concept) или гипотезой (hypothesis) в зарубежных работах,
реже — аппроксимирующей функцией или моделью.
На страницах Ресурса MachineLearning.RU предлагается придерживаться следующей терминологии:
- алгоритм обучения или метод обучения — отображение
, которое произвольной выборке
длины
ставит в соответствие некоторую функцию
;
- алгоритм, классификатор, функция регрессии — отображение
;
- семейство алгоритмов или модель зависимости — семейство функций
, из которого метод обучения
выбирает функцию
.
Для задач обучения с учителем каноническим примером метода обучения является
метод минимизации эмпирического риска.
Он заключается в том, чтобы в заданной модели
найти функцию, минимизирующую величину средней ошибки на обучающей выборке,
называемую также эмпирическим риском:
В типичных случаях метод обучения реализуется путём численной минимизации функционала .
Ссылки
- Обучение по прецедентам
- Воронцов К. В. Математические методы обучения по прецедентам. Курс лекций. МФТИ. 2006