Алгоритм обучения

Материал из MachineLearning.

(Перенаправлено с Метод обучения)
Перейти к: навигация, поиск

Алгоритм обучения (learning algorithm), синоним Метод обучения — в задачах обучения по прецедентамалгоритм \mu, который принимает на входе обучающую выборку данных D, строит и выдаёт на выходе функцию f из заданной модели F, реализующую отображение из множества объектов X во множество ответов Y.

Построенная функция f должна аппроксимировать (восстанавливать) зависимость ответов от объектов, в целом неизвестную, и заданную лишь в конечном числе точек — объектов обучающей выборки D=\bigl((x_1,y_1),\ldots,(x_m,y_m)\bigr)\in X^m.

Построенная функция f называется классификатором (в задачах классификации) или функцией регрессии (в задачах восстановления регрессии). В общем случае её называют по-разному: алгоритмом (преимущественно в русскоязычных работах), концептом (concept) или гипотезой (hypothesis) в зарубежных работах, реже — аппроксимирующей функцией или моделью.

На страницах Ресурса MachineLearning.RU предлагается придерживаться следующей терминологии:

  • алгоритм обучения или метод обучения — отображение \mu:\: X^m\to F, которое произвольной выборке D=(x_1,\ldots,x_m)\in X^m длины m ставит в соответствие некоторую функцию f\in F;
  • алгоритм, классификатор, функция регрессии — отображение f:\: X\to Y;
  • семейство алгоритмов или модель зависимости — семейство функций F, из которого метод обучения \mu выбирает функцию f.

Для задач обучения с учителем каноническим примером метода обучения является метод минимизации эмпирического риска. Он заключается в том, чтобы в заданной модели F найти функцию, минимизирующую величину средней ошибки на обучающей выборке, называемую также эмпирическим риском:

f = \mathrm{arg}\min_{f\in F} Q(f,D).

В типичных случаях метод обучения реализуется путём численной минимизации функционала Q.

Ссылки

Личные инструменты