Алгоритм обучения

Материал из MachineLearning.

Алгоритм обучения (learning algorithm), синоним Метод обучения — в задачах обучения по прецедентам — алгоритм $\mu$ , который принимает на входе обучающую выборку данных $D$ , строит и выдаёт на выходе функцию $f$ из заданной модели $F$ , реализующую отображение из множества объектов $X$ во множество ответов $Y$ .

Построенная функция $f$ должна аппроксимировать (восстанавливать) зависимость ответов от объектов, в целом неизвестную, и заданную лишь в конечном числе точек — объектов обучающей выборки $D=\bigl((x_1,y_1),\ldots,(x_m,y_m)\bigr)\in X^m$ .

Построенная функция $f$ называется классификатором (в задачах классификации) или функцией регрессии (в задачах восстановления регрессии). В общем случае её называют по-разному: алгоритмом (преимущественно в русскоязычных работах), концептом (concept) или гипотезой (hypothesis) в зарубежных работах, реже — аппроксимирующей функцией или моделью.

На страницах Ресурса MachineLearning.RU предлагается придерживаться следующей терминологии:

алгоритм обучения или метод обучения — отображение $\mu:\: X^m\to F$ , которое произвольной выборке $D=(x_1,\ldots,x_m)\in X^m$ длины $m$ ставит в соответствие некоторую функцию $f\in F$ ;
алгоритм, классификатор, функция регрессии — отображение $f:\: X\to Y$ ;
семейство алгоритмов или модель зависимости — семейство функций $F$ , из которого метод обучения $\mu$ выбирает функцию $f$ .

Для задач обучения с учителем каноническим примером метода обучения является метод минимизации эмпирического риска. Он заключается в том, чтобы в заданной модели $F$ найти функцию, минимизирующую величину средней ошибки на обучающей выборке, называемую также эмпирическим риском:

$f = \mathrm{arg}\min_{f\in F} Q(f,D).$