Алгоритм обучения
Материал из MachineLearning.
(Новая: '''Алгоритм обучения''' (learning algorithm) — в задачах обучения по прецедентам ал...) |
(уточнение) |
||
| (3 промежуточные версии не показаны) | |||
| Строка 1: | Строка 1: | ||
| - | '''Алгоритм обучения''' (learning algorithm) — в задачах [[обучение по прецедентам|обучения по прецедентам]] алгоритм <tex> | + | '''Алгоритм обучения''' (learning algorithm), синоним '''Метод обучения''' — в задачах [[обучение по прецедентам|обучения по прецедентам]] — [[алгоритм]] <tex>\mu</tex>, который принимает на входе [[обучающая выборка|обучающую выборку]] данных <tex>D</tex>, строит и выдаёт на выходе функцию <tex>f</tex> из заданной модели <tex>F</tex>, реализующую отображение из множества объектов <tex>X</tex> во множество ответов <tex>Y</tex>. |
| - | Построенная функция называется | + | Построенная функция <tex>f</tex> должна аппроксимировать (восстанавливать) зависимость ответов от объектов, в целом неизвестную, и заданную лишь в конечном числе точек — объектов обучающей выборки <tex>D=\bigl((x_1,y_1),\ldots,(x_m,y_m)\bigr)\in X^m</tex>. |
| + | |||
| + | Построенная функция <tex>f</tex> называется | ||
классификатором (в задачах [[классификация|классификации]]) или | классификатором (в задачах [[классификация|классификации]]) или | ||
функцией регрессии (в задачах [[регрессионный анализ|восстановления регрессии]]). | функцией регрессии (в задачах [[регрессионный анализ|восстановления регрессии]]). | ||
В общем случае её называют по-разному: | В общем случае её называют по-разному: | ||
алгоритмом (преимущественно в русскоязычных работах), | алгоритмом (преимущественно в русскоязычных работах), | ||
| - | ''концептом'' (concept) или ''гипотезой'' (в | + | ''концептом'' (concept) или ''гипотезой'' (hypothesis) в зарубежных работах, |
реже — аппроксимирующей функцией или моделью. | реже — аппроксимирующей функцией или моделью. | ||
На страницах Ресурса '''MachineLearning.RU''' предлагается придерживаться следующей терминологии: | На страницах Ресурса '''MachineLearning.RU''' предлагается придерживаться следующей терминологии: | ||
| - | * ''алгоритм обучения'' или ''метод обучения'' — отображение <tex> | + | * ''алгоритм обучения'' или ''метод обучения'' — отображение <tex>\mu:\: X^m\to F</tex>, которое произвольной [[обучающая выборка|выборке]] <tex>D=(x_1,\ldots,x_m)\in X^m</tex> длины <tex>m</tex> ставит в соответствие некоторую функцию <tex>f\in F</tex>; |
* алгоритм, классификатор, функция регрессии — отображение <tex>f:\: X\to Y</tex>; | * алгоритм, классификатор, функция регрессии — отображение <tex>f:\: X\to Y</tex>; | ||
| - | * [[модель]] — семейство | + | * [[семейство алгоритмов]] или [[модель зависимости]] — семейство функций <tex>F</tex>, из которого метод обучения <tex>\mu</tex> выбирает функцию <tex>f</tex>. |
Для задач [[обучение с учителем|обучения с учителем]] каноническим примером ''метода обучения'' является | Для задач [[обучение с учителем|обучения с учителем]] каноническим примером ''метода обучения'' является | ||
| Строка 20: | Строка 22: | ||
называемую также ''[[эмпирический риск|эмпирическим риском]]'': | называемую также ''[[эмпирический риск|эмпирическим риском]]'': | ||
: <tex>f = \mathrm{arg}\min_{f\in F} Q(f,D).</tex> | : <tex>f = \mathrm{arg}\min_{f\in F} Q(f,D).</tex> | ||
| - | В | + | В типичных случаях ''метод обучения'' реализуется путём численной минимизации функционала <tex>Q</tex>. |
== Ссылки == | == Ссылки == | ||
* [[Обучение по прецедентам]] | * [[Обучение по прецедентам]] | ||
* [http://www.ccas.ru/voron/teaching.html ''Воронцов К. В.'' Математические методы обучения по прецедентам]. Курс лекций. [[МФТИ]]. 2006 | * [http://www.ccas.ru/voron/teaching.html ''Воронцов К. В.'' Математические методы обучения по прецедентам]. Курс лекций. [[МФТИ]]. 2006 | ||
| + | |||
| + | [[Категория:Машинное обучение]] | ||
| + | [[Категория:Энциклопедия анализа данных]] | ||
Текущая версия
Алгоритм обучения (learning algorithm), синоним Метод обучения — в задачах обучения по прецедентам — алгоритм , который принимает на входе обучающую выборку данных
, строит и выдаёт на выходе функцию
из заданной модели
, реализующую отображение из множества объектов
во множество ответов
.
Построенная функция должна аппроксимировать (восстанавливать) зависимость ответов от объектов, в целом неизвестную, и заданную лишь в конечном числе точек — объектов обучающей выборки
.
Построенная функция называется
классификатором (в задачах классификации) или
функцией регрессии (в задачах восстановления регрессии).
В общем случае её называют по-разному:
алгоритмом (преимущественно в русскоязычных работах),
концептом (concept) или гипотезой (hypothesis) в зарубежных работах,
реже — аппроксимирующей функцией или моделью.
На страницах Ресурса MachineLearning.RU предлагается придерживаться следующей терминологии:
- алгоритм обучения или метод обучения — отображение
, которое произвольной выборке
длины
ставит в соответствие некоторую функцию
;
- алгоритм, классификатор, функция регрессии — отображение
;
- семейство алгоритмов или модель зависимости — семейство функций
, из которого метод обучения
выбирает функцию
.
Для задач обучения с учителем каноническим примером метода обучения является
метод минимизации эмпирического риска.
Он заключается в том, чтобы в заданной модели
найти функцию, минимизирующую величину средней ошибки на обучающей выборке,
называемую также эмпирическим риском:
В типичных случаях метод обучения реализуется путём численной минимизации функционала .
Ссылки
- Обучение по прецедентам
- Воронцов К. В. Математические методы обучения по прецедентам. Курс лекций. МФТИ. 2006
