Метод потенциального бустинга

Материал из MachineLearning.

(Различия между версиями)
Перейти к: навигация, поиск
(Постановка проблемы)
Строка 10: Строка 10:
==Описание алгоритма==
==Описание алгоритма==
===Постановка проблемы===
===Постановка проблемы===
-
Пусть n – число точек обучающей выборки, m – число признаков (все количественные), X – m-мерное пространство объектов, X.
+
Пусть n – число точек обучающей выборки, m – число признаков (все количественные), X – m-мерное пространство объектов, Y = {1,-1} - множество классов, X<sup>l</sup> = {(x<sub>1</sub>,y<sub>1</sub>),...,(x<sub>n</sub>,y<sub>n</sub>)} - обучающая выборка.
 +
 
 +
 
 +
Normal 0 false false false RU X-NONE X-NONE
Normal 0 false false false RU X-NONE X-NONE

Версия 16:09, 19 июня 2013

Метод потенциального бустинга - алгоритм классификации, использующий процедуру бустинга для обучения классификатора - метода потенциальных функций.

Идея метода

Бустинг - одна метод построения композиции классификаторов, которая последовательно обучает базовые классификаторы, каждый раз стараясь исправить ошибки, допускаемые всеми предыдущими классификаторами.

Идея метода потенциальных функций состоит в том, чтобы в пространстве объектов каждый объект создавал потенциальное поле со своим зарядом, соответствующим его классу (по аналогии с электростатикой). В качестве функции потенциалов можно брать любую функцию, достигающую в центре своего максимума и убывающую при отдалении от центра. Классификатором становится совокупность всех потенциалов - объект причисляется к тому классу, представители которого дают наибольший суммарный потенциал в этом объекте.

Главной идеей метода потенциального бустинга является построение классификатора, которое является композицией базовых классификаторов - потенциальных функций. Построение композиции методом бустинга позволяет устранить типичные недостатки метода потенциальных функций: медленная сходимость алгоритма, отсутствие настройки или очень грубая настройка параметров потенциалов, зависимость результата от порядка выбора объектов обучающей выборки.

Описание алгоритма

Постановка проблемы

Пусть n – число точек обучающей выборки, m – число признаков (все количественные), X – m-мерное пространство объектов, Y = {1,-1} - множество классов, Xl = {(x1,y1),...,(xn,yn)} - обучающая выборка.



Normal 0 false false false RU X-NONE X-NONE

Личные инструменты