Решающее дерево

Материал из MachineLearning.

Содержание 1 Основные определения 1.1 Простейший алгоритм синтеза дерева 2 Разновидности решающих деревьев 2.1 Тип задачи 2.2 Критерии ветвления 2.3 Критерии останова 2.4 Что находится во внутренних вершинах 2.5 Что находится в листьях 2.6 Передача информации между вершинами 2.7 Рецукция решающих деревьев 2.8 Оценивание вероятностей 2.9 Полужадный синтез 3 Алгоритмы построения решающих деревьев 4 Обобщающая способность решающих деревьев 5 Композиции решающих деревьев 6 История 7 Ссылки 8 Литература

Решающее дерево —

Основные определения

Простейший алгоритм синтеза дерева

Разновидности решающих деревьев

Тип задачи

• Классификация
• Регрессия

Критерии ветвления

• Энтропийный критерий
• Критерий Джини

Критерии останова

Что находится во внутренних вершинах

Что находится в листьях

Передача информации между вершинами

• (alternating decision tree)

Рецукция решающих деревьев

• Предредукция
• Постредукция

Оценивание вероятностей

Полужадный синтез

Алгоритмы построения решающих деревьев

• Алгоритм ID3
• Алгоритм C4.5
• Алгоритм C5.0
• Алгоритм CART
• Алгоритм LISTBB

Обобщающая способность решающих деревьев

Композиции решающих деревьев

• Решающий лес
• Бустинг над решающими деревьями

История

Ссылки

• Classification and Regression Trees — лекции Cosma Shalizi, ноябрь 2009.

Литература