Бритва Оккама

Материал из MachineLearning.

Уильям Оккам — английский философ-схоласт, логик и церковно-политический писатель (ок 1285—1349), автор принципа: «не умножай сущности без необходимости».

«Бритва (лезвие) О́ккама» — методологический принцип, получивший название по имени английского монаха-францисканца, философа-номиналиста Уильяма Оккама. В упрощенном виде он гласит: «Не следует множить сущее без необходимости». В современной науке под бритвой Оккама обычно понимают общий принцип, утверждающий, что если существует несколько логически непротиворечивых определений или объяснений какого-либо явления, то следует считать верным самое простое из них.

Бритва Оккама в машинном обучении

В машинном обучении принцип бритвы Оккама можно интерпретировать следующим образом: процесс обучения может быть представлен как поиск наиболее простого (в значении — короткого по длине описания) алгоритма, соответствующего обучающей выборке.

Оценки бритвы Оккама

Принцип минимальной длины описания

См. также

• Теория Вапника–Червоненкиса
• Теория Валианта
• Критерий Акаике

Литература

1. Langford J. Quantitatively tight sample complexity bounds. — 2002. — Carnegie Mellon Thesis.
2. Anselm Blumer, Andrzej Ehrenfeucht, David Haussler, Manfred K. Warmuth Occam's Razor Information Processing Letters 24(6): 377-380 (1987)