Оценка обобщающей способности (японская притча)
Материал из MachineLearning.
Нижеприведенная Притча должна послужить предостережением, как Заказчику, так и Исполнителю работ по созданию распознающих алгоритмов. В Притче наглядно продемонстрировано, что, несмотря на отличные результаты, которые может показать на представленных Заказчиком данных решающее правило, Исполнителя, иногда, подстерегает буквально смертельная опасность уже на этапе подписания Акта приемки работ (даже до процедуры проверки на тестовой последовательности).
Процедуры же проверки на тестовой последовательности Исполнитель всячески должен избегать, для этого Исполнителю следует получить ВСЕ прецеденты, которыми Заказчик обладает, чтобы проверочного материала вообще не осталось. Однако, и это иногда не спасает. Видимо, человеческий интеллект обладает скрытыми от сознания способностями по оценке обобщающей способности, это надо учитывать!
Итак притча:
Жил-был давно в Японии очень злой сягун.
Если надо было решить казнить или миловать, то у сягуна уже и не спрашивали, а сразу казнили, ибо все равно сягун так бы велел. Это был самый кровожадный сягун в истории тех мест Японии.
И стало сягуну скучно, все прячутся, боятся, ни кто не заходит, ни о чем не спрашивает. Захотелось сягуну что-нибудь новенького, каких-нибудь свежих ощущений.
Позвал сягун повара и велел приготовить то, чего он ещё не ел. Повар сказал, что не может этого сделать, ибо великий сягун уже все ел.
Повара сягун казнил собственоручно.
Позвали другого повара, сягун сказал, что если тот не приготовит что ни будь необычного, то обязательно он, сягун, лично придумает для него новую жестокую казнь.
Ещё живой повар спросил, ел ли сягун рыбу Боо-Бо. Сягун сказал, что не ел такой рыбы. Повар стал рассказывать, что многие кто ел рыбу Боо-Бо - умерли, однако многие и выжили. Значит, продолжал повар, не всякая рыба Боо-Бо ядовита, так в глубокой древности люди знали способ определить, какая рыба Боо-Бо съедобна, а какая нет. И хорошо бы мудрые советники сягуна подумали, и указали бы способ отделять съедобную рыбу от несъедобной. Если такой способ будет найден, то сягун будет очень доволен, ведь все кто пробовал Боо-Бо и выжил, очень хвалят вкус этой рыбы, люди говорят, что она ароматна, нежна и очень сытная.
Надкусанную рыбу отдали на изучение советникам, чтобы те осмотрели каждую рыбину и выяснили способ отделять ядовитую Боо-Бо от неядовитой. Назначено было советникам думать до конца праздника собачьих боев.
Кровавые собачьи бои прошли и сягуну стало совсем скучно. Опять сягун возжелал свежих впечатлений. Спросил сягун своих советников - выполнено ли поручение, узнали ли они способ различать седобную рыбу из вида Боо-Бо? Все советники кроме двух сказали, что способа распознавания им найти не удалось. Сягун не справившимся советникам придумал казнь - приказал каждому съесть все книги из собственной библиотеки. Советники были очень образованы и имели большие библиотеки, они неплохо развлекли сягуна, некоторым, для продления праздника даже было позволено запивать еду керосином. В конце концов, все нерадивые советники умерли.
Двоим советникам, кто сказал, что способ распознать съедобную Боо-Бо найден, дозволено было доложить.
Первый с важным видом стал говорить - у съедобной Боо-Бо должны быть: плавники на расстоянии пальца и глаза вытаращены, а некоторых съедобных Боо-Бо можно отличить если чешуя синеватая и хвост веером, рыба Боо-Бо также съедобна, когда у неё живот вспучен и пахнет она миндалем, а цвет губ при этом очень черный также можно кушать ту рыбу, которая прожила без воды три дня, а когда её пустили в воду - стала плавать кругами
Сягун понял что ему морочат голову и дальше слушать не стал, а велел принести корзину рыбы Боо-Бо и приказал советнику откусить от каждой, которую он определит как съедобную. Советник был тоже не полный дурак и не захотел корчится в муках как солдаты, а попросил чтобы его быстро и безболезненно удавили.
Сягун выслушал советника вынул меч (он всегда так делал, когда быстро не мог придумать как наказать человека, который закончил говорить и при этом в его словах не прозвучало достаточно похвал достоинствам сягуна), но резать сягун советника передумал, а вдруг такой умный советник пригодится, когда станет скучно.
Вопросы для медитации: Почему сягун решил, что первый советник врет и выкручивается, а его способ распознавания бесполезен? Почему сягун оказал доверие способу второго советника?
З.Ы. А советник действительно пригодился, он придумал 12 способов наказания неугодных и пленных, 3 кровавых зрелища с участием диких зверей и 20567 способов избавится от самого сягуна. Но, к сожалению, сягун быстро умер от первого.
Этот текст писался как иллюстрация термина «предрассудок», который ввел Бонгард М.М., впервые исследовавший проблему переобучения (см. Книгу Бонгарда «Проблема узнавания», ссылки на книгу в статье Бонгард, Михаил Моисеевич).
При обучении, порождении понятий, переборе путей формирования цепочки «правильных» преобразований признакового пространства, невозможно обойтись без оценки качества решающих правил, иначе можно наплодить предрассудков.
Сягун произвел оценку «обобщающей способности» двух представленных «алгоритмов», в процессе которой, он сравнил объем перебора решающих правил сделанный первым и вторым советниками. Сягун, также, учел количество прецедентов. Сягун пришел к заключению о том, что первый советник явил предрассудок. И с Сягуном трудно не согласится!
Желающим продолжить медитации на более высоком уровне следует принять участие в семинаре - Расслоение и сходство алгоритмов
