Оценка обобщающей способности (японская притча)

Материал из MachineLearning.

Текущая версия

Притча

Жил-был давно в Японии очень злой сягун. Сягун — это такой самовластный правитель небольшого района в Японии. Если надо было решить казнить или миловать, то у сягуна уже и не спрашивали, а сразу казнили, ибо все равно сягун так бы велел. Это был самый кровожадный сягун в истории тех мест Японии.

И стало сягуну скучно, все прячутся, боятся, никто не заходит, ни о чём не спрашивает. Захотелось сягуну чего-нибудь новенького, каких-нибудь свежих ощущений.

Позвал сягун повара и велел приготовить то, чего он ещё не ел. Повар сказал, что не может этого сделать, ибо великий сягун уже всё ел.

Повара сягун казнил собственоручно.

Позвали другого повара, сягун сказал, что если тот не приготовит что-нибудь необычное, то обязательно он, сягун, лично придумает для него новую жестокую казнь.

Ещё живой, повар спросил, ел ли сягун рыбу Боо-Бо. Сягун сказал, что не ел такой рыбы. Повар стал рассказывать, что многие кто ел рыбу Боо-Бо умерли, однако многие и выжили. Значит, продолжал повар, не всякая рыба Боо-Бо ядовита, так в глубокой древности люди знали способ определить, какая рыба Боо-Бо съедобна, а какая нет. И хорошо бы мудрые советники сягуна подумали, и указали бы способ отделять съедобную рыбу от несъедобной. Если такой способ будет найден, то сягун будет очень доволен, ведь все кто пробовал Боо-Бо и выжил, очень хвалят вкус этой рыбы; люди говорят, что она ароматна, нежна и очень сытная.

Сягун обрадовался, ибо повар указал хороший способ наказать войско, которое недавно вернулось из бесславного похода — он приказал каждому солдату раздать по одной рыбе Боо-Бо и чтобы каждый «подлый трус» под строгим надзором съел кусочек от выданной рыбы. И какой солдат умрет от такой еды, то привязать к хвосту его рыбы белую ленточку, а если выживет, то красную ленточку. Сягун лично пошел глядеть как будут корчиться в муках умирающие солдаты.

Надкусанную рыбу отдали на изучение советникам, чтобы те осмотрели каждую рыбину и выяснили способ отделять ядовитую Боо-Бо от неядовитой. Назначено было советникам думать до конца праздника собачьих боев.

Кровавые собачьи бои прошли, и сягуну стало совсем скучно. Опять сягун возжелал свежих впечатлений. Спросил сягун своих советников — выполнено ли поручение, узнали ли они способ различать съедобную рыбу из вида Боо-Бо? Все советники кроме двух сказали, что способа распознавания им найти не удалось. Сягун не справившимся советникам придумал казнь — приказал каждому съесть все книги из собственной библиотеки. Советники были очень образованы и имели большие библиотеки, они неплохо развлекли сягуна, некоторым для продления праздника даже было позволено запивать еду керосином. В конце концов все нерадивые советники умерли.

Двоим советникам, кто сказал, что способ распознать съедобную Боо-Бо найден, дозволено было доложить.

Первый с важным видом стал говорить — у съедобной Боо-Бо должны быть: плавники на расстоянии пальца и глаза вытаращены, а некоторых съедобных Боо-Бо можно отличить, если чешуя синеватая и хвост веером; рыба Боо-Бо также съедобна, когда у неё живот вспучен и пахнет она миндалем, а цвет губ при этом очень черный; также можно кушать ту рыбу, которая прожила без воды три дня, а когда её пустили в воду — стала плавать кругами.

Сягун понял, что ему морочат голову, и дальше слушать не стал, а велел принести корзину рыбы Боо-Бо и приказал советнику откусить от каждой, которую он определит как съедобную. Советник был тоже не полный дурак и не захотел корчится в муках как солдаты, а попросил чтобы его быстро и безболезненно удавили.

Второй советник, рассказал, что для определения, съедобна ли Боо-Бо, нужно сделать разрез на спине и кусочком чеснока провести по разрезу, если чеснок не почернеет, то рыба съедобна, а если почернеет, то не съедобна.

Сягун выслушал советника, вынул меч (он всегда так делал, когда быстро не мог придумать, как наказать человека, который закончил говорить, и при этом в его словах не прозвучало достаточно похвал достоинствам сягуна), но резать сягун советника передумал. А вдруг такой умный советник пригодится, когда станет скучно.

Вопросы для медитации:

• Почему сягун решил, что первый советник врёт и выкручивается, а его способ распознавания бесполезен?
• Почему сягун оказал доверие способу второго советника?

Эпилог. А советник действительно пригодился, он придумал 12 способов наказания неугодных и пленных, 3 кровавых зрелища с участием диких зверей и 20567 способов избавится от самого сягуна. Но, к сожалению, сягун быстро умер от первого.

Мораль

Этот текст служит иллюстрацией к термину «предрассудок», который ввел Михаил Моисеевич Бонгард, впервые исследовавший проблему переобучения. При обучении, порождении понятий, переборе путей формирования цепочки «правильных» преобразований признакового пространства, невозможно обойтись без оценки качества решающих правил, иначе можно наплодить предрассудков.

Сягун произвел оценку обобщающей способности двух представленных «алгоритмов», сравнив объём перебора решающих правил, сделанный первым и вторым советниками. Первый советник привёл несколько правил, причём некоторые из них достаточно сложны. Можно догадаться, что советник перебрал слишком много правил в процессе поиска, и некоторые из них сработали чисто случайно. Сягун пришел к заключению о том, что первый советник явил предрассудок, и с Сягуном трудно не согласится!

Второй советник был мудрее и, скорее всего, перебирал правила, похожие на типичные проверки ядовитости пищевых продуктов. Грамотно выбранная модель, хорошо подходящая к данной задаче — это такая модель, которая, по-возможности, опирается на знания предметной области.

Эта притча должна также послужить предостережением как Заказчику, так и Исполнителю работ по созданию распознающих алгоритмов. Разработанное Исполнителем решающее правило может показать отличные результаты на представленных Заказчиком данных; тем не менее, Исполнителя подстерегает буквально смертельная опасность уже на этапе подписания Акта приемки работ (даже до процедуры проверки на тестовой последовательности). Заказчик может думать, что он способен оценить обобщающую способность решающего правила «в уме», как это сделал Сягун.

См. также

• Переобучение
• Предрассудок
• Моделирование мышления (школа Бонгарда)
• Расслоение и сходство алгоритмов (виртуальный семинар)

Литература

1. Бонгард М.М. Проблема узнавания. М.: Физматгиз, 1967. 320 с. http://rapidshare.com/files/47485435/Bongard.djvu http://www.leftinmsu.narod.ru/library_files/books/Bongard.rar