Обсуждение:Персептрон

Материал из MachineLearning.

Версия 23:46, 20 апреля 2008

Недостатки начальной версии этой статьи, перенесённой из Википедии

• Статья сильно «водяниста», нажо выжимать!
• Информация, представленная в статье, не соотвествует современному состоянию теории нейронных сетей. В частности, в разделе Алгоритмы обучения надо бы обзорно упомянуть BackPropagation, Optimal Brain Damage, Simulated annealing, и многое другое. Застревать на морально устаревшем дельта-правиле (даже не упомянув о его связи с градиентной оптимизацией) как-то странно…
• Объяснить терминологию: «Персептрон» = «Нейронная сеть»? В чём отличия? Если «персептрон» — это «устаревшее представление о нейронных сетях, уровня конца 60-х», то об этом так и надо сказать в начале статьи, сократив её раза в два, и расставив ссылки типа «а теперь это делают не так, а так…»
• «…математически доказывалось, что перцептроны, подобные розенблатовским, принципиально не в состоянии выполнять…» — здесь вполне можно сказать подробнее: ограниченность персептрона связана с тем, что он реализует линейное разделяющее правило, но только однослойный; уже двухслойного персептрона вполне достаточно для решения реальных задач; а трёхслойный практически «может всё».
• Так и не сказано, чем же занимались представители «восходящего метода».
• Можно дать нейрофизиологическое объяснение персептрона, хотя бы упрощённое.
• Убрать нумерацию определений. Перед определениями ввести обозначения. К определениям очень много претензий: они скорее запутывают, чем объясняют. Надо серьёзно думать над подачей материала.
• В нескольких формулах несбалансированы скобки.
• Вставить картинки.
• Много орфографических ошибок.

Общие выводы

• Не всегда правильно перенести информацию из Википедии к нам 1:1. Там, где Википедия умалчивает технические подробности, наш Ресурс должен предоставлять современную профессиональную информацию.
• Эх! Ещё работать и работать над этой статьёй...

К.В.Воронцов 23:03, 20 апреля 2008 (MSD)

Хорошо, давайте начнем с принципиальных вопросов, «водяниста», и

• В нескольких формулах несбалансированы скобки.
• Вставить картинки.
• Много орфографических ошибок.

оставим на закуску. В википедии есть такой значек "Разрешаю исправлять мои орфографические ошибки". ---

Заострим внимание на этом

• «…математически доказывалось, что перцептроны, подобные розенблатовским, принципиально не в состоянии выполнять…» — здесь вполне можно сказать подробнее: ограниченность персептрона связана с тем, что он реализует линейное разделяющее правило, но только однослойный; уже двухслойного персептрона вполне достаточно для решения реальных задач; а трёхслойный практически «может всё».

Эту фразу вижу много раз, но попрошу от Вас деталей - кем и что доказывалось ?

Если мы говорим о перцептроне Розенблатта, то в статье четко указано - нет такого перцептрона как однослойный, соответственно не может быть и речи о "ограниченность персептрона связана с тем, что он реализует линейное разделяющее правило".

Далее в статье четко указано, что перцептрон Розенблатта - имеет две матрицы связей, одна из которых случайна, а другая настраиваема - этого уже достаточно, чтобы сказать практически «может всё».

А к вам как раз вопрос, что вы понимаете под слоями перцептрона, и кем показано, что перцептрон Розенблатта чем то уступает двухслойным и тем более трехслойным перцептронам ? В чем уступает, в чем выигрывает ?

Думаю, это не кем не доказывалось. А в таком случае, очивидно, что перцептрон Розенблатта в его изначальном виде как минимум по скорости выигрывает перед т.н. современными методами типа многслойного перцептрона с алгоритмом обратного распространения ошибки. А вот что касается выйгрыша в другую сторону НИ КЕМ ОБСТОЯТЕЛЬНО не показанно.

поэтому думаю как только мы разберемся с этим вопросом, думаю сместится акцент, что называть "современным состояние теории нейронных сетей", и так уж ли он позволяет говорить, что что-то устарело ...

SergeyJ 02:09, 21 апреля 2008 (MSD)

Что же касается, этого

• Объяснить терминологию: «Персептрон» = «Нейронная сеть»? В чём отличия? Если «персептрон» — это «устаревшее представление о нейронных сетях, уровня конца 60-х», то об этом так и надо сказать в начале статьи, сократив её раза в два, и расставив ссылки типа «а теперь это делают не так, а так…»

То обращаю Ваше внимание на кусок статьи:

"В последствии работа Вассермана, вызвала новый всплеск активности в области искуственных нейронных сетей, и применение идей теории перцептронов на новый лад с образованием собственной новой терминологии и становлением науки о нейросетях, но с точки зрения технического приложения в противовес построению моделей мозга. Но к сожалению некоторые неточности в его работе привели к ряду недоразумений. Так, например, Вассерманом была предложена классификация искусственных нейроных сетей на основе подсчета числа обучаемых слоев связей, а не по числу структурных элементов сети. Но такая классификация проблематична, так как не позволяет говорить об особенностях определенного вида нейросетей. Это вызвало ряд недоразумений в последующие годы при определении перцептрона, так как сам автор всегда говорил о нем, как о трехслойном, а классификация по числу обучаемых слоев предполагала называть его однослойным. Но к сожалению, это сказалось не только на терминологии, но и не верном представлении о перцептроне как простейшем пороговом элементе. Так как была не учтена роль первого необучаемого слоя.

Структура, состоящая из нескольких соединенных слоев пороговых элементов называется многослойным перцептроном. Такой термин появился когда был предложен алгоритм обратного распространения, с помощью которого стали обучать (настраивать коэффициенты) более одного слоя. Но такую структуру не стоит прямо сравнивать с перцептроном Розенблатта. Это достаточно разные модели нейросетей, но которые во многом эквивалентны друг другу в общем случае, и специфичны для разного рода задач."

• Убрать нумерацию определений. Перед определениями ввести обозначения. К определениям очень много претензий: они скорее запутывают, чем объясняют. Надо серьёзно думать над подачей материала.

Это думаю не принципиально, но это оригинальные цитаты из работы Розенблатта. Думаю он достаточно серьезно думал над подачей материала ... SergeyJ 02:27, 21 апреля 2008 (MSD)

Да, возможно это важно, заранее прошу меня извенить, если мой тон покажется Вам в каких-то местах излишне категоричным, на это иногда обижаются, я совсем этого не хочу. Дело в том, что перцептроны мне известны не по наслышке, и я достаточно серьезно над ними работаю, где-то год-два назад, когда начал узнавать, что о них думают другие - был порожен - очень многие не знают о нем всей правды. Поэтому собственно и стал писать "исторические" статьи, чтобы показать что рановато списали перцептрон со счетов. Надеюсь на дальнейшее понимание ... SergeyJ 02:41, 21 апреля 2008 (MSD)

Что-же, касается, "в разделе Алгоритмы обучения надо бы обзорно упомянуть BackPropagation, Optimal Brain Damage, Simulated annealing, и многое другое.", то к перцептрону Розенблатта, а статья именно об этом - это все не относится. Думаю имеет смысл создать статью Многослойный перцептрон - MLP - там все это и описать. А вот когда это будет - я в своем оригинальном исследовании попробую показать, что перцептрон Розенблатта, возможно с некоторыми моими доработками - как минимум эквивалентен, а возможно, и наверняка, в некоторых моментах превосходит. Но, критикой BackPropagation, Optimal Brain Damage, Simulated annealing - имеет смысл заниматься когда это на что-то конкретное претендует ... я же пока не знаю на что ... чтобы сравнивать в эквивалентных тестах, а не с коммерческой рекламой, и математической теорией ... У меня пока ощущение, что все это "Optimal Brain Damage, Simulated annealing, и многое другое." - исправление ошибок, которые ввели, чтобы заработал BackPropagation (кстати, не понятно тоже зачем. Я не где не встречал обоснования, чем сеть большим числом слоев лучше перцептрона Розенблатта - всюду только наталкивался на заблуждения, которые в кратце описал в статье.) - и получилось слишком грамоздко, чтобы применять на практике ... здесь я могу немного заблуждаться, но к этому довайте вернемся - когда все это будет у Вас на сайте нормально описано ... SergeyJ 03:31, 21 апреля 2008 (MSD)