Искусственная нейронная сеть

Материал из MachineLearning.

Версия 11:42, 5 января 2010 (править) Tikhonov Andrey (Обсуждение | вклад) ← К предыдущему изменению		Версия 11:52, 5 января 2010 (править) (отменить) Tikhonov Andrey (Обсуждение | вклад) К следующему изменению →
Строка 5:		Строка 5:
	== История метода ==		== История метода ==
		+	Идея метода сформировалась в процессе изучения работы мозга живых существ. Но нужно помнить, что ИНС гораздо проще своих прототипов, биологических нейронных сетей, до конца не изученных до сих пор.
		+	=== Хронология ===
		+
		+	* 1943 год — Норберт Винер вместе с соратниками публикует работу о кибернетике. Основной идеей является представление сложных биологических процессов математическими моделями.
		+	* 1943 год — Маккалок и Питтс формализуют понятие нейронной сети в фундаментальной статье о логическом исчислении идей и нервной активности[1].
		+	* 1949 год — Хебб предлагает первый алгоритм обучения.
		+	* В 1958 году Розенблаттом изобретен перцептрон. Перцептрон обретает популярность — его используют для распознавания образов, прогнозирования погоды и т. д. Казалось, что построение полноценного искусственного интеллекта уже не за горами.
		+	* В 1960 году Уидроу (Widrow) совместно со своим студентом Хоффом на основе дельта-правила (формулы Уидроу) разработали Адалин, который сразу начал использоваться для задач предсказания и адаптивного управления. Адалин был построен на базе созданных ими же (Уидроу — Хоффом) принципально новых элементах — мемисторах[2]. Сейчас Адалин (адаптивный сумматор) является стандартным элементом многих систем обработки сигналов.[3]
		+	* В 1961 году под руководством М. М. Бонгарда разработана программа «Кора»: «…задача Коры — поиск разделяющего правила после того, как найдены операторы, дающие достаточно четкие (коротко кодируемые) характеристики объекта или его частей». Программа Кора нашла применение, в частности, для распознавания нефтеносных пластов.
		+	* В 1969 году Минский публикует формальное доказательство ограниченности перцептрона и показывает, что он неспособен решать некоторые задачи (Проблема "четности" и "один в блоке"), связанные с инвариантностью представлений. Интерес к нейронным сетям резко спадает.
		+	* 1974 год — Пол Дж. Вербос[4] и А. И. Галушкин[5] одновременно изобретают алгоритм обратного распространения ошибки для обучения многослойных перцептронов. Изобретение не привлекло особого внимания.
		+	* 1975 год — Фукушима представляет Когнитрон — самоорганизующуюся сеть, предназначенную для инвариантного распознавания образов, но это достигается только при помощи запоминания практически всех состояний образа.
		+	* 1982 год — после длительного упадка, интерес к нейросетям вновь возрастает. Хопфилд (en:John Joseph Hopfield) показал, что нейронная сеть с обратными связями может представлять собой систему, минимизирующую энергию (так называемая сеть Хопфилда). Кохоненом представлены модели сети, обучающейся без учителя (Нейронная сеть Кохонена), решающей задачи кластеризации, визуализации данных (самоорганизующаяся карта Кохонена) и другие задачи предварительного анализа данных.
		+	* 1986 год — Дэвидом И. Румельхартом, Дж. Е. Хинтоном и Рональдом Дж. Вильямсом[6] и независимо и одновременно С. И. Барцевым и В. А. Охониным (Красноярская группа)[7] переоткрыт и существенно развит метод обратного распространения ошибки. Начался взрыв интереса к обучаемым нейронным сетям.
	== Математическое описание ==		== Математическое описание ==
Строка 31:		Строка 45:
	[[Категория:Машинное обучение]]		[[Категория:Машинное обучение]]
	[[Категория:Нейронные сети]]		[[Категория:Нейронные сети]]
		+	[[Категория:Незавершённые статьи]]
	{{Задание|Tikhonov_Andrey|Константин Воронцов|7 января 2009}}		{{Задание|Tikhonov_Andrey|Константин Воронцов|7 января 2009}}

---

Версия 11:52, 5 января 2010

Иску́сственные нейро́нная се́ть (artificial neural network, ANN), или просто нейронная сеть — это математическая модель, а также ее программные или аппаратные реализации, построенная в некотором смысле по образу и подобию сетей нервных клеток живого организма. Само понятие возникло при изучении процессов, протекающих в мозге, и при попытке смоделировать эти процессы.

Нейронные сети — один из наиболее известных и старых методов машинного обучения, однако последнее время его использование перестало быть повсеместным из-за очевидных минусов.

Содержание 1 История метода 1.1 Хронология 2 Математическое описание 2.1 Персептрон 2.2 Однослойные сети 2.3 Многослойные сети 2.4 Сети Кохонена 3 Проблемы метода 4 Пример 5 Литература 6 Ссылки 7 См. также

История метода

Идея метода сформировалась в процессе изучения работы мозга живых существ. Но нужно помнить, что ИНС гораздо проще своих прототипов, биологических нейронных сетей, до конца не изученных до сих пор.

Хронология

   * 1943 год — Норберт Винер вместе с соратниками публикует работу о кибернетике. Основной идеей является представление сложных биологических процессов математическими моделями.
   * 1943 год — Маккалок и Питтс формализуют понятие нейронной сети в фундаментальной статье о логическом исчислении идей и нервной активности[1].
   * 1949 год — Хебб предлагает первый алгоритм обучения.
   * В 1958 году Розенблаттом изобретен перцептрон. Перцептрон обретает популярность — его используют для распознавания образов, прогнозирования погоды и т. д. Казалось, что построение полноценного искусственного интеллекта уже не за горами.
   * В 1960 году Уидроу (Widrow) совместно со своим студентом Хоффом на основе дельта-правила (формулы Уидроу) разработали Адалин, который сразу начал использоваться для задач предсказания и адаптивного управления. Адалин был построен на базе созданных ими же (Уидроу — Хоффом) принципально новых элементах — мемисторах[2]. Сейчас Адалин (адаптивный сумматор) является стандартным элементом многих систем обработки сигналов.[3]
   * В 1961 году под руководством М. М. Бонгарда разработана программа «Кора»: «…задача Коры — поиск разделяющего правила после того, как найдены операторы, дающие достаточно четкие (коротко кодируемые) характеристики объекта или его частей». Программа Кора нашла применение, в частности, для распознавания нефтеносных пластов.
   * В 1969 году Минский публикует формальное доказательство ограниченности перцептрона и показывает, что он неспособен решать некоторые задачи (Проблема "четности" и "один в блоке"), связанные с инвариантностью представлений. Интерес к нейронным сетям резко спадает.
   * 1974 год — Пол Дж. Вербос[4] и А. И. Галушкин[5] одновременно изобретают алгоритм обратного распространения ошибки для обучения многослойных перцептронов. Изобретение не привлекло особого внимания.
   * 1975 год — Фукушима представляет Когнитрон — самоорганизующуюся сеть, предназначенную для инвариантного распознавания образов, но это достигается только при помощи запоминания практически всех состояний образа.
   * 1982 год — после длительного упадка, интерес к нейросетям вновь возрастает. Хопфилд (en:John Joseph Hopfield) показал, что нейронная сеть с обратными связями может представлять собой систему, минимизирующую энергию (так называемая сеть Хопфилда). Кохоненом представлены модели сети, обучающейся без учителя (Нейронная сеть Кохонена), решающей задачи кластеризации, визуализации данных (самоорганизующаяся карта Кохонена) и другие задачи предварительного анализа данных.
   * 1986 год — Дэвидом И. Румельхартом, Дж. Е. Хинтоном и Рональдом Дж. Вильямсом[6] и независимо и одновременно С. И. Барцевым и В. А. Охониным (Красноярская группа)[7] переоткрыт и существенно развит метод обратного распространения ошибки. Начался взрыв интереса к обучаемым нейронным сетям.

Математическое описание

Персептрон

Основная статья: Персептрон

Однослойные сети

Многослойные сети

Сети Кохонена

Основная статья: Нейронная сеть Кохонена

Проблемы метода

Пример

Литература

1. Машинное обучение (курс лекций, К.В.Воронцов)
2. C. Минский, М. Пейперт — Персептроны, Москва, "Мир", 1971.

Ссылки

• Линейный классификатор
• Машинное обучение (курс лекций, К.В.Воронцов)

См. также

• Персептрон
• Перcептрон Розенблатта
• Адаптивный линейный элемент

Данная статья является непроверенным учебным заданием. Студент: Участник:Tikhonov_Andrey Преподаватель: Участник:Константин Воронцов Срок: 7 января 2009 До указанного срока статья не должна редактироваться другими участниками проекта MachineLearning.ru. По его окончании любой участник вправе исправить данную статью по своему усмотрению и удалить данное предупреждение, выводимое с помощью шаблона {{Задание}}. См. также методические указания по использованию Ресурса MachineLearning.ru в учебном процессе.