Искусственная нейронная сеть

Материал из MachineLearning.

(Различия между версиями)
Перейти к: навигация, поиск
(Наметка оглавления)
 
(12 промежуточных версий не показаны.)
Строка 1: Строка 1:
-
Иску́сственные нейро́нные се́ти (artificial neural networks, ANN), или просто нейронные сети — это математические модели, а также их программные или аппаратные реализации, построенные в некотором смысле по образу и подобию сетей нервных клеток живого организма. Само понятие возникло при изучении процессов, протекающих в мозге, и при попытке смоделировать эти процессы.
+
'''Иску́сственные нейро́нная се́ть (artificial neural network, ANN)''', или просто нейронная сеть — это математическая модель, а также ее программные или аппаратные реализации, построенная в некотором смысле по образу и подобию сетей нервных клеток живого организма.
-
Нейронные сети — один из наиболее известных и старых методов машинного обучения, однако последнее время его использование перестало быть повсеместным из-за очевидных минусов.
+
Нейронные сети — один из наиболее известных и старых методов машинного обучения.
== История метода ==
== История метода ==
 +
Идея метода сформировалась в процессе изучения работы мозга живых существ. Но нужно помнить, что ИНС гораздо проще своих прототипов, биологических нейронных сетей, до конца не изученных до сих пор.
-
== Математическое описание ==
+
=== Хронология ===
-
=== Персептрон ===
+
* 1943 год — [[Винер, Норберт|Норберт Винер]] вместе с соратниками публикует работу о кибернетике. Основной идеей является представление сложных биологических процессов математическими моделями.
 +
* 1943 год — [[Маккалок, Уоррен|Маккалок]] и [[Питтс, Уолтер|Питтс]] формализуют понятие нейронной сети в фундаментальной статье о логическом исчислении идей и нервной активности.
 +
* 1949 год — [[Хебб, Дональд|Хебб]] предлагает первый алгоритм обучения.
 +
* В 1958 году [[Розенблатт, Фрэнк|Розенблаттом]] изобретен [[перцептрон]]. Перцептрон обретает популярность — его используют для распознавания образов, прогнозирования погоды и т. д. Казалось, что построение полноценного [[искусственный интеллект|искусственного интеллекта]] уже не за горами.
 +
* В 1960 году Уидроу совместно со своим студентом Хоффом на основе [[Дельта-правило|дельта-правила]] (''формулы Уидроу'') разработали ADALINE, который сразу начал использоваться для задач предсказания и адаптивного управления.. Сейчас Адалин (''адаптивный сумматор'') является стандартным элементом многих систем обработки сигналов.
 +
* В 1961 году под руководством [[Бонгард, Михаил Моисеевич|М. М. Бонгарда]] разработана программа «Кора»: «…задача Коры — поиск разделяющего правила после того, как найдены операторы, дающие достаточно четкие (коротко кодируемые) характеристики объекта или его частей». Программа Кора нашла применение, в частности, для распознавания нефтеносных пластов.
 +
* В 1969 году [[Минский, Марвин Ли|Минский]] публикует формальное доказательство ограниченности перцептрона и показывает, что он неспособен решать некоторые задачи, связанные с инвариантностью представлений. Интерес к нейронным сетям резко спадает.
 +
* 1974 год — Пол Дж. Вербос, и А. И. Галушкин одновременно изобретают [[Метод обратного распространения ошибки|алгоритм обратного распространения ошибки]] для обучения [[многослойный перцептрон|многослойных перцептронов]]. Изобретение не привлекло особого внимания.
 +
* 1975 год — Фукушима представляет [[Когнитрон]] — самоорганизующуюся сеть, предназначенную для инвариантного [[Распознавание образов|распознавания образов]], но это достигается только при помощи запоминания практически всех состояний образа.
 +
* 1982 год — после длительного упадка, интерес к нейросетям вновь возрастает. [[Хопфилд, Джон|Хопфилд]] показал, что нейронная сеть с обратными связями может представлять собой систему, минимизирующую энергию (так называемая [[нейронная сеть Хопфилда|сеть Хопфилда]]). Кохоненом представлены модели сети, обучающейся без учителя ([[Нейронная сеть Кохонена]]), решающей задачи [[Кластеризация|кластеризации]], визуализации данных ([[самоорганизующаяся карта Кохонена]]) и другие задачи предварительного анализа данных.
 +
* 1986 год — Дэвидом И. Румельхартом, Дж. Е. Хинтоном и Рональдом Дж. Вильямсом и независимо и одновременно С. И. Барцевым и В. А. Охониным (Красноярская группа) переоткрыт и существенно развит метод обратного распространения ошибки. Начался взрыв интереса к обучаемым нейронным сетям.
 +
 
 +
== Суть метода ==
 +
Как и линейные методы классификации и регрессии, по сути нейронные сети выдают ответ вида:
 +
<tex>y(\bf{x}, \bf{w}) =f\bigl( \sum_{j = 1}^N w_j \phi_j(\bf{x})\bigr) </tex>, где <tex>f</tex> — нелинейная функция активации,
 +
<tex>\bf{w}</tex> — вектор весов, <tex>\bf{\phi}</tex> — нелинейные базисные функции. Обучение нейронных сетей состоит в настройке весов а также базисных функций.
 +
== Понятие нейрона. Модель МакКаллока–Питтса ==
 +
{{Main|Модель МакКаллока-Питтса}}
 +
== Персептрон ==
{{Main|Персептрон}}
{{Main|Персептрон}}
-
=== Однослойные сети ===
+
=== Обучение нейронных сетей. Метод стохастического градиента ===
-
=== Многослойные сети ===
+
=== Персептрон Розенблатта ===
-
=== Сети Кохонена ===
+
{{Main|Персептрон Розенблатта}}
 +
== Однослойные нейронные сети ==
 +
{{Main|Однослойные нейронные сети}}
 +
== Многослойные нейронные сети ==
 +
{{Main|Многослойные нейронные сети}}
 +
== Сети Кохонена ==
{{Main|Нейронная сеть Кохонена}}
{{Main|Нейронная сеть Кохонена}}
 +
=== Самоорганизующиеся карты Кохонена ===
 +
{{Main|Самоорганизующиеся карты Кохонена}}
== Проблемы метода ==
== Проблемы метода ==
 +
=== Регуляризация в нейронных сетях ===
== Пример ==
== Пример ==
 +
== Литература ==
== Литература ==
# [[Машинное обучение (курс лекций, К.В.Воронцов)]]
# [[Машинное обучение (курс лекций, К.В.Воронцов)]]
-
# C. Минский, М. Пейперт — Персептроны, Москва, "Мир", 1971.
+
# C. Минский, М. Пейперт — Персептроны, Москва, «Мир», 1971.
== Ссылки ==
== Ссылки ==
Строка 29: Строка 57:
[[Категория:Энциклопедия анализа данных]]
[[Категория:Энциклопедия анализа данных]]
-
[[Категория:Машинное обучение]]
+
[[Категория:Популярные и обзорные статьи]]
[[Категория:Нейронные сети]]
[[Категория:Нейронные сети]]
 +
[[Категория:Незавершённые статьи]]
{{Задание|Tikhonov_Andrey|Константин Воронцов|7 января 2009}}
{{Задание|Tikhonov_Andrey|Константин Воронцов|7 января 2009}}

Текущая версия

Иску́сственные нейро́нная се́ть (artificial neural network, ANN), или просто нейронная сеть — это математическая модель, а также ее программные или аппаратные реализации, построенная в некотором смысле по образу и подобию сетей нервных клеток живого организма.

Нейронные сети — один из наиболее известных и старых методов машинного обучения.


Содержание

История метода

Идея метода сформировалась в процессе изучения работы мозга живых существ. Но нужно помнить, что ИНС гораздо проще своих прототипов, биологических нейронных сетей, до конца не изученных до сих пор.

Хронология

  • 1943 год — Норберт Винер вместе с соратниками публикует работу о кибернетике. Основной идеей является представление сложных биологических процессов математическими моделями.
  • 1943 год — Маккалок и Питтс формализуют понятие нейронной сети в фундаментальной статье о логическом исчислении идей и нервной активности.
  • 1949 год — Хебб предлагает первый алгоритм обучения.
  • В 1958 году Розенблаттом изобретен перцептрон. Перцептрон обретает популярность — его используют для распознавания образов, прогнозирования погоды и т. д. Казалось, что построение полноценного искусственного интеллекта уже не за горами.
  • В 1960 году Уидроу совместно со своим студентом Хоффом на основе дельта-правила (формулы Уидроу) разработали ADALINE, который сразу начал использоваться для задач предсказания и адаптивного управления.. Сейчас Адалин (адаптивный сумматор) является стандартным элементом многих систем обработки сигналов.
  • В 1961 году под руководством М. М. Бонгарда разработана программа «Кора»: «…задача Коры — поиск разделяющего правила после того, как найдены операторы, дающие достаточно четкие (коротко кодируемые) характеристики объекта или его частей». Программа Кора нашла применение, в частности, для распознавания нефтеносных пластов.
  • В 1969 году Минский публикует формальное доказательство ограниченности перцептрона и показывает, что он неспособен решать некоторые задачи, связанные с инвариантностью представлений. Интерес к нейронным сетям резко спадает.
  • 1974 год — Пол Дж. Вербос, и А. И. Галушкин одновременно изобретают алгоритм обратного распространения ошибки для обучения многослойных перцептронов. Изобретение не привлекло особого внимания.
  • 1975 год — Фукушима представляет Когнитрон — самоорганизующуюся сеть, предназначенную для инвариантного распознавания образов, но это достигается только при помощи запоминания практически всех состояний образа.
  • 1982 год — после длительного упадка, интерес к нейросетям вновь возрастает. Хопфилд показал, что нейронная сеть с обратными связями может представлять собой систему, минимизирующую энергию (так называемая сеть Хопфилда). Кохоненом представлены модели сети, обучающейся без учителя (Нейронная сеть Кохонена), решающей задачи кластеризации, визуализации данных (самоорганизующаяся карта Кохонена) и другие задачи предварительного анализа данных.
  • 1986 год — Дэвидом И. Румельхартом, Дж. Е. Хинтоном и Рональдом Дж. Вильямсом и независимо и одновременно С. И. Барцевым и В. А. Охониным (Красноярская группа) переоткрыт и существенно развит метод обратного распространения ошибки. Начался взрыв интереса к обучаемым нейронным сетям.

Суть метода

Как и линейные методы классификации и регрессии, по сути нейронные сети выдают ответ вида: y(\bf{x}, \bf{w}) =f\bigl( \sum_{j = 1}^N w_j \phi_j(\bf{x})\bigr) , где f — нелинейная функция активации, \bf{w} — вектор весов, \bf{\phi} — нелинейные базисные функции. Обучение нейронных сетей состоит в настройке весов а также базисных функций.

Понятие нейрона. Модель МакКаллока–Питтса

Основная статья: Модель МакКаллока-Питтса

Персептрон

Основная статья: Персептрон

Обучение нейронных сетей. Метод стохастического градиента

Персептрон Розенблатта

Основная статья: Персептрон Розенблатта

Однослойные нейронные сети

Многослойные нейронные сети

Сети Кохонена

Основная статья: Нейронная сеть Кохонена

Самоорганизующиеся карты Кохонена

Проблемы метода

Регуляризация в нейронных сетях

Пример

Литература

  1. Машинное обучение (курс лекций, К.В.Воронцов)
  2. C. Минский, М. Пейперт — Персептроны, Москва, «Мир», 1971.

Ссылки

См. также


Данная статья является непроверенным учебным заданием.
Студент: Участник:Tikhonov_Andrey
Преподаватель: Участник:Константин Воронцов
Срок: 7 января 2009

До указанного срока статья не должна редактироваться другими участниками проекта MachineLearning.ru. По его окончании любой участник вправе исправить данную статью по своему усмотрению и удалить данное предупреждение, выводимое с помощью шаблона {{Задание}}.

См. также методические указания по использованию Ресурса MachineLearning.ru в учебном процессе.


Личные инструменты