Обсуждение участника:Reshetov

Материал из MachineLearning.

Версия 16:22, 13 марта 2013

Решетов Юрий Вячеславович

Проект RNN

Нейросеть RNN (Reshetov Neural Network), является тернарным классификатором и имеет три слоя:

1. Входной слой. Входные данные нормируются в диапазоне от 0 до 1 включительно.

2. Логический слой. Состоит из взаимоисключающих логических формул нечёткой логики. Количество взаимоисключающих формул для логического слоя равно 2ⁿ, где n – количество входов нейросети

3. Выходной слой. Один искусственный нейрон.

Логический слой

Закодируем входные значения в виде двоичных чисел. Например, у нас три входа, следовательно понадобится 2³ = 8 логических состояний.

000

001

010

011

100

101

110

111

Заменим 0 на 1 – x_i, а 1 на x_i, где i – номер входа и перемножим арифметические выражения:

(1- x₀) (1 – x₁) (1 – x₂)

(1- x₀) (1 – x₁) x₂

(1- x₀) x₁ (1 – x₂)

(1- x₀) x₁ x₂

x₀ (1 – x₁) (1 – x₂)

x₀ (1 – x₁) x₂

x₀ x₁ (1 – x₂)

x₀ x₁ x₂

Присвоим каждое арифметическое выражение переменной:

Out₀ = (1 - x₀) (1 – x₁) (1 – x₂)

Out₁ = (1 - x₀) (1 – x₁) x₂

Out₂ = (1 - x₀) x₁ (1 – x₂)

Out₃ = (1 - x₀) x₁ x₂

Out₄ = x₀ (1 – x₁) (1 – x₂)

Out₅ = x₀ (1 – x₁) x₂

Out₆ = x₀ x₁ (1 – x₂)

Out₇ = x₀ x₁ x₂

Переменные Out₀, Out₁, …, Out₇ – выходы логического слоя.

Подадим выходы логического слоя на искусственный нейрон с весовыми коэффициентами:

Probability = Out₀ w₀ + Out₁ w₁ + Out₂ w₂ + Out₃ w₃ + Out₄ w₄ + Out₅ w₅ + Out₆ w₆ + Out₇ w₇

Где:

w₀, w₁, …, w₇ – весовые коэффициенты в диапазоне значений от 0 до 1 включительно.

Probability – значение на выходе RNN и одновременно вероятность принадлежности паттерна к одному из классов.

Обучение сети RNN

Обучение сети RNN сводится к обучению выходного слоя, т.е. подбору коэффициентов искусственного нейрона на выходе сети.

Обучение RNN тривиально, т.к. оно сводится к решению системы линейных неравенств.

Предположим, что у нас есть обучающая выборка:

x₁₁, x₁₂, …, x_1n, y₁

x₂₁, x₂₂, …, x_2n, y₂

…

x_m1, x_m2, …, x_mn, y_m

Где:

x_ij – j-е входное значение для i-го примера, нормированное к диапазону от 0 до 1 включительно

y_i – выходное значение для для i-го в бинарном диапазоне 0 либо 1

В этом случае система линейных неравенств имеет вид:

Out₁₁ w₁ + Out1₂ w₂ +…+ Out_1n w_n Z₁ 0.5

Out₂₁ w₁ + Out₂₂ w₂ +…+ Out_2n w_n Z₂ 0.5

…

Out_m1 w₁ + Out_m2 w₂ +…+ Out_mn w_n Z_m 0.5

Где:

Out_ij – j-е выходное значение логического слоя для i-го примера

w_j – j-й весовой коэффициент выходного слоя

Z_i – знак неравенства для i-го примера в виде ? если y_i = 1 (принадлежит к первому классу объектов) и ? если y_i = 0 (принадлежит ко второму классу объектов)

Несложно понять, что вышеуказанная система линейных неравенств всегда имеет тривиальное решение, значение всех весовых коэффициентов выходного искусственного нейрона равна 0.5, в силу того, что сумма всех значений на выходе логического слоя сети всегда равна 1.

Соответственно, если существует решение системы неравенств при котором значение хотя бы одного единственного весового коэффициента не равно 0.5, т.е. решение нетривиально, то RNN обучаема. Если такого решения не существует, то обучающая выборка нерепрезентативна.

Соответственно метод обучения сети RNN сводится к алгоритмам оптимизации линейных неравенств, т.е. линейному программированию с целевой функцией: MAX = f(w₁) + f(w₂) + … + f(w_n), где: f(x) = abs(2x - 1)

Свойства сети RNN

Сеть RNN, в отличие от других общеизвестных алгоритмов классификации, требовательна к полноте и непротиворечивости данных в обучающей выборке. Т.е. если обучающие примеры содержат паттерны, имеющие неоднозначности или содержат неполную информацию, то вычисленная вероятность таких паттернов на выходе сети будет равной 0.5.

Если другие алгоритмы классификации менее требовательны к обучающей выборке и могут обучиться или переобучиться практически на любых, в том числе и на случайных, противоречивых и(ли) не полных данных, то в RNN этот недостаток устранён.

Примеры

Предположим, что нам необходимо обучить сеть RNN данным моделирующим логическую функцию y = A ИЛИ B:

Если обучающие примеры представить в виде вышеприведенной таблицы, то результаты работы сети будут точно соответствовать табличным паттернам.

Предположим, что в обучающей выборке содержится неполная информация, т.е. исключим один из примеров:

В этом случае, для оставшихся в обучающей выборке примеров, обученная сеть RNN даст результат, точно соответствующий табличным данным, а для примера, отсутствующего в выборке вероятность будет равна 0.5:

Т.е. RNN не измышляет гипотез и не интерпретирует информацию о которой ей ничего не было известно в процессе обучения, а помечает её, как неопределенность.

• Еще один пример, добавим противоречия в обучающую выборку:

После обучения сети получаем результаты:

Т.е. что недостающую информацию, что противоречивую, сеть RNN трактует как неопределенность, т.е. помечает вероятностью 0.5.

При попытках обучения сети RNN с помощью оптимизации системы линейных неравенств алгоритмом линейного программирования на обучающей выборке, созданной с помощью генератора псевдослучайных последовательностей, значительная часть паттернов имеет на выходе значения равные 0.5, и незначительная значения значения очень близкие к 0.5.

Выводы:

Сеть RNN, обученная алгоритмом линейного программирования, путём оптимизации системы линейных неравенств, способна выявлять (аннигилировать) дезинформацию в обучающей выборке и обучается (склонна к обобщению) только на выявленных закономерностях.

Природа недоразумений

Любое недоразумение — это наличие противоречий в обучающей выборке. Т. е. в обучающей выборке есть некое утверждение о принадлежности паттерна к какому либо классу и есть один или более котрпримеров, опровергающих это самое утверждение и утверждающих о принадлежности аналогичного паттерна к другим классам - неоднозначность классификации.

Откуда берутся недоразумения? Теоретически их причиной могут быть ошибки и неточности, как измерений, так и документирования данных. Предположим, что мы имеем идеальную систему измерений и документирования, в которой любые ошибки и неточности исключены. Тогда основной причиной недоразумений будет являться недостаточность факторов для выявления закономерностей.

Пример:

Пусть у нас есть электрическая цепь, в которую включены последовательно: источник питания, два рубильника А и В, электрическая лампа. Если оба рубильника А и В включены, то электрическая лампочка загорается. Также есть третий рубильник C, который не включен в электрическую цепь.

Предположим, что есть группа ученых, задача которых заключается в том, чтобы выяснить причины свечения электрической лампы в зависимости от состояния включенности или выключенности рубильников. При этом предполагается, что рубильники включаются и выключаются некими третьими лицами, о которых ученым ничего неизвестно. Сами ученые могут только наблюдать за состоянием рубильников и свечением лампочки.

Очевидно, что если ученые имеют возможность наблюдать все рубильники, то рано или поздно они выяснят закономерность, согласно которой лампочка загорается при одновременном включении рубильников А и В и независима от состояния рубильника С.

А теперь предположим, что ученые не имеют никакой возможности наблюдать состояние включенности рубильника B. Что произойдет в этом случае? Очевидно, что произойдет недоразумение, т. е. ученые смогут выяснить, что выключение лампочки связано с выключением рубильника А. Но при включении лампочки они смогут выяснить лишь то, что для этого необходимо, но недостаточно, чтобы рубильник А был включен.

Создадим обучающую выборку из всех возможных взаимоисключающих состояний известных факторов:

В этом случае учёным удастся выяснить независимость состояния лампочки от состояния включенности рубильника С, поскольку результат в последнем столбце таблицы — это вероятность того, что рубильник А включен, поделенная на два.

Но полную картину зависимостей состояния лампочки от состояния рубильников выявить никаким образом не удастся, т. к. для этого не достаёт одного фактора — состояния включенности рубильника B.

== Выводы ==

Основой противоречий в обучающих выборках является недостаточность факторов. При отсутствии прямой или косвенной информации о значимых факторах в случае независимости состояния известных факторов от состояния значимых.

В связи с вышесказанным, следует заменить прежние толкования терминов: обобщающая способность, переобучение и недообучение применительно к машинному обучению:

Обобщающая способность (generalization ability, generalization performance). Говорят, что алгоритм обучения обладает способностью к обобщению, если вероятность ошибки на тестовой выборке достаточно мала или хотя бы предсказуема, то есть не сильно отличается от ошибки на обучающей выборке. Обобщающая способность зависит от отсутствия в данных, содержащихся в обучающей выборке, противоречий и неопределенностей.

Переобучение, переподгонка (overtraining, overfitting) — нежелательное явление, возникающее при решении задач обучения по прецедентам, когда вероятность ошибки обученного алгоритма на объектах тестовой выборки оказывается существенно выше, чем средняя ошибка на обучающей выборке. Переобучение возникает при наличии в обучающей выборке противоречий.

Недообучение — нежелательное явление, возникающее при решении задач обучения по прецедентам, когда алгоритм обучения не обеспечивает достаточно малой величины средней ошибки на обучающей выборке. Недообучение возникает при отсутствии в обучающей выборке данных о однозначной классификации паттерна, все входные значения которого бинарны.