Максимальная совместная подсистема

Материал из MachineLearning.

(Различия между версиями)

Версия 18:41, 13 декабря 2008

Содержание

1 Введение
- 1.1 Постановка задачи
2 Сложность задачи
3 Вспомагательные определения и утверждения
4 Точное решение задачи
- 4.1 Изложение алгоритма
- 4.2 Сложность алгоритма
5 Приближённое решение задачи
- 5.1 Возможные эвристики
6 Заключение
7 Список литературы
8 См. также

Введение

В этой статье будeт рассматриваться задача поиска совместной подсистемы максимальной мощности для систем линейных уравнений и неравенств (MaxFS problem). Вначале будут введены общие определения и приведены некоторые результаты касательно сложности решения данной задачи. Дальше будут сформулированы вспомогательные утверждения, на основе которых мы сможем построить достаточно эффективный алгоритм, решающий задачу.

Постановка задачи

Пусть дана произвольная несовместная система линейных неравенств

$a_{i1}x_1+\dots+a_{in}x_n\geq b_i,\ i=1,2,\dots,m\ (1)$

или равенств

$a_{i1}x_1+\dots+a_{in}x_n = b_i,\ i=1,2,\dots,m,$

где m и n - число строк и число столбцов матрицы системы соответственно.

Задача MaxFs состоит в нахождении совместной подсистемы, имеющей максимальную мощность.

Данная задача часто возникает при решении различных математических задач - в том числе при решении задач прогнозирования и распознавания. Примером может служить разделение объектов 2х классов обучающей выборки гиперплоскостью. В случае, когда эту задачу не удаётся решить точно, мы хотим провести гиперплоскость так, чтобы она допускала минимальное число ошибок.

Сложность задачи

В книге ([5]) доказывается, что задача выделения максимальной совместной подсистемы является NP-сложной.

Посчитаем приблизительно сложность простого перебора.

Всего $2^m-1$ подсистем. Каждую подсистему надо проверить на совместность. Например, методы, упомянутые в [3], требуют для определения совместности подсистемы состоящей из $l$ неравенств и имеющей ранг $r$ , $\left(^l_r\right)\left(^n_r\right)O((l-r)r^3)$ операций.

Существует другой подход к получению точного решения.

Произвольный булев вектор $(\alpha_1,...,\alpha_m)$ однозначно определяет подсистему $Sub_{\alpha}$ системы 1. $i$ -е неравенство входит в подсистему $Sub_{\alpha}$ тогда и только тогда, когда $\alpha_i=1$ .

Введём булеву функцию $g$ на $m$ -мерном булевом кубе, принимающую единицу на тех и только тех наборах $\alpha$ , которые соответствуют несовместным системам $Sub_{\alpha}$ . Очевидно, что такая булева функция монотонна. Исходная задача сводится к поиску максимального верхнего нуля монотонной функции $g$ . В книге [6] приведён алгоритм, решающий эту задачу. В худшем случае он делает $\left(2^m/sqrt{m}\right)$ шагов, где шаг - вычисление одного значения функции g.

Этот подход немного ускоряет решение задачи, но по-прежнему работает слишком медленно.

В [1] предлагается более эффективный метод решения исходной задачи.

Вспомагательные определения и утверждения

По-прежнему будем рассматривать систему 1. Допустим, что она совместна и имеет ранг $r$ .

Определение 1. Решение системы 1 - узловое, если оно обращает в равенства какие-нибудь $r$ её неравенств с линейно независимыми левыми частями.

Определение 2. Подсистема системы 1 - крайняя, если, во-первых, её ранг больше нуля и равен числу неравенств в ней, во-вторых, хотя бы одно её узловое решение удовлетворяет системе 1.

Определение 3. Крайняя подсистема - узловая подсистема, если все её узловые решения удовлетворяют системе 1.

Свойство 1. Крайняя подсистема тогда и только тогда является узловой подсистемой системы 1, когда её ранг совпадает с рангом $r$ системы 1.

Теорема 1. Каждая совместная система линейных неравенств вида 1 отличного от нуля ранга имеет хотя бы одну узловую подсистему, а значит, хотя бы одно узловое решение.

С помощью этих утверждений в [1] доказывается основная лемма, на которой держится следующий алгоритм.

Лемма. Ранг максимальной совместной подсистемы (МСП) совпадает с рангом всей системы.

Точное решение задачи

Изложение алгоритма

Алгоритм будет выглядеть следующим образом. Будем перебирать одну за другой подсистемы мощности и ранга $r$ для данной несовместной системы 1 ранга $r$ . Среди них обязательно найдутся все узловые подсистемы для искомой МСП, так как по лемме ранг МСП равен $r$ . Из определения следует, что все узловые решения любой узловой подсистемы МСП удовлетворяют всей МСП. Это означает, что достаточно найти хотя бы одно узловое решение любой узловой подсистемы МСП и подставить его в систему 1, чтобы выделить саму МСП.

Таким образом мы заменяем все неравенства в найденной подсистеме на равенства и находим решение полученной системы уравнений (в случае бесконечного числа решений - достаточно найти одно). Затем мы подставляем полученное решение в исходную систему 1 и выделяем те неравенства, которым удовлетворяет полученное решение. Эти неравенства образуют некую совместную подсистему системы 1. В какой-то момент мы найдём одну из узловых подсистем МСП и выделим МСП.

Трудность заключается в том, что мы не знаем какая из подсистем является узловой для МСП. Поэтому приходится перебирать все подсистемы мощности и ранга $r$ и находить одно их узловое решение. Затем выделять по узловому решению подсистему, соответствующую ему. Сравнивая мощности всех систем, полученных таким путём, мы найдём МСП. Также мы найдём одно его решение.

Из сказанного следует, что в случае системы равенств, заменив каждое из равенств

$a_{i_1}x_1+\dots+a_{i_n}x_n = b_i$

на два неравенства

$a_{i_1}x_1+\dots+a_{i_n}x_n\leq b_i,$

$a_{i_1}x_1+\dots+a_{i_n}x_n\geq b_i.$

мы сведём задачу к исходной. (Следует из определения узловой подсистемы и узлового решения).

Сложность алгоритма

Общее число операций приведённого алгоритма оценивается сверху выражением:

$K_1mn^2+C^r_m\left(^m_r\right)\left(K_2nr^2+K_3mn\right)$ ,

где $K_1,K_2,K_3$ - некоторые действительные числа.

Краткое обоснование полученной оценки. Предположим, что $n < m$ . Вычисление ранга $r$ матрицы исходной системы 1 требует $O(mn^2)$ операций (приведение к треугольному виду). Число подсистем мощности $r$ в системе 1 - $C^r_m$ . Для найденной подсистемы ранга $r$ нахождение одного узлового решения занимает $O(r^2)$ операций (обратный ход метода Гаусса). Подстановка найденного решения во все неравенства системы 1 - $O(mn)$ операций.

Эта оценка уже гораздо лучше оценки для полного перебора. К сожалению алгоритм всё ещё остаётся неподъёмным на практике при больших значениях $n$ и $m$ .

Приближённое решение задачи

Точное решение задачи выделения максимальной совместной подсистемы - NP-полная задача.

Однако, если отказаться от нахождения точной МСП и ограничиться нахождением приближённой МСП, задачу можно решить за полиномиальное время. Основная идея - перебирать не всевозможные подсистемы, а только часть из них, основываясь на те или иные эвристики.

Дело в том, что для нахождения точного решения нам достаточно наткнуться хотя бы на одну узловую подсистему МСП. При малом числе переменных и большом числе неравенств в системе 1 можно рассчитывать на то, что МСП имеет большое число узловых подсистем. А значит мы с большой вероятностью наткнёмся на одну из них. В противном случае нам не попадётся ни одна из узловых подсистем МСП и мы получим неточное решение.

В качестве простейшего примера предлагается совершать лексикографический обход всех подсистем мощностью и ранга $r$ с шагом $h$ , произвольным образом занумеровав неравенства, входящие в систему. Варьируя параметр $h$ мы можем для конкретной задачи подобрать устраивающее нас время. Для большей надёжности алгоритма параметр $h$ надо брать как можно меньшим.

Возможные эвристики

Кратко опишем идею одной из возможных эвристик, позволяющих сильно сократить перебор подсистем [4].

Сделаем каждую из гиперплоскостей, описанных неравинствами, "подвижной", вводя неотрицательные эластичные переменные (elastix variables) в каждое из неравенств. Теперь будем "шевелить" гиперплоскости, пока система не станет совместной. Сведём задачу к задаче линейного программирования, минимизируя сумму эластичных переменных и иксов с заранее подобранными коэффициентами. Такой подход также называется эластичным программирвоанием(elastic programming).

Предложенная процедура отчасти схожа с методом SVM в случае линейно неразделимой выборки.

Решив эту оптимизационную задачу, мы получим некие значения эластичных переменных. В случае совместности системы неравенств мы получим нулевые значения эластичных переменных. В противном случае большие значения переменных соответствуют "худшим" неравенствам, в том смысле что гиперплоскости, соответствующие этим неравенствам, пришлось "двигать" больше всего для достижения совместности системы. Логично предположить, что эти неравенства не будут входить в МСП.

Таким образом мы можем перебирать те подсистемы мощности и ранга $r$ , которым соответствуют меньшие суммы эластичных переменных.

Заключение

Нахождение МСП для системы неравенств - NP-сложная задача. В случае поиска точного решения так или иначе приходится иметь дело с полным перебором, а как следствие - с огромными затратами времени.

При отказе от точного решения программист получает возножность значительно ускорить вычисления. При этом, если ему удалось предложить хорошие эвристики, то с большой вероятностью он найдёт МСП системы.

Список литературы

1. Катериночкина Н.Н. Методы выделения максимальной совместной подсистемы системы линейных неравенств. Сообщение по прикладной математике. Москва: Вычислительный центр РАН, 1997.

2. J.W. Chinneck. Fast Heuristics for the Maximum Feasible Subsystem Problem. INFORMS Journal on Computing, vol. 13, no. 3, pp. 210-223, 2001

3. Черников С.Н. Линейные неравенства. М.: Наука, 1968.

4. J.W. Chinneck. An effective polynomial-time heuristic for the minimum-cordinality IIS set-covering problem. Annals of Mathematics and Artificial Intelligence, 17, 127-144, 1996.

5. J.K. Sankaran. A note on resolving infeasibility in linear programs by constraint relaxation. Operations Research Letters, 13, 19-20, 1993.

6. Катериночкина Н.Н. Поиск максимального верхнего нуля монотонной функции алгебры логики. Докл. АН СССР. Т. 224. №3. С. 557-560, 1975.

См. также

Источник — «http://machinelearning.ru/wiki/index.php?title=%D0%9C%D0%B0%D0%BA%D1%81%D0%B8%D0%BC%D0%B0%D0%BB%D1%8C%D0%BD%D0%B0%D1%8F_%D1%81%D0%BE%D0%B2%D0%BC%D0%B5%D1%81%D1%82%D0%BD%D0%B0%D1%8F_%D0%BF%D0%BE%D0%B4%D1%81%D0%B8%D1%81%D1%82%D0%B5%D0%BC%D0%B0»

@@ Строка 30: / Строка 30: @@
 == Сложность задачи ==
-'''Задача выделения максимальной совместной подсистемы является NP-сложной'''. ([5])
+В книге ([5]) доказывается, что
+''задача выделения максимальной совместной подсистемы является NP-сложной''.
 Посчитаем приблизительно сложность ''простого перебора''.