Классификация пациентов с сердечно-сосудистыми заболеваниями (отчет)

Материал из MachineLearning.

(Различия между версиями)

Перейти к: навигация, поиск

Версия 15:34, 10 февраля 2010

Введение в проект

Описание проекта

Цель проекта

Цель проекта - классификация пациентов с подозрением на сердечно-сосудистые заболевания по группам риска.

Обоснование проекта

Полученные результаты могут быть использованы для предварительной диагностики заболевания у пациентов.

Описание данных

Дан список 100 пациентов с указанием их группы риска(по экспертной оценке) и результатов их анализов по 20 параметрам.

Критерии качества

Критерием качества является общее количество ошибок классификации. При этом не допускается более 1 ошибки для пациентов групп риска A1(уже прооперированные больные) и A3(больные с высокой вероятностью заболевания).

Требования к проекту

Алгоритм не должен допускать более одной ошибки по группам риска A1 и A3, а также минимальное количество ошибок по остальным группам риска.

Выполнимость проекта

Особенностями данных, которые могут затруднить выполнение проекта, являются малое количество прецедентов по некоторым группам риска(в особенности A2) и наличие пропусков в данных.

Используемые методы

Предполагается использовать линейные алгоритмы классификации, в частности SVM.

Постановка задачи

Дана обучающая выборка $X^\ell = (x_i, y_i)_{i=1}^\ell, ~~ \ell = 66$ , где $x_i \in \mathbb{R}^n, n = 20$ , $y_i \in \{A_1, A_3, B_1, B_2\}$ .

Для каждой из задач двуклассовой классификации(отделение одного класса от трех остальных и отделение пар классов друг от друга) перекодируем классы так, что $y_i \in \{-1, 1\}$ . Требуется подобрать вектор параметров $\mathbf{w}$ оптимальной разделяющей гиперплоскости, который минимизирует функционал скользящего контроля: $LOO(\mathbf{w},X^\ell) = \sum_{i=1}^\ell [a(x_i, X^\ell\backslash x_i, \mathbf{w}) \neq y_i] \rightarrow \min_{\mathbf{w}}$ , где $a(x) = [\sum_{j=1}^n w_jx^j-w_0 > 0]$

Описание алгоритмов

Обзор литературы

Базовые предположения

Особенностью данной задачи является большая размерность признакового пространства и малое число прецедентов. Таким образом для того, чтобы избегнуть переобучения и добиться устойчивой классификации, требуется решить задачу отбора признаков. Для этой цели предполагается использовать алгоритм Relevance Kernel Machine with supervised selectivity(далее - $\mu - RKM$ ), который совмещает в себе возможности решения задачи классификации и отбора признаков.

Математическое описание алгоритмов

Квази-вероятностная постановка задачи

Пусть $\Omega$ - множество объектов, каждый из которых принадлежит одному из двух классов: $y(\omega) \in Y = \{-1, 1\}$ . Каждый объект $\omega \in Omega$ характеризуется $n$ признаками в некоторых шкалах $x^i(\omega) \in X_i$ . Пусть в пространстве признаков $X = X_1 \t \dots \t X_n$ объективно определена некоторая неизвестная гиперплоскость $\sum_{i=1}^n K_i(\vartheta_i, x^i) + b = 0$ . В качестве модели распределения объектов рассмотрим два несобственных параметрических распределения: $\varphi_{+1}(x^1, \dots, x^n | \vartheta_1, \dots, \vartheta_n, b) = \left\{ \begin{array}{l} 1, ~ \sum_{i=1}^n K_i(\vartheta_i, x^i) + b \ge 1, \\ \exp{\bigl[-c\bigl(1 - \sum_{i=1}^n K_i(\vartheta_i, x^i) - b \bigr)\bigr]}, ~ \sum_{i=1}^n K_i(\vartheta_i, x^i) + b < 1, \\ \end{array} \right.$ $\varphi_{-1}(x^1, \dots, x^n | \vartheta_1, \dots, \vartheta_n, b) = \left\{ \begin{array}{l} 1, ~ \sum_{i=1}^n K_i(\vartheta_i, x^i) + b \le -1, \\ \exp{\bigl[-c\bigl(1 + \sum_{i=1}^n K_i(\vartheta_i, x^i) + b \bigr)\bigr]}, ~ \sum_{i=1}^n K_i(\vartheta_i, x^i) + b > -1. \\ \end{array} \right.$ Далее вектор $(\vartheta_1, \dots, \vartheta_n, b)$ рассмотрим как случайный вектор с априорной плотностью распределения $\Psi(\vartheta_1, \dots, \vartheta_n, b).$ По формуле Байеса апостериорная плотность распределения параметров $\mathbf{\vartheta}$ и $b$ : $P\bigl(\mathbf{\vartheta}, b| X^{\ell}\bigr)\prop \Psi(\mathbf{\vartheta}, b) \biggl(\prod_{j: y_j = +1} \varphi_{+1}(\mathbf{x_j} | \mathbf{\vartheta}, b)\biggr)\biggl(\prod_{j: y_j = -1} \varphi_{-1}(\mathbf{x_j} | \mathbf{\vartheta}, b)\biggr)$ Согласно принципу максимизации апостериорной плотности распределения: $\bigl(\hat{\vartheta_1}, \dots, \hat{\vartheta_n}, \hat{b}\bigr) = arg \max_{\mathbf{\vartheta}, b} \biggl[\ln \Psi(\mathbf{\vartheta}, b) + \sum_{j: y_j = +1} \ln \varphi_{+1}(\mathbf{x_j} | \mathbf{\vartheta}, b) + \sum_{j: y_j = -1} \ln \varphi_{-1}(\mathbf{x_j} | \mathbf{\vartheta}, b)\biggr]$

Метод $\mu - RKM$

Варианты или модификации

Описание системы

Ссылка на файл system.docs
Ссылка на файлы системы

Отчет о вычислительных экспериментах

Визуальный анализ работы алгоритма

Анализ качества работы алгоритма

Анализ зависимости работы алгоритма от параметров

Отчет о полученных результатах

Список литературы

Данная статья является непроверенным учебным заданием.

Студент: Участник:Максим Панов

Преподаватель: Участник:В.В. Стрижов

Срок: 15 декабря 2009

До указанного срока статья не должна редактироваться другими участниками проекта MachineLearning.ru. По его окончании любой участник вправе исправить данную статью по своему усмотрению и удалить данное предупреждение, выводимое с помощью шаблона {{Задание}}.

См. также методические указания по использованию Ресурса MachineLearning.ru в учебном процессе.

Источник — «http://machinelearning.ru/wiki/index.php?title=%D0%9A%D0%BB%D0%B0%D1%81%D1%81%D0%B8%D1%84%D0%B8%D0%BA%D0%B0%D1%86%D0%B8%D1%8F_%D0%BF%D0%B0%D1%86%D0%B8%D0%B5%D0%BD%D1%82%D0%BE%D0%B2_%D1%81_%D1%81%D0%B5%D1%80%D0%B4%D0%B5%D1%87%D0%BD%D0%BE-%D1%81%D0%BE%D1%81%D1%83%D0%B4%D0%B8%D1%81%D1%82%D1%8B%D0%BC%D0%B8_%D0%B7%D0%B0%D0%B1%D0%BE%D0%BB%D0%B5%D0%B2%D0%B0%D0%BD%D0%B8%D1%8F%D0%BC%D0%B8_%28%D0%BE%D1%82%D1%87%D0%B5%D1%82%29»

Категория: Непроверенные учебные задания

@@ Строка 41: / Строка 41: @@
 === Математическое описание алгоритмов ===
 ==== Квази-вероятностная постановка задачи ====
-Пусть <tex>\Omega</tex> - множество объектов, каждый из которых принадлежит одному из двух классов: <tex>y(\omega) \in Y = {-1, 1}</tex>. Каждый объект <tex>\omega \in Omega</tex> характеризуется <tex>n</tex> признаками в некоторых шкалах
+Пусть <tex>\Omega</tex> - множество объектов, каждый из которых принадлежит одному из двух классов: <tex>y(\omega) \in Y = \{-1, 1\}</tex>. Каждый объект <tex>\omega \in Omega</tex> характеризуется <tex>n</tex> признаками в некоторых шкалах
-<tex>x^i(\omega) \in X_i</tex>. Пусть в пространстве признаков <tex>X = X_1 \t \dots \t X_n</tex> объективно определена некоторая неизвестная гиперплоскость <tex>\sum_{i=1}^n K_i(\te_i, x^i) + b = 0</tex>. В качестве модели распределения объектов рассмотрим два несобственных параметрических распределения:
+<tex>x^i(\omega) \in X_i</tex>. Пусть в пространстве признаков <tex>X = X_1 \t \dots \t X_n</tex> объективно определена некоторая неизвестная гиперплоскость <tex>\sum_{i=1}^n K_i(\vartheta_i, x^i) + b = 0</tex>. В качестве модели распределения объектов рассмотрим два несобственных параметрических распределения:
-<tex>\ph_{+1}(x^1, \dots, x^n | \te_1,
+<tex>\varphi_{+1}(x^1, \dots, x^n | \vartheta_1,
-\dots, \te_n, b) = \left\{
+\dots, \vartheta_n, b) = \left\{
 \begin{array}{l}
-, ~ \sum_{i=1}^n K_i(\te_i, x^i) + b \ge 1, \\
+, ~ \sum_{i=1}^n K_i(\vartheta_i, x^i) + b \ge 1, \\
-\exp{\bigl[-c\bigl(1 - \sum_{i=1}^n K_i(\te_i, x^i) - b \bigr)\bigr]}, ~ \sum_{i=1}^n K_i(\te_i, x^i) + b < 1, \\
+\exp{\bigl[-c\bigl(1 - \sum_{i=1}^n K_i(\vartheta_i, x^i) - b \bigr)\bigr]}, ~ \sum_{i=1}^n K_i(\vartheta_i, x^i) + b < 1, \\
 \end{array}
 \right.</tex>
-<tex>\ph_{-1}(x^1, \dots, x^n | \te_1,
+<tex>\varphi_{-1}(x^1, \dots, x^n | \vartheta_1,
-\dots, \te_n, b) = \left\{
+\dots, \vartheta_n, b) = \left\{
 \begin{array}{l}
-, ~ \sum_{i=1}^n K_i(\te_i, x^i) + b \le -1, \\
+, ~ \sum_{i=1}^n K_i(\vartheta_i, x^i) + b \le -1, \\
-\exp{\bigl[-c\bigl(1 + \sum_{i=1}^n K_i(\te_i, x^i) + b \bigr)\bigr]}, ~ \sum_{i=1}^n K_i(\te_i, x^i) + b > -1. \\
+\exp{\bigl[-c\bigl(1 + \sum_{i=1}^n K_i(\vartheta_i, x^i) + b \bigr)\bigr]}, ~ \sum_{i=1}^n K_i(\vartheta_i, x^i) + b > -1. \\
 \end{array}
 \right.</tex>
-Далее вектор <tex>(\te_1, \dots, \te_n, b)</tex> рассмотрим как случайный вектор с априорной плотностью распределения <tex>\Psi(\te_1, \dots, \te_n, b).</tex> По формуле Байеса апостериорная плотность распределения параметров <tex>\mathbf{\te}</tex> и <tex>b</tex>: <tex>P\bigl(\mathbf{\te}, b| X^{\ell}\bigr)\prop \Psi(\mathbf{\te}, b)
+Далее вектор <tex>(\vartheta_1, \dots, \vartheta_n, b)</tex> рассмотрим как случайный вектор с априорной плотностью распределения <tex>\Psi(\vartheta_1, \dots, \vartheta_n, b).</tex> По формуле Байеса апостериорная плотность распределения параметров <tex>\mathbf{\vartheta}</tex> и <tex>b</tex>: <tex>P\bigl(\mathbf{\vartheta}, b| X^{\ell}\bigr)\prop \Psi(\mathbf{\vartheta}, b) \biggl(\prod_{j: y_j = +1} \varphi_{+1}(\mathbf{x_j} | \mathbf{\vartheta},
-\biggl(\prod_{j: y_j = +1} \ph_{+1}(\mathbf{x_j} | \mathbf{\te},
+b)\biggr)\biggl(\prod_{j: y_j = -1} \varphi_{-1}(\mathbf{x_j} |
-b)\biggr)\biggl(\prod_{j: y_j = -1} \ph_{-1}(\mathbf{x_j} |
+\mathbf{\vartheta}, b)\biggr)
-\mathbf{\te}, b)\biggr)
 </tex>
 Согласно принципу максимизации апостериорной плотности распределения:
-<tex>\bigl(\hat{\te_1}, \dots, \hat{\te_n}, \hat{b}\bigr) = arg \max_{\mathbf{\te}, b} \biggl[\ln \Psi(\mathbf{\te}, b) + \sum_{j: y_j = +1} \ln \ph_{+1}(\mathbf{x_j} | \mathbf{\te},
+<tex>\bigl(\hat{\vartheta_1}, \dots, \hat{\vartheta_n}, \hat{b}\bigr) = arg \max_{\mathbf{\vartheta}, b} \biggl[\ln \Psi(\mathbf{\vartheta}, b) + \sum_{j: y_j = +1} \ln \varphi_{+1}(\mathbf{x_j} | \mathbf{\vartheta},
-b) + \sum_{j: y_j = -1} \ln \ph_{-1}(\mathbf{x_j} | \mathbf{\te},
+b) + \sum_{j: y_j = -1} \ln \varphi_{-1}(\mathbf{x_j} | \mathbf{\vartheta},
 b)\biggr]</tex>