Просмотр

Материал из MachineLearning.

У вас нет прав на выполнение этой операции по следующим причинам:

• Запрошенное действие могут выполнять только участники из групп emailconfirmed, Администраторы.
• Вы должны подтвердить ваш адрес электронной почты перед правкой страниц. Пожалуйста, введите и подтвердите ваш адрес эл. почты на странице настроек.

Вы можете просмотреть и скопировать исходный текст этой страницы:

{{TOCright}} [[Логистическая регрессия]] - частный случай [[Обобщённая линейная модель|обобщенной линейной регрессии]]. Предполагается, что [[регрессионный анализ|зависимая переменная]] принимает два значения и имеет [[биномиальное распределение]]. На практике логистическая регрессия используется для решения задач [[классификация|классификации]] с линейно-разделяемыми классами. == Постановка задачи восстановления логистической регрессии == Задана [[выборка]] - множество&nbsp;<tex>m</tex> пар <tex>(\mathbf{x}_i,y_i)</tex>, в которых описание&nbsp;<tex>i</tex>-го элемента&nbsp;<tex>\mathbf{x}_i\in\mathbb{R}^n</tex>, и значения зависимой переменной&nbsp;<tex>y\in\{0,1\}.</tex> Принята модель логистической регрессии, согласно которой [[регрессионный анализ|свободные переменные]]&nbsp;<tex>\mathbf{x}</tex> и зависимая переменная&nbsp;<tex>y</tex> связаны зависимостью <center><tex>y=\text{logit}^{-1}(z)+\varepsilon=\frac{1}{1+\exp(-z)}+\varepsilon,</tex></center> где&nbsp;<tex>z=b_0+\sum_{j=1}^nb_jx_j</tex>. Примем обозначения <tex>p_i=f(\mathbf{b},\mathbf{x}_i)</tex>, вектор&nbsp;<tex>\mathbf{b}=[b_0,\ldots,b_n]^T.</tex> Для удобства дальнейшего изложения обозначим выборку свободных переменных как <center><tex>X = \left[ \begin{array}{cc} 1 & \mathbf{x}_1^T \\ \vdots & \vdots \\ 1&\mathbf{x}_m^T \\ \end{array} \right]. </tex></center> Требуется найти такое значение вектора параметров&nbsp;<tex>\mathbf{b}</tex>, которое бы доставляло минимум норме вектора невязок <center><tex>S = \|\mathbf{y}-\mathbf{p}\|^2 = \sum_{i=1}^m(y_i-p_i)^2.</tex></center> == Алгоритм отыскания оптимальных параметров == Оптимальные параметры отыскиваются последовательно с помощью итерационного [[метод наименьших квадратов|метода наименьших квадратов]] с использованием взвешивания элементов выборки. Приведенный ниже алгоритм основан на [[алгоритм Ньютона-Рафсона|алгоритме Ньютона-Рафсона]]. В начале работы алгоритма задаются параметры начального приближения: скаляр <tex>b_0=\log\frac{\tilde{y}}{1-\tilde{y}}</tex>, где&nbsp;<tex>\tilde{y}=\frac{1}{m}\sum_{i=1}^{m}y_i</tex>&nbsp;- среднее значение выборки зависимой переменной и значения&nbsp;<tex>b_j=0</tex> для&nbsp;<tex>j=1,\ldots,n</tex>. Далее итеративно повторяется следующая процедура. * С использованием вектора параметров&nbsp;<tex>\mathbf{b}</tex> вычисляется переменная <center><tex>\mathbf{z}=X\mathbf{b}.</tex></center> * Вычисляется восстановленное значение выборки зависимой переменной <center><tex>p=\frac{1}{1+\exp(\mathbf{-z})}.</tex></center> * Вычисляется вектор значений зависимой переменной для текущего шага линейной регрессии <center><tex>\mathbf{u} = \mathbf{z} + \frac{\mathbf{y}-\mathbf{p}}{\mathbf{w}},</tex></center> где <tex>\mathbf{w} = \mathbf{p}(1-\mathbf{p})</tex>&nbsp;- вектор весов значений зависимой переменной. * Решается задача наименьших квадратов с взвешиванием элементов выборки. При этом больший вес приобретают те элементы, которые имеют большую невязку <center><tex>\mathbf{b} = (X^TWX)^{-1}X^TW\mathbf{u},</tex></center> где диагональная матрица весов&nbsp;<tex>W =\text{diag}(\mathbf{w})</tex>. Процедура останавливается после того, как норма разности векторов параметров на каждой итерации не будет превышать заданную константу: <tex>\|\mathbf{b}^{next}-\mathbf{b}^{previuos}\|^2 \leq \Delta_{b}</tex>. == Пример на модельных данных == Перед началом работы алгоритма задаются начальные значения параметров <source lang="matlab"> b0 = log(mean(y)/(1-mean(y))); % 1st element, function of the mean value of y's b = [b0 zeros(size(X,2)-1,1)]'; % column-vector of parameters </source> Итерационное вычисление параметров логистической регрессии <source lang="matlab"> while 1==1 z = X*b; % the logit^-1 variable is function of parameters p = 1./(1+exp(-z)); % recover the regression w = p.*(1-p); % calculate the weights of the samples u = z + (y-p)./w; % calculate the dependent variable for this step of least squares b_old = b; % store old parameters b = inv( X'*diag(w)*X ) * X' * diag(w) * u; % calculate new parameters with least squares % termanate the iterations if changes of the parameters are small if sumsqr(b - b_old) <= TolFun, break; end end </source> [[Изображение:demo_logistic_regression.png|500px]] На графике показаны исходные данные. По оси абсцисс отложены значения единственного признака, а по оси ординат -- метки класса объектов. Объекты обозначены звездочками. Линии логистической кривой показывают последовательные итерации настройки параметров модели. Значения вероятности принадлежности объектов классам показаны квадратиками на кривой, которая соответствует последней итерации. Результатом вычислительного эксперимента является иллюстрация работы алгоритма Ньютона-Рафсона для задачи восстановления логистической регрессии. Найден параметр модели, соответствующей минимуму заданной функции невязок. Получена классификация объектов, описанных единственным признаком. == Исходный код == (этот раздел необходимо скрыть) <source lang="matlab"> %% Logistic regression example % The Newton-Raphson algorithm is used to obtain the optimal parameters % of the regression model %% Create a demonstration data set % independent variable, 20 samples x = [[-8:1]'; [2:11]']; % dependent variable of zeros and ones y = [zeros(9,1); 1; 0; ones(9,1)]; % construct the matrix of independent samples X = [ones(size(x,1),1) x]; %Plot the initial data h = figure; hold on plot(X(:,2), y,'k*'); hold on txtlegend = {'initial data'}; colors = {'r-','g-', 'b-', 'c-', 'm-', 'y-'}; ncolor = 0; %% Set the constant for iteration convergence % the algorithm stops when the difference of the parameter is small TolFun = 10^-3; %% Define the initial value of the parameters % 1st element, function of the mean value of y's b0 = log(mean(y)/(1-mean(y))); % column-vector of parameters b = [b0 zeros(size(X,2)-1,1)]'; %% The Newton-Raphson procedure while 1==1 % the logit^-1 variable is function of parameters z = X*b; % recover the regression p = 1./(1+exp(-z)); % calculate the weights of the samples w = p.*(1-p); % calculate the dependent variable for this step of least squares u = z + (y-p)./w; % plot the results of this step plot(x, p, colors{mod(ncolor,length(colors))+1}); ncolor = ncolor + 1; % change color txtlegend{end+1} = ['iteration ', num2str(ncolor)]; % store old parameters b_old = b; % calculate new parameters with least squares b = inv( X'*diag(w)*X ) * X' * diag(w) * u; % termanate the iterations if changes of the parameters are small if sumsqr(b - b_old) <= TolFun, break; end end %% Show the result % claculate recovered dependent variable p = 1./(1+exp(-X*b)); % plot the result txtlegend{end+1} = 'recovered data'; plot(x, p,'rs'); legend(txtlegend); axis tight xlabel('x'); ylabel('p = (1+e^z)^{-1}, x = b_0+b_1x'); %% Notes % In Matlab there are glmfit and glmval functuions. Use them for % professional purposes. return </source> == Смотри также == * [[Логистическая регрессия]] * [[Линейная регрессия (пример)]] * [[Регрессионный анализ]] * [[Метод наименьших квадратов]] * [[Обобщенная линейная модель]] * [[Алгоритм Ньютона]] * [[Алгоритм Ньютона-Рафсона]] * [[Media:wiki_logistic_regression_example.pdf|Эта статья в формате PDF]] * [http://strijov.com/sources/demo_logistic_regression.m Исходный код] == Литература == * {{П:Hastie 2001 The Elements of Statistical Learning}} [[Категория:Регрессионный анализ]] [[Категория:Популярные и обзорные статьи]] [[Категория:Библиотеки алгоритмов]]

• Шаблон:Mbox
• Шаблон:Nobr
• Шаблон:TOCright
• Шаблон:Tip
• Шаблон:ВсеАвторы
• Шаблон:Книга
• Шаблон:Монография
• Шаблон:Переводы
• Шаблон:Подробнее
• Шаблон:Хозяйке на заметку
• Публикация:Hastie 2001 The Elements of Statistical Learning

Возврат к странице Логистическая регрессия (пример).