Алгоритмы выбора линейных регрессионных моделей (практика)

Материал из MachineLearning.

Версия 02:20, 28 января 2010

Описание библиотеки алгоритмов выбора линейных регрессионных моделей

Вспомогательные функции

Архитектура

Соглашения об интерфейсе функций

Для унификации способов применения методов выбора модели предусмотрен формат интерфейса функции.

На вход каждый метод принимает 3 параметра:

• features — матрица признакового описания объектов, в которой строки соответствуют объектам, а столбцы - признакам;
• target - столбец значений целевого признака;
• Params - структура с параметрами алгоритма; она может обладать следующими полями:
  • Common - структура, содержащая общие параметры алгоритмов:
    • maxNFeatures - максимальное допустимое количество отобранных информативных признаков;
  • ИмяМетода - для каждого метода структура с его собственными параметрами; например, для метода полного перебора esearch параметры должны быть доступны как поля структуры Params.Esearch.

На вход методам может передаваться структура параметров, содержащая не все поля (поле Params.Common и поля, соответствующие конкретным методам), а также не все их поля (например, может быть не задано Params.Common.maxNFeatures). Если необходимые алгоритму параметры не заданы, должны быть использованы некоторые значения "по умолчанию".

На выходе каждый метод возвращает описание набора информативных признаков и их весов в виде структуры с полями:

• isInformative - логический вектор-столбец, представляющий собой маску информативных признаков (выбранным информативным признакам соответствует true, остальным - false);
• weight - столбец с весами каждого признака; для неинформативных признаков веса должны быть нулевыми.

Шаблон шапки файла метода

function FeaturesRating = methodName(features, target, Params)
% Description.
%
% Arguments
% Input
%   features - matrix of features, where rows are objects, and colums are feature vectors
%   target   - target feature vector
%   Params   - structure with fields 
%     Common      - common params; structure with fields
%       maxNFeatures - maximum features number to select
%     MethodName  - structure with params for particular method
% Output
%   FeaturesRating - structure with rating for all features; has fields
%     isInformative - logical column of marks is particular feature informative (true) or not (false)
%     weight        - weight of particular feature
%
% Example
% TODO
%
% See also
% TODO
% 
% Revisions
% TODO

TODO Example

Реализованные алгоритмы

Полный перебор [esearch]

Лассо Тибширани [lasso]

Least Angle Regression (LARS) [lars]

Генетический алгоритм [genetic]

метод группового учета аргиментов (МГУА) [gmdh]

Случайный поиск с адаптацией (СПА) [rsa]

Гребневая регрессия [ridgeregr]

Поиск самой длинной проекции вектора ответов на биссекторы векторов признаков [maxkselect]