Просмотр

Материал из MachineLearning.

У вас нет прав на выполнение этой операции по следующим причинам:

• Запрошенное действие могут выполнять только участники из групп emailconfirmed, Администраторы.
• Вы должны подтвердить ваш адрес электронной почты перед правкой страниц. Пожалуйста, введите и подтвердите ваш адрес эл. почты на странице настроек.

Вы можете просмотреть и скопировать исходный текст этой страницы:

Фаза подготовки данных содержит все действия построения датасета (данных, которые будут использоваться при моделировании) из начальных сырых данных. Задачи подготовки данных, вероятно, будут выполняться не один раз, в не определенном заранее порядке. Эти задачи включают в себя структурирование, запись и выбор атрибутов, а также преобразование и очистку данных для моделирования. ==Отобрать данные (Select data)== Выбор данных для анализа. Критерий выбора включает релевантность для целей анализа данных, качество и технические ограничения, такие как объем данных или тип данных. Выбор данных включает как выбор признаков (столбцов), так и выбор объектов (строчек) в таблице. ===Правила включения/исключения (Rationale for inclusion/exclusion)=== Перечислить данные, которые должны быть включены/исключены и по каким причинам. ==Очистить данные (Clean data)== Привести качество данных в соответсвтвие с выбранным аналитическим подходом. Этого можно добиться различными подходами, например: выборым достаточно качественного поднабора данных, введением значения по умолчанию, оцениванием пропусков в данных с помощью моделирования и другими. ===Отчет о чистке данных (Data cleaning report)=== Список решений и предпринятых мер по улучшению качества данных (оценка качества данных проводилась в одноименной задаче фазы "Понимание данных"). Список проверенных трансформаций данных, сделанных в целях улучшения качества. ==Сделать производные данные (Construct data)== Эта задача включает операции по конструктивной подготовке данных, такие как порождение новых признаков и новых записей, а также простое преобразование значений признаков. ===Порождение признаков (Derived attributes)=== Порождение признаков заключается в создании признаков с помощью уже существующего набора одного и более признаков из одной записи. Например, площадь равна длине, умноженной на ширину. ===Созданные записи (Generated records)=== Опишите создание новых записей. Например, создайте новые записи для клиентов, которые не делали покупок последний год. Не было смысла иметь эти записи в исходных данных, но для модели покупатели, имеющие нулевое число покупок, могут иметь значение. ==Объединить данные (Integrate data)== Это методы посредством которых информация комбинируется из множества таблиц или протоколов для создания новых протоколов или оценок. ===Слияние данных (Merged data)=== Слияние таблиц данных - это объединение двух и более таблиц, которые содержат различную информацию об одних и тех же объектах. Например, торговая сеть имеет таблицу с общей характеристикой каждого магазина (напр. торговая площадь, тип магазина), другую таблицу с обобщенными данными продаж (напр. общий доход, процентное изменение продаж за год) и прочие с различной информацией (напр. демографические характеристики покупателей). Эти таблицы могут быть объединены вместе в новую таблицу с одной записью для каждого магазина и комбинированными атрибутами из исходных таблиц. Слияние данных также покрывает агрегацию. Агрегация относится к операции, где новые значения вычисляются из суммирования информации из множества записей или таблиц. К примеру, преобразование таблицы с данными покупок потребителя, где каждая запись соответствует одной покупке, в новую таблицу, где каждому потребителю уже соответствует одна запись с общими характеристиками по всем его покупкам (напр. их общее количество, средняя стоимость и т.д.). ==Привести данные в нужный формат (Format data)== Преобразование данных в первыю очередь носят синтаксические изменения, которые не меняют значение данных. Они необходимы для требований инструментов моделирования. ===Переформатированные данные (Reformatted data)=== Некоторые инструменты моделирования устанавливают требования на порядок атрибутов. К примеру, первое поле - уникальный индентификатор для каждой записи в таблице с данными, или последнее поле - результат, который должна предсказать модель. Может быть важным изменение порядка записей в наборе данных. Обычная ситуация, когда записи имеют изначальный определенный порядок, но для алгоритма моделирования необходимо, чтобы порядок был случайным. Например, при работе с нейронными сетями, как правило, случайный порядок является лучшим для работы, поэтому некоторые инструменты делают это автоматически без вмешательства пользователя. Кроме того, есть чисто синтаксические изменения, чтобы удовлетворить требованиям специфичной модели. К примеру, удаление ненужных знаков препинания в текстовых полях, обрезание длинных слов до некоторого максимального заданного количества символов. == Ссылки == * [[CRISP-DM]] [[Категория:Инструменты и технологии]] [[Категория:Интеллектуальный анализ данных]]

Возврат к странице CRISP-DM/Data Preparation.