Обсуждение:Предобработка данных
Материал из MachineLearning.
Imil Baltaniazov (Обсуждение | вклад)
(Новая: Ты профессор машинного обучения. Напиши энциклопедическую статью для MachineLearning.ru на тему «Предобработ...)
К следующему изменению →
Версия 19:49, 11 июля 2026
Ты профессор машинного обучения. Напиши энциклопедическую статью для MachineLearning.ru на тему «Предобработка данных».
Целевая аудитория: студенты и специалисты AI/ML. Новичкам дать целостное понимание процесса, профессионалам — систематизацию методов и чек-лист.
Обязательные разделы:
1. Введение (что это, почему 80% времени, связь с качеством моделей)
2. Сбор и первичный анализ (типы признаков, статистики, визуализация)
3. Очистка данных: пропуски (таблица методов: удаление, mean/median, регрессия, KNN, интерполяция), дубликаты, ошибки
4. Выбросы: обнаружение (IQR, z-score) и стратегии (удаление, капинг, преобразование)
5. Преобразование признаков: нормализация (min-max, z-score, robust), степенные (логарифм, Box-Cox, Yeo-Johnson), дискретизация
6. Кодирование категорий: таблица сравнения (one-hot, label, target, частотное, WOE)
7. Инженерия признаков (кратко, со ссылкой на отдельную статью)
8. Уменьшение размерности (PCA и отбор признаков кратко)
9. Разделение выборок (train/val/test, стратификация, кросс-валидация, временная CV)
10. Pipeline (схема, предотвращение утечки данных)
11. Чек-лист и распространённые ошибки
12. См. также (ссылки на связанные статьи)
13. Литература (реальные источники)
Стиль: академичный, ясный, без штампов. Формулы через
