Материал из MachineLearning.

Содержание 1 Программа курса 1.1 Лекция 1А. Научный метод и основы машинного обучения 1.1.1 Домашинная история машинного обучения 1.1.2 Базовые определения и обозначения 1.1.3 Примеры прикладных задач 1.2 Лекция 1Б. Эпистемология машинного обучения и научный метод 1.2.1 Метод научного познания 1.2.2 Математические технологии автоматизации научного метода 1.2.3 Место и роль AI/ML в современном мире 1.3 Лекция 2А. Градиентная оптимизация и линейные модели 1.3.1 Градиентные методы оптимизации 1.3.2 Основные типы задач обучения с учителем 1.3.3 Линейные модели 1.4 Лекция 2Б. Представление знаний 1.4.1 Что такое знания 1.4.2 Интеллект-карты и радиантное мышление 1.4.3 Глобальная карта знаний человечества 1.5 Лекция 3А. Нейронные сети 1.5.1 Многослойные нейронные сети 1.5.2 Метод обратного распространения ошибок 1.5.3 Глубокие нейронные сети 1.6 Лекция 3Б. Цивилизационная роль искусственного интеллекта 1.6.1 Эволюция систем передачи знаний и смена технологических укладов 1.6.2 Четвёртая и пятая парадигмы науки 1.6.3 Возможности и угрозы искусственного интеллекта 1.7 Лекция 4А. Эволюция идей машинного обучения 1.7.1 Вектор → вектор → скаляр 1.7.2 Структура → вектор → скаляр 1.7.3 Структура → вектор → структура 1.8 Лекция 4Б. Великолепное человечество 1.8.1 Возможности и угрозы искусственного интеллекта 1.8.2 Социальная доктрина 1.8.3 От кодексов этики к регламентам и стандартам 1.9 Лекция 5А. Обучаемая векторизация данных 1.9.1 Матричные разложения 1.9.2 Векторные представления текстов и графов 1.9.3 Трансформеры и большие языковые модели 1.10 Лекция 5Б. Цивилизационное мировоззрение 1.10.1 Цивилизационная система ценностей 1.10.2 Технологическая сингулярность и закон сохранения цивилизации 1.10.3 Этика человеко-машинной цивилизации 1.11 Лекция 6А. Методология машинного обучения 1.11.1 Методология решения практических задач 1.11.2 Типология задач и моделей машинного обучения 1.11.3 Оценивание качества и выбор моделей 1.12 Лекция 6Б. Конструирование образов будущего 1.12.1 Системное визионерство и возможные сценарии будущего 1.12.2 Интеллектуальные помощники и цифровое послесмертие 1.12.3 Литературные вселенные фантастики ближнего прицела 1.13 Лекция 7А1. Конструирование моделей: шесть научных школ 1.13.1 Символизм и эволюционизм 1.13.2 Аналогизм и байесионизм 1.13.3 Коннекционизм и композиционизм 1.14 Лекция 7А2. Динамические задачи машинного обучения 1.14.1 Инкрементное обучение 1.14.2 Активное обучение 1.14.3 Обучение с подкреплением 2 Задания по курсу 3 См. также 4 Литература

Курс Философия. Введение в ИИ состоит из двух параллельных веток, которые сомкнутся ближе к концу курса.

Ветка А — математическая, введение в машинное обучение. Цель — изучить основные задачи, подходы, модели и методы, чтобы разобраться, каким образом Искусственный интеллект прошёл путь от Дартмутского семинара 1956 года до больших языковых моделей и интеллектуальных агентов сегодняшнего дня, какие идеи оказались в итоге ключевыми, что ИИ представляет из себя внутри, и почему это работает.

Ветка Б — гуманитарная, на стыке философии и практической работы с большими языковыми моделями. Цель — научиться задавать вопросы, видеть проблемы и искать решения, связанные с влиянием ИИ на человека и общество. Например, ответить самому себе на вопрос, чем заниматься и чем не заниматься в области ИИ — создавать возможности или устранять угрозы? Как превращать кодексы этики ИИ и категорический императив Канта в эффективные промпты, приносящие пользу людям. Как делать визионерские прогнозы про общий ИИ (AGI, Artificial General Intelligence), возможно ли сделать его человечным, в каком смысле, и что для этого можно делать уже сегодня.

Курс вводный. В качестве заданий НЕ предлагается доказывать теоремы, разрабатывать вычислительные методы, решать контесты или задачи на реальных датасетах. Этого будет достаточно в других курсах. Мы будем писать статьи про искусственный интеллект и машинное обучение на вики MachineLearning.ru, с помощью искусственного интеллекта.

От студентов требуются знания курсов линейной алгебры, математического анализа, теории вероятностей математической статистики, методов оптимизации.

Программа курса

Лекция 1А. Научный метод и основы машинного обучения

Домашинная история машинного обучения

• принцип эмпирической индукции Фрэнсиса Бэкона (1620)
• восстановление зависимостей по эмпирическим данным — основная задача естествознания
• принцип наименьших квадратов Гаусса—Лежандра (1795); построение эллипса по точкам; линейные и нелинейные параметрические модели
• принцип регрессии (и не только к посредственности) Фрэнсиса Гальтона (1886)
• принцип классификации (и не только цветков ириса) Рональда Фишера (1936)

Базовые определения и обозначения

• постановка задачи: дано—найти—критерий (ДНК задачи)
• объекты и признаки; вычисление и генерация признаков; типы признаков и типы задач обучения с учителем
• модель, функция потерь, критерий
• обучение — это оптимизация параметров модели по выборке данных
• переобучение; эксперимент с полиномиальной регрессией
• эмпирическое оценивание обобщающей способности
• машинное обучение как автоматизация научного метода

Примеры прикладных задач

• классификация, регрессия, ранжирование на табличных данных
• задачи со сложно структурированным данными, понятие генеративных моделей

Лекция 1Б. Эпистемология машинного обучения и научный метод

Эпистемология (от греч. ἐπιστήμη — знание и λόγος — учение) — философско-методологическая дисциплина, которая фокусируется на исследовании знания как такового, его строения, структуры, функционирования и развития.

Метод научного познания

• принцип верифицируемости (философ Ф.Бэкон)
• принцип фальсифицируемости (философ К.Поппер)
• принцип погрешимости, фаллибилизма (философ и математик Ч.Пирс)
• принцип соответствия (физик Н.Бор)
• принцип минимальной достаточности (францисканский монах У.Оккам)
• принцип воспроизводимости (химик Р.Бойль)
• принцип научной честности (физик Р.Фейнман)

Математические технологии автоматизации научного метода

• формализация принципов научного метода
• проверка статистических гипотез
• восстановление зависимостей по эмпирическим данным

Место и роль AI/ML в современном мире

• отчёты правительства США о роли AI в автоматизации будущего (2016)
• интеллект-карта — тексто-графическое представление области знаний AI/ML
• взаимоотношение областей AI и ML
• определения искусственного интеллекта
• вики-проект MachineLearning.ru

Лекция 2А. Градиентная оптимизация и линейные модели

Градиентные методы оптимизации

• оптимизационная постановка задачи обучения
• метод стохастического градиента
• ускорение сходимости и другие эвристики

Основные типы задач обучения с учителем

• задача регрессии: функции потерь, робастная регрессия
• задача классификации: понятие отступа, функции потерь, многоклассовая классификация
• задача ранжирования: понятие парного отступа, парная функция потерь

Линейные модели

• линейный классификатор, логистическая регрессия
• проблема мультиколлинеарности
• регуляризация L2, L1, L0, Lp; отбор признаков в линейных моделях
• негладкость регуляризатора и негладкость функции потерь
• метод опорных векторов (SVM), ядра, SVM-регрессия

Лекция 2Б. Представление знаний

Что такое знания

• концепция DIKW (данные — информация — знания — мудрость)
• накопление, представление и передача научного знания; связь с научным методом
• формы представления знаний: человеко-ориентированные и машинно-ориентированные
• представление знаний для машины: фреймы, онтологии, продукции, экспертные системы
• представление знаний для человека: гипертекст, вики, интеллект-карты

Интеллект-карты и радиантное мышление

• принцип мышления «от главного к второстепенному»
• иерархическое (радиантное) структурирование знаний и идей
• структурированность как фактор доверия между людьми, между человеком и ИИ
• 16 принципов построения интеллект-карт
• интеллект-карты как инструмент индивидуального и коллективного мышления
• концепции «коллективного разума»

Глобальная карта знаний человечества

• 6 принципов построения карт знаний
• глобальное семантическое ядро: понятийное, естественнонаучное, цивилизационное
• задачи автоматизации построения карт, иерархической суммаризации текстов
• место и роль генеративного ИИ в создании глобальной карты знаний

Лекция 3А. Нейронные сети

Многослойные нейронные сети

• нейрон как линейный классификатор, модель МакКаллока—Питтса (1943)
• первый нейрокомпьютер Mark-1 Фрэнка Розенблатта (1960)
• многослойные нейронные сети
• двух слоёв достаточно!(?) Теоремы об универсальных аппроксиматорах

Метод обратного распространения ошибок

• постановка задачи оптимизации
• быстрое дифференцирование суперпозиции функций
• метод стохастического градиента
• эвристики для ускорения сходимости: Dropout, ResNet, BatchNorm

Глубокие нейронные сети

• зимы искусственного интеллекта
• преимущества и обоснования глубоких сетей
• обучаемая векторизация данных

Лекция 3Б. Цивилизационная роль искусственного интеллекта

Эволюция систем передачи знаний и смена технологических укладов

• пример карты: эволюция систем передачи знаний
• технологические уклады, циклы Кондратьева и технологические революции
• закон Мура и технологическая сингулярность по Курцвейлу
• декларативные и процедурные знания
• пример карты: язык визуального программирования Дракон

Четвёртая и пятая парадигмы науки

• первая — феноменологическая: наблюдения, эксперименты, измерения, данные
• вторая — теоретическая: объяснения, теории, законы
• третья — вычислительная: компьютерное моделирование, физичные модели
• четвёртая — информационная: извлечение знаний из больших данных, нефизичные модели
• пятая — машинная: автоматизация полного цикла исследований

Возможности и угрозы искусственного интеллекта

• AI4Research — автоматизация анализа научной литературы
• AI4Science — автоматизация научных исследований
• архив науки становится объектом непрерывной обработки информации
• человек становится архитектором, отвечая за целеполагание
• ИИ становится генератором гипотез и рутинным исполнителем
• угрозы и риски общего искусственного интеллекта

Лекция 4А. Эволюция идей машинного обучения

Вектор → вектор → скаляр

• задачи с векторными признаковыми описаниями объектов
• методы преобразования признаков: ослабление и усиление шкал, нормализация, стандартизация
• конструирование признаков, примеры прикладных задач

Структура → вектор → скаляр

• свёрточные сети для классификации изображений — прорыв векторизации
• конкурс ImageNet, сеть AlexNet — прорыв больших данных
• сеть ResNet — прорыв глубины
• векторизация сложно структурированных данных, примеры прикладных задач
• перенос обучения, самостоятельное обучение — прорыв предобучения

Структура → вектор → структура

• автокодировщики, вариационный автокодировщик
• многозадачное обучение
• фундаментальные модели
• генеративная состязательная сеть

Лекция 4Б. Великолепное человечество

Magnifica Humanitas — первая энциклика папы римского Льва XIV, посвящённая «сохранению человеческой личности в эпоху искусственного интеллекта», опубликована 25 мая 2026 г.

Возможности и угрозы искусственного интеллекта

Социальная доктрина

От кодексов этики к регламентам и стандартам

Лекция 5А. Обучаемая векторизация данных

Матричные разложения

• метод главных компонент
• матричные разложения LFM, NNMF, PLSA
• вероятностное тематическое моделирование
• рекомендательные системы

Векторные представления текстов и графов

• многомерное шкалирование
• графовые разложения
• обобщённый автокодировщик на графах GraphEDM
• модели дистрибутивной семантики, word2vec

Трансформеры и большие языковые модели

• модель внимания
• трансформер для машинного перевода
• трансформер-кодировщик BERT, критерии обучения
• генеративный предобученный трансформер GPT
• эмерджентные свойства больших языковых моделей

Лекция 5Б. Цивилизационное мировоззрение

Цивилизационная система ценностей

Технологическая сингулярность и закон сохранения цивилизации

Этика человеко-машинной цивилизации

Лекция 6А. Методология машинного обучения

Методология решения практических задач

• межотраслевой стандарт CRISP-DM
• свойства реальных данных: сырые, неполные, неточные, неудобные, разнородные, «грязные»
• предобработка данных: обработка пропусков, детекция аномалий и выбросов

Типология задач и моделей машинного обучения

• обучение с учителем: регрессия, классификация, ранжирование
• обучение без учителя: восстановление плотности распределения, разделение смеси распределений, кластеризация, векторизация
• совместное обучение моделей: частичное обучение, суррогатное обучение и дистилляция, обучение с привилегированной информацией
• шесть школ машинного обучения по П.Домингосу: символизм, коннекционизм, эволюционизм, байесионизм, аналогизм, композиционизм
• нужно ли искать «мастер-алгоритм»?

Оценивание качества и выбор моделей

• оценивание качества классификации: ROC-кривая, AUROC, точность и полнота
• оценивание качества и выбор моделей: внешние и внутренние критерии, кросс-проверка,
• анализ распределения ошибок или потерь
• автоматический выбор моделей и гиперпараметров (AutoML)
• мета-обучение (meta-learning, learning to learn)
• A/B-тестирование, анализ ошибок

Лекция 6Б. Конструирование образов будущего

Системное визионерство и возможные сценарии будущего

Интеллектуальные помощники и цифровое послесмертие

Литературные вселенные фантастики ближнего прицела

Лекция 7А1. Конструирование моделей: шесть научных школ

Символизм и эволюционизм

• понятие логической закономерности
• решающие деревья
• индукция правил
• задача и методы отбора признаков
• эволюционные и генетические алгоритмы
• символьная регрессия

Аналогизм и байесионизм

• метрические методы классификации, регрессии, восстановления плотности, кластеризации
• статистические методы; байесовский классификатор
• байесовское обучение

Коннекционизм и композиционизм

• искусственные нейронные сети
• бустинг и бэггинг
• смесь экспертов

Лекция 7А2. Динамические задачи машинного обучения

Инкрементное обучение

• адаптивные методы краткосрочного прогнозирования временных рядов
• адаптивная селекция и композиция моделей
• алгоритм Hedge

Активное обучение

• семплирование по неуверенности
• краудсорсинг

Обучение с подкреплением

• задача однорукого бандита, UCB
• среда с состояниями, Q-обучение
• параметризация стратегии и policy gradient
• модель актёра-критика

Задания по курсу

Скользящий контроль — пример статьи, сгенерированной LLM (промпты здесь: Обсуждение:Скользящий контроль)

См. также

• Введение в машинное обучение (курс лекций, К.В.Воронцов)
• Машинное обучение (курс лекций, К.В.Воронцов)

Литература

Учебники

1. Онлайн-учебник по машинному обучению от ШАД.
2. Николенко С. Машинное обучение: основы, 2025. — 608 c.
3. Николенко С., Кадурин А., Архангельская Е. Глубокое обучение: основы, 2024. — 480 c.
4. Мэрфи К.П. Вероятностное машинное обучение. Введение, 2022. – 940 с.
5. Мэрфи К.П. Вероятностное машинное обучение. Дополнительные темы: основания, вывод, 2024. – 810 с.
6. Дайзенрот М. П, Альдо Фейзал А, Чен Сунь Он Питер. Математика в машинном обучении, 2024. – 512 с.
7. Уилке К. Основы визуализации данных: пособие по эффективной и убедительной подаче информации, 2024. – 352 с.
8. Шай Шалев-Шварц, Шай Бен-Давид. Идеи машинного обучения. От теории к алгоритмам, 2019. — 436 c.
9. Мерков А.Б. Распознавание образов. Введение в методы статистического обучения. 2011. 256 с.
10. Мерков А.Б. Распознавание образов. Построение и обучение вероятностных моделей. 2014. 238 с.
11. Коэльо Л.П., Ричарт В. Построение систем машинного обучения на языке Python. 2016. 302 с.
12. Hastie T., Tibshirani R., Friedman J. The Elements of Statistical Learning. Springer, 2014. — 739 p.
13. Bishop C.M. Pattern Recognition and Machine Learning. — Springer, 2006. — 738 p.

Науч-поп

1. Марков С. Охота на электроовец. Большая книга искусственного интеллекта. Том 1. 2024. — 568 с.
2. Марков С. Охота на электроовец. Большая книга искусственного интеллекта. Том 2. 2024. — 784 с.
3. Домингос П. Верховный алгоритм. Как машинное обучение изменит наш мир, 2016. — 336 c.