Обсуждение:AlexNet

Материал из MachineLearning.

Промпт 1: "Ты — автор статей для вики-энциклопедии MachineLearning.ru. Напиши статью на русском языке «AlexNet».

Требования:

Объём: 8–12 тысяч знаков.

Стиль: строгий научный, без публицистики. Изложение от простого к сложному: новичок понимает, почему эта архитектура стала переломной, эксперт — видит связь с последующим развитием свёрточных нейронных сетей.

Вики-разметка MediaWiki:

Разделы: == Название раздела ==, === Подраздел ===.

Внутренние ссылки на термины ML: Термин или отображаемый текст.

Сноски: ^[1], в конце статьи == Примечания == и .

Формулы: для внутристрочных, :: для выключных (на отдельной строке).

Изображения: .

Структура статьи:

== Введение ==: AlexNet как архитектура, победившая на ImageNet Large Scale Visual Recognition Challenge (ILSVRC) 2012 года. Переломный момент — убедительная победа глубокого обучения над классическими методами компьютерного зрения с ручными признаками. Авторы: Алекс Крижевский, Илья Суцкевер, Джеффри Хинтон. Связь с CNN, обработкой изображений, ImageNet.

== Архитектура ==:

Общая структура: 5 свёрточных слоёв + 3 полносвязных слоя.

Размеры фильтров и карт признаков на каждом слое.

Функции активации: ReLU вместо сигмоиды/tanh, почему это решило проблему исчезающих градиентов и ускорило обучение.

Перекрывающийся пулинг (overlapping pooling): снижение top-1 и top-5 ошибок по сравнению с неперекрывающимся.

== Технические детали обучения ==:

Обучение на двух GPU параллельно: распараллеливание по картам признаков, обмен между GPU только на определённых слоях.

Local Response Normalization (LRN): биологическая мотивация, влияние на ошибку.

Регуляризация: Dropout на полносвязных слоях, data augmentation (отражения, случайные кропы, изменение интенсивности RGB по PCA).

== Результаты на ImageNet 2012 ==: top-1 и top-5 ошибки, сравнение с конкурентами. Почему отрыв был настолько большим.

== Влияние на развитие глубокого обучения ==:

Демонстрация того, что глубина и данные решают проблему.

Переход сообщества компьютерного зрения от ручных признаков к обучаемым.

Цепочка последующих архитектур: ZFNet → VGG → GoogLeNet → ResNet.

== Анализ фильтров и признаков ==: визуализация фильтров первого свёрточного слоя, семантическая интерпретация. Что выучивает сеть на разных уровнях.

== Литература ==.

Категории:

text"