Обработка изображений в системах искусственного интеллекта (курс лекций, И.А.Матвеев)/Вопросы 1 семестр

Материал из MachineLearning.

Перечень контрольных вопросов для сдачи экзамена в 6-ом семестре студентов 3 курса
специализации «Проектирование и организация систем» кафедры «Интеллектуальные системы» ФУПМ МФТИ

1. Математическая модель интеллектуальной системы обработки изображения в системах ИИ, декомпозиция на основные функциональные подсистемы, путь сигнала, параметры подсистем. Примеры реализации модулей интеллектуальной системы для классификации объектов на изображении на основе выделения признаков и их нейросетевого классификатора. Понятие формального нейрона, пример обучаемой интеллектуальной системы для анализа изображения на основе сверточной нейронной сети, описание ее базовой функциональности.
2. Первичная обработка изображения в сетчатке и зрительной коре головного мозга, структура глаза, спектральная чувствительность колбочек и палочек, их пространственная организация и функции. Выделение признаков в яркостном поле зрительной системой: в сетчатке и в первичной зрительной коре, математические модели рецептивных полей обрабатывающих нейронов в сетчатке и в первичной зрительной коре, их биологические основы. Основания механизма внимания для анализа первичной зрительной информации, зрительные иллюзии.
3. Регистрация видеоизображений. Математическая модель и устройство цифровой видеокамеры. Путь и изменение яркостного сигнала в тракте видеокамеры. Основные операции, производимые цифровой видеокамерой для получения цифрового изображения. Математическая модель регистрации яркостного сигнала в сенсоре камеры, влияние диафрагмы и выдержки. Типы и устройство видео сенсоров, получение цветных изображений, мозаика Байера.
4. Квантование аналогового видео сигнала сенсора в цифровой видеокамере, получение цифрового изображения. Математическая модель квантования значений непрерывной функции яркости, оптимальное квантование, квантователь Ллойда-Макса, равномерное и неравномерное квантование.
5. Дискретизация аналогового сигнала сенсора в видеокамере, получение цифрового изображения. Математическая модель дискретизации двумерного непрерывного поля яркости, спектр дискретного изображения, условия восстановления непрерывного изображения (теорема Котельникова).
6. Модели представления изображений. Функциональное, матричное, статистическое описание изображений, статистические модели изображения, стационарная марковская модель. Представление цветных изображений, основания трех-цветовой модели, основные цветовые модели (RGB,HSI,HSV,YUV).
7. Гистограмма яркости изображения. Статистические характеристики гистограмм, примеры гистограмм различных типов изображений, моды гистограмм. Изменение гистограммы при поэлементном преобразовании изображения. Адаптивная бинаризация изображения с использованием гистограммы.
8. Линейные операции с гистограммой яркости и эффект насыщения. Адаптивные линейные преобразования яркости изображения с параметрами, вычисленными по гистограмме, нормализация яркости и контрастности.
9. Нелинейные операции с гистограммой яркости. Степенные, полиномиальные и кусочно-линейные преобразования яркости с параметрами, вычисленными по гистограмме. Адаптивная коррекция яркости и контрастности изображения.
10. Нелинейные операции с гистограммой яркости. Приведение гистограммы яркости к заданному распределению яркости, алгоритм построения такой функции преобразования с ограничениями на производную. Эквализация, эквализация бимодальной гистограммы. Коррекция искажений яркости на основе гистограммных преобразований.
11. Алгебраические преобразования изображения. Описание прозрачности областей с помощью маски. Усреднение изображений, дисперсия яркости в точках усредненного изображения с аддитивным нормальным шумом. Использование аддитивных моделей фона для контрастирования изображения, фильтрации шума, линейная регрессионная оценка фона видеоизображения.
12. Модели систем обработки изображения. Характеристические функции системы: импульсная характеристика, передаточная функция, амплитудно-фазовая частотная характеристика (АФЧХ).
13. Фильтрация. Интеграл суперпозиции линейной системы, интеграл свертки, свертка в пространственной области, ядро свертки. Интегральное преобразование Фурье, спектральная теорема о свертке и ее применение.
14. Фильтрация. Конструирование элементарных фильтров: сглаживание, взвешенное сглаживание. Их пространственные ядра и амплитудно-частотные характеристики. Работа фильтров в пространственной и частотной области.
15. Фильтрация. Конструирование элементарных фильтров: фильтры на основе пространственных производных для повышения четкости изображения. Их пространственные ядра и амплитудно-частотные характеристики. Работа фильтров в пространственной и частотной области.

Перечень контрольных вопросов для сдачи экзамена в 7-ом семестре студентов 4 курса
специализации «Проектирование и организация систем» кафедры «Интеллектуальные системы» ФУПМ МФТИ

1. Применение теоремы о свертке для непрерывного сигнала. Инверсная фильтрация, инверсная фильтрация с отсечением, винеровская фильтрация изображения. Фильтрация с регуляризацией по Тихонову.
2. Модели искажений изображения и реконструкция изображения. Модели размытости вследствие движения камеры, турбулентности атмосферы. Прямое измерение функции рассеяния точки (ФРТ).
3. Реконструкция изображения. Конструирование фильтра в частотной области.
4. Дискретное преобразование Фурье (ДПФ), его основные свойства. Понятие дискретной свертки. Доказательство Теоремы о свертке в дискретном случае, условия периодического дополнения изображения. Линейная и циклическая свертка. Быстрое преобразование Фурье (БПФ), схема реализации.
5. Уравнение Винера-Хопфа. Винеровский фильтр, вывод решения для дискретного случая. Решения для линейной модели искажения, модели искажения с аддитивным шумом, соотношение сигнал/шум.
6. Дискретное преобразование Фурье (ДПФ) со сдвигом начала координат в центр изображения. Дискретная низкочастотная фильтрация: идеальный низкочастотный фильтр, НЧ фильтр Баттерворта, гауссов НЧ фильтр, усреднение. Дискретная высокочастотная фильтрация: идеальный низкочастотный фильтр, ВЧ фильтр Баттерворта, гауссов ВЧ фильтр. Лапласиан и повышение резкости. Режекторная, полосовая и узкополосная фильтрация. Адаптивная фильтрация шума на основе оценивания его параметров.
7. Алгебраический подход к обработке изображений. Матричное представление ДПФ, операции свертки, Теплицева матрица. Матричное представление задачи реставрации изображения. Обобщенно-обратная матрица, вывод решения для случая переопределенной и недоопределенной системы, сингулярное разложение для случая неполного ранга.
8. Алгебраический подход к реставрации изображений. Регрессионная оценка для модели с аддитивным шумом, винеровской оценки в матричном виде, регуляризация обобщенно обратной матрицы с сглаживанием по Тихонову.
9. Нелинейная фильтрация. Фильтры порядковых статистик. Влияние размера окна фильтрации. Понятие адаптивной фильтрации, адаптивный линейный и медианный фильтры.
10. Оконная фильтрация. Локальная нормализация, эквализация. Билатеральный фильтр.
11. Морфологические операции на дискретных изображениях, частные случаи бинарного и полутонового изображений. Понятие смежности и связности. Дилатация и эрозия, их двойственность. Операции Открытия и Замыкания, их двойственность. Морфологическая фильтрация, сглаживающий фильтр, морфологический градиент.
12. Билинейная и кусочно билинейная интерполяции при преобразовании системы координат. Аффинное преобразование в однородных координатах, оценка параметров. Полиномиальное преобразование второго порядка, нахождение параметров преобразования. Интерполяция яркости по ближайшему соседу, билинейная интерполяция.
13. Интерполяция яркости в преобразованной системе координат. Интерполяция яркости по ближайшему соседу, билинейная интерполяция. Интерполяция яркости на основе линейной свертки. Сверточные ядра полиномов Котельникова, Ланцоша. Условия идеальной интерполяции на основе спектральной модели и теоремы Котельникова. Сверточные ядра на основе В-cплайнов. Прямоугольное и треугольной ядро, их эквивалентность интерполяции по ближайшему соседу и билинейной интерполяции соответственно. Кубический B-сплайн и гауссовские ядра, их спектры.
14. Элементы теории информации, количество информации, формула Хартли и Шенона, вероятностная интерпретация информационной энтропии, достижимость максимальной энтропии. Выражение количества информации в изображении через условную энтропию элементов. Связь энтропии яркости пикселя и его окрестности на изображении.
15. Понятие избыточности изображения, кодовая избыточность, межэлеменетная избыточность, визуальная избыточность. Марковская модель межэлементной избыточности, уменьшение избыточности элемента на основе разностных преобразований. Понятие информативных элементов.
16. Понятие информативных элементов на основе марковской модели межэлементной избыточности. Выделение информативных элементов на основе декоррелирующего линейного преобразования Карунена-Лоэва, остаточная ошибка разложения. Критерий выбора признаков на основе метода Главных компонент, случай нормального распределения ансамбля изображений. Связь метода Главных компонент и модели автоэнкодера.
17. Выделение информативных элементов на основе декоррелирующего ортогонального преобразования. Преобразования Карунена-Лоэва для изображения как реализации стационарного процесса. Аппроксимация преобразования Карунена-Лоэва для марковского процесса. Ортогональные преобразования Фурье, преобразование Хаара, Адамара.
18. Подходы к сжатию и реконструкции изображения на основе перераспределения энтропии путем уменьшения межэлементной, визуальной и кодовой избыточности. Основные элементы алгоритмов JPEG, MPEG/H.26x.
19. Локально-стационарный анализ изображения, проблема локализации сигнала для оптимальной фильтрации. Интегральное оконное преобразование Фурье (ОПФ). Функция окна, ее локализация в пространственной и временной областях. Кратковременное Преобразование Фурье. Выбор оптимальной функция окна на основе принципа неопределенности.
20. Оконное преобразование Фурье. Прямое и обратное преобразование Габора, его пространственно-частотные свойства. Примеры использования преобразования Габора в прикладных системах.
21. Проблема одновременной локализации масштаба и положения сигнала. Интегральное вейвлет-преобразование (ИВП), базисная фейвлет-функция, условие допустимости базисного вейвлета, локализация вейвлет-функции в пространственной и частотной областях. Примеры базисных вейвлетов.
22. Дискретное вейвлет-преобразование (ДВП). Условие устойчивости для восстановления функции по множеству базисных вейвлетов, фреймы. Разложение функции по биортогональной системе базисных вейвлетов. Примеры базисных фейвлетов: вейвлет Морле, производные функции Гаусса, DOG, вейвлеты Хаара.
23. Кратномасштабный анализ. Гауссовская и лапласовская пирамида. Вложенность масштабирующих подпространств, масштабирующая и вейвлетные функции. Кратномасштабный анализ на примере вейвлетов Хаара.
24. Теория согласованной фильтрации для обнаружения сигналов/объектов на изображении на основе сопоставления с эталоном. Оператор декорреляции в согласованной фильтрации, сопоставление в пространстве признаков. Пространство признаков для марковской модели. Теорема о корреляции, применение ДПФ для поиска паттерна.
25. Дескрипторы изображения для задач анализа изображения в пространстве признаков. Выделение контура, краев: операторы Прюитта, Собеля, Кэнни. Параметризация прямых на основе преобразования Хафа. Дескрипторы HOG, LBP. Обобщение дескриптора HOG на основе преобразования Хафа. Многомасштабные дескрипторы Габора. Привязка изображений по дескрипторам.
26. Метрика расстояния в признаковом пространстве для привязки объектов. Оценка движения объекта и слежение по измерениям признаков. Фильтр Калмана.
27. Оптические потоки. Алгоритмы Лукаса-Канаде, Хорна-Шунка.
28. Основы нейросетевого распознавания изображений. Обзор основных архитектур нейросетевых моделей: сверточная ResNet модель для классификации и регрессии, AE и VAE для реконструкции и импаинтинга, UNET для сегментации, R-CNN и Yola для детекции, ViT модели на основе трансформера, RAFT для оптических потоков.
29. Основы генеративных и многомодальных нейросетевых моделей для генерации изображений: GAN и StyleGAN для генерации, нормализующие потоки и латентные диффузионные модели для генерации с обуславливанием.

См. также

• Обработка изображений в системах искусственного интеллекта (курс лекций, И.А.Матвеев)
• Специализация «Проектирование и организация систем» кафедры «Интеллектуальные системы» ФУПМ МФТИ
• Кафедра «Интеллектуальные системы» ФУПМ МФТИ