Обработка изображений в системах искусственного интеллекта (курс лекций, И.А.Матвеев)/Вопросы 1 семестр

Материал из MachineLearning.

Перечень контрольных вопросов для сдачи экзамена в 7-ом семестре студентов 4 курса
специализации «Проектирование и организация систем» кафедры «Интеллектуальные системы» ФУПМ МФТИ

1. Применение теоремы о свертке для непрерывного сигнала. Инверсная фильтрация, инверсная фильтрация с отсечением, винеровская фильтрация изображения. Фильтрация с регуляризацией по Тихонову.
2. Модели искажений изображения и реконструкция изображения. Модели размытости вследствие движения камеры, турбулентности атмосферы. Прямое измерение функции рассеяния точки (ФРТ).
3. Реконструкция изображения. Конструирование фильтра в частотной области.
4. Дискретное преобразование Фурье (ДПФ), его основные свойства. Понятие дискретной свертки. Доказательство Теоремы о свертке в дискретном случае, условия периодического дополнения изображения. Линейная и циклическая свертка. Быстрое преобразование Фурье (БПФ), схема реализации.
5. Уравнение Винера-Хопфа. Винеровский фильтр, вывод решения для дискретного случая. Решения для линейной модели искажения, модели искажения с аддитивным шумом, соотношение сигнал/шум.
6. Дискретное преобразование Фурье (ДПФ) со сдвигом начала координат в центр изображения. Дискретная низкочастотная фильтрация: идеальный низкочастотный фильтр, НЧ фильтр Баттерворта, гауссов НЧ фильтр, усреднение. Дискретная высокочастотная фильтрация: идеальный низкочастотный фильтр, ВЧ фильтр Баттерворта, гауссов ВЧ фильтр. Лапласиан и повышение резкости. Режекторная, полосовая и узкополосная фильтрация. Адаптивная фильтрация шума на основе оценивания его параметров.
7. Алгебраический подход к обработке изображений. Матричное представление ДПФ, операции свертки, матрица Теплица. Матричное представление задачи реставрации изображения. Обобщенно-обратная матрица, вывод решения для случая переопределенной и недоопределенной системы, сингулярное разложение для случая неполного ранга.
8. Алгебраический подход к реставрации изображений. Регрессионная оценка для модели с аддитивным шумом, винеровской оценки в матричном виде, регуляризация обобщенно обратной матрицы с сглаживанием по Тихонову.
9. Нелинейная фильтрация. Фильтры порядковых статистик. Влияние размера окна фильтрации. Понятие адаптивной фильтрации, адаптивный линейный и медианный фильтры.
10. Оконная фильтрация. Локальная нормализация, эквализация. Билатеральный фильтр.
11. Морфологические операции на дискретных изображениях, частные случаи бинарного и полутонового изображений. Понятие смежности и связности. Дилатация и эрозия, их двойственность. Операции Открытия и Замыкания, их двойственность. Морфологическая фильтрация, сглаживающий фильтр, морфологический градиент.
12. Билинейная и кусочно билинейная интерполяции при преобразовании системы координат. Аффинное преобразование в однородных координатах, оценка параметров. Полиномиальное преобразование второго порядка, нахождение параметров преобразования. Интерполяция яркости по ближайшему соседу, билинейная интерполяция.
13. Интерполяция яркости в преобразованной системе координат. Интерполяция яркости по ближайшему соседу, билинейная интерполяция. Интерполяция яркости на основе линейной свертки. Сверточные ядра полиномов Котельникова, Ланцоша. Условия идеальной интерполяции на основе спектральной модели и теоремы Котельникова. Прямоугольное и треугольной ядро, их эквивалентность интерполяции по ближайшему соседу и билинейной интерполяции соответственно. Кубический B-сплайн и гауссовские ядра, их спектры.
14. Элементы теории информации, количество информации, формула Хартли и Шенона, вероятностная интерпретация информационной энтропии, достижимость максимальной энтропии. Выражение количества информации в изображении через условную энтропию элементов. Связь энтропии яркости пикселя и его окрестности на изображении.
15. Понятие избыточности изображения, кодовая избыточность, межэлеменетная избыточность, визуальная избыточность. Марковская модель межэлементной избыточности, уменьшение избыточности элемента на основе разностных преобразований. Понятие информативных элементов.
16. Понятие информативных элементов на основе марковской модели межэлементной избыточности. Выделение информативных элементов на основе декоррелирующего линейного преобразования Карунена-Лоэва, остаточная ошибка разложения. Критерий выбора признаков на основе метода Главных компонент, случай нормального распределения ансамбля изображений. Связь метода Главных компонент и модели автоэнкодера.
17. Выделение информативных элементов на основе декоррелирующего ортогонального преобразования. Преобразования Карунена-Лоэва для изображения как реализации стационарного процесса. Аппроксимация преобразования Карунена-Лоэва для марковского процесса. Ортогональные преобразования Фурье, преобразование Хаара, Адамара.
18. Подходы к сжатию и реконструкции изображения на основе перераспределения энтропии путем уменьшения межэлементной, визуальной и кодовой избыточности. Основные элементы алгоритмов JPEG, MPEG/H.26x.
19. Локально-стационарный анализ изображения, проблема локализации сигнала для оптимальной фильтрации. Интегральное оконное преобразование Фурье (ОПФ). Функция окна, ее локализация в пространственной и временной областях. Кратковременное Преобразование Фурье. Выбор оптимальной функция окна на основе принципа неопределенности.
20. Оконное преобразование Фурье. Прямое и обратное преобразование Габора, его пространственно-частотные свойства. Примеры использования преобразования Габора в прикладных системах.
21. Проблема одновременной локализации масштаба и положения сигнала. Интегральное вейвлет-преобразование (ИВП), базисная фейвлет-функция, условие допустимости базисного вейвлета, локализация вейвлет-функции в пространственной и частотной областях. Примеры базисных вейвлетов.
22. Дискретное вейвлет-преобразование (ДВП). Условие устойчивости для восстановления функции по множеству базисных вейвлетов, фреймы. Разложение функции по биортогональной системе базисных вейвлетов. Примеры базисных фейвлетов: вейвлет Морле, производные функции Гаусса, DOG, вейвлеты Хаара.
23. Кратномасштабный анализ. Гауссовская и лапласовская пирамида. Вложенность масштабирующих подпространств, масштабирующая и вейвлетные функции. Кратномасштабный анализ на примере вейвлетов Хаара.
24. Теория согласованной фильтрации для обнаружения сигналов/объектов на изображении на основе сопоставления с эталоном. Оператор декорреляции в согласованной фильтрации, сопоставление в пространстве признаков. Пространство признаков для марковской модели. Теорема о корреляции, применение ДПФ для поиска паттерна.
25. Дескрипторы изображения для задач анализа изображения в пространстве признаков. Выделение контура, краев: операторы Прюитта, Собеля, Кэнни. Параметризация прямых на основе преобразования Хафа. Дескрипторы HOG, LBP. Обобщение дескриптора HOG на основе преобразования Хафа. Многомасштабные дескрипторы Габора. Привязка изображений по дескрипторам.
26. Метрика расстояния в признаковом пространстве для привязки объектов. Оценка движения объекта и слежение по измерениям признаков. Фильтр Калмана.
27. Оптические потоки. Алгоритмы Лукаса-Канаде, Хорна-Шунка.
28. Основы нейросетевого распознавания изображений. Обзор основных архитектур нейросетевых моделей: сверточная ResNet модель для классификации и регрессии, AE и VAE для реконструкции и импаинтинга, UNET для сегментации, R-CNN и Yola для детекции, ViT модели на основе трансформера, RAFT для оптических потоков.
29. Основы генеративных и многомодальных нейросетевых моделей для генерации изображений: GAN и StyleGAN для генерации, нормализующие потоки и латентные диффузионные модели для генерации с обуславливанием.

См. также

• Обработка изображений в системах искусственного интеллекта (курс лекций, И.А.Матвеев)
• Специализация «Проектирование и организация систем» кафедры «Интеллектуальные системы» ФУПМ МФТИ
• Кафедра «Интеллектуальные системы» ФУПМ МФТИ