Обработка изображений в системах искусственного интеллекта (курс лекций, И.А.Матвеев)/Вопросы 1 семестр
Материал из MachineLearning.
(Различия между версиями)
м (/* Перечень контрольных вопросов для сдачи экзамена в 7-ом семестре студентов 4 курса специализации «Проектирование и организация систе) |
м (/* Перечень контрольных вопросов для сдачи экзамена в 7-ом семестре студентов 4 курса специализации «Проектирование и организация систе) |
||
Строка 1: | Строка 1: | ||
====Перечень контрольных вопросов для сдачи экзамена в 7-ом семестре студентов 4 курса <br \> [[Интеллектуальные системы (кафедра МФТИ)/О кафедре#Специализация «Проектирование и организация систем»|специализации «Проектирование и организация систем»]] [[Интеллектуальные системы (кафедра МФТИ)|кафедры «Интеллектуальные системы»]] [[ФУПМ]] [[МФТИ]]==== | ====Перечень контрольных вопросов для сдачи экзамена в 7-ом семестре студентов 4 курса <br \> [[Интеллектуальные системы (кафедра МФТИ)/О кафедре#Специализация «Проектирование и организация систем»|специализации «Проектирование и организация систем»]] [[Интеллектуальные системы (кафедра МФТИ)|кафедры «Интеллектуальные системы»]] [[ФУПМ]] [[МФТИ]]==== | ||
- | |||
- | |||
- | |||
- | |||
- | |||
- | |||
- | |||
- | |||
- | |||
- | |||
- | |||
- | |||
# Применение теоремы о свертке для непрерывного сигнала. Инверсная фильтрация, инверсная фильтрация с отсечением, винеровская фильтрация изображения. Фильтрация с регуляризацией по Тихонову. | # Применение теоремы о свертке для непрерывного сигнала. Инверсная фильтрация, инверсная фильтрация с отсечением, винеровская фильтрация изображения. Фильтрация с регуляризацией по Тихонову. | ||
# Модели искажений изображения и реконструкция изображения. Модели размытости вследствие движения камеры, турбулентности атмосферы. Прямое измерение функции рассеяния точки (ФРТ). | # Модели искажений изображения и реконструкция изображения. Модели размытости вследствие движения камеры, турбулентности атмосферы. Прямое измерение функции рассеяния точки (ФРТ). | ||
# Реконструкция изображения. Конструирование фильтра в частотной области. | # Реконструкция изображения. Конструирование фильтра в частотной области. | ||
- | # | + | # Дискретное преобразование Фурье (ДПФ), его основные свойства. Понятие дискретной свертки. Доказательство Теоремы о свертке в дискретном случае, условия периодического дополнения изображения. Линейная и циклическая свертка. Быстрое преобразование Фурье (БПФ), схема реализации. |
- | + | # Уравнение Винера-Хопфа. Винеровский фильтр, вывод решения для дискретного случая. Решения для линейной модели искажения, модели искажения с аддитивным шумом, соотношение сигнал/шум. | |
- | + | # Дискретное преобразование Фурье (ДПФ) со сдвигом начала координат в центр изображения. Дискретная низкочастотная фильтрация: идеальный низкочастотный фильтр, НЧ фильтр Баттерворта, гауссов НЧ фильтр, усреднение. Дискретная высокочастотная фильтрация: идеальный низкочастотный фильтр, ВЧ фильтр Баттерворта, гауссов ВЧ фильтр. Лапласиан и повышение резкости. Режекторная, полосовая и узкополосная фильтрация. Адаптивная фильтрация шума на основе оценивания его параметров. | |
- | + | # Алгебраический подход к обработке изображений. Матричное представление ДПФ, операции свертки, матрица Теплица. Матричное представление задачи реставрации изображения. Обобщенно-обратная матрица, вывод решения для случая переопределенной и недоопределенной системы, сингулярное разложение для случая неполного ранга. | |
- | + | ||
- | + | ||
- | + | ||
- | # Алгебраический подход к обработке изображений. Матричное представление задачи реставрации изображения. Обобщенно-обратная матрица, вывод решения для случая переопределенной и недоопределенной системы, сингулярное разложение для случая неполного ранга. | + | |
# Алгебраический подход к реставрации изображений. Регрессионная оценка для модели с аддитивным шумом, винеровской оценки в матричном виде, регуляризация обобщенно обратной матрицы с сглаживанием по Тихонову. | # Алгебраический подход к реставрации изображений. Регрессионная оценка для модели с аддитивным шумом, винеровской оценки в матричном виде, регуляризация обобщенно обратной матрицы с сглаживанием по Тихонову. | ||
# Нелинейная фильтрация. Фильтры порядковых статистик. Влияние размера окна фильтрации. Понятие адаптивной фильтрации, адаптивный линейный и медианный фильтры. | # Нелинейная фильтрация. Фильтры порядковых статистик. Влияние размера окна фильтрации. Понятие адаптивной фильтрации, адаптивный линейный и медианный фильтры. | ||
Строка 29: | Строка 13: | ||
# Морфологические операции на дискретных изображениях, частные случаи бинарного и полутонового изображений. Понятие смежности и связности. Дилатация и эрозия, их двойственность. Операции Открытия и Замыкания, их двойственность. Морфологическая фильтрация, сглаживающий фильтр, морфологический градиент. | # Морфологические операции на дискретных изображениях, частные случаи бинарного и полутонового изображений. Понятие смежности и связности. Дилатация и эрозия, их двойственность. Операции Открытия и Замыкания, их двойственность. Морфологическая фильтрация, сглаживающий фильтр, морфологический градиент. | ||
# Билинейная и кусочно билинейная интерполяции при преобразовании системы координат. Аффинное преобразование в однородных координатах, оценка параметров. Полиномиальное преобразование второго порядка, нахождение параметров преобразования. Интерполяция яркости по ближайшему соседу, билинейная интерполяция. | # Билинейная и кусочно билинейная интерполяции при преобразовании системы координат. Аффинное преобразование в однородных координатах, оценка параметров. Полиномиальное преобразование второго порядка, нахождение параметров преобразования. Интерполяция яркости по ближайшему соседу, билинейная интерполяция. | ||
- | # Интерполяция яркости в преобразованной системе координат. Интерполяция яркости по ближайшему соседу, билинейная интерполяция. Интерполяция яркости на основе линейной свертки | + | # Интерполяция яркости в преобразованной системе координат. Интерполяция яркости по ближайшему соседу, билинейная интерполяция. Интерполяция яркости на основе линейной свертки. Сверточные ядра полиномов Котельникова, Ланцоша. Условия идеальной интерполяции на основе спектральной модели и теоремы Котельникова. Прямоугольное и треугольной ядро, их эквивалентность интерполяции по ближайшему соседу и билинейной интерполяции соответственно. Кубический B-сплайн и гауссовские ядра, их спектры. |
- | + | ||
# Элементы теории информации, количество информации, формула Хартли и Шенона, вероятностная интерпретация информационной энтропии, достижимость максимальной энтропии. Выражение количества информации в изображении через условную энтропию элементов. Связь энтропии яркости пикселя и его окрестности на изображении. | # Элементы теории информации, количество информации, формула Хартли и Шенона, вероятностная интерпретация информационной энтропии, достижимость максимальной энтропии. Выражение количества информации в изображении через условную энтропию элементов. Связь энтропии яркости пикселя и его окрестности на изображении. | ||
# Понятие избыточности изображения, кодовая избыточность, межэлеменетная избыточность, визуальная избыточность. Марковская модель межэлементной избыточности, уменьшение избыточности элемента на основе разностных преобразований. Понятие информативных элементов. | # Понятие избыточности изображения, кодовая избыточность, межэлеменетная избыточность, визуальная избыточность. Марковская модель межэлементной избыточности, уменьшение избыточности элемента на основе разностных преобразований. Понятие информативных элементов. | ||
- | # Понятие информативных элементов на основе | + | # Понятие информативных элементов на основе марковской модели межэлементной избыточности. Выделение информативных элементов на основе декоррелирующего линейного преобразования Карунена-Лоэва, остаточная ошибка разложения. Критерий выбора признаков на основе метода Главных компонент, случай нормального распределения ансамбля изображений. Связь метода Главных компонент и модели автоэнкодера. |
# Выделение информативных элементов на основе декоррелирующего ортогонального преобразования. Преобразования Карунена-Лоэва для изображения как реализации стационарного процесса. Аппроксимация преобразования Карунена-Лоэва для марковского процесса. Ортогональные преобразования Фурье, преобразование Хаара, Адамара. | # Выделение информативных элементов на основе декоррелирующего ортогонального преобразования. Преобразования Карунена-Лоэва для изображения как реализации стационарного процесса. Аппроксимация преобразования Карунена-Лоэва для марковского процесса. Ортогональные преобразования Фурье, преобразование Хаара, Адамара. | ||
# Подходы к сжатию и реконструкции изображения на основе перераспределения энтропии путем уменьшения межэлементной, визуальной и кодовой избыточности. Основные элементы алгоритмов JPEG, MPEG/H.26x. | # Подходы к сжатию и реконструкции изображения на основе перераспределения энтропии путем уменьшения межэлементной, визуальной и кодовой избыточности. Основные элементы алгоритмов JPEG, MPEG/H.26x. | ||
+ | # Локально-стационарный анализ изображения, проблема локализации сигнала для оптимальной фильтрации. Интегральное оконное преобразование Фурье (ОПФ). Функция окна, ее локализация в пространственной и временной областях. Кратковременное Преобразование Фурье. Выбор оптимальной функция окна на основе принципа неопределенности. | ||
+ | # Оконное преобразование Фурье. Прямое и обратное преобразование Габора, его пространственно-частотные свойства. Примеры использования преобразования Габора в прикладных системах. | ||
+ | # Проблема одновременной локализации масштаба и положения сигнала. Интегральное вейвлет-преобразование (ИВП), базисная фейвлет-функция, условие допустимости базисного вейвлета, локализация вейвлет-функции в пространственной и частотной областях. Примеры базисных вейвлетов. | ||
+ | # Дискретное вейвлет-преобразование (ДВП). Условие устойчивости для восстановления функции по множеству базисных вейвлетов, фреймы. Разложение функции по биортогональной системе базисных вейвлетов. Примеры базисных фейвлетов: вейвлет Морле, производные функции Гаусса, DOG, вейвлеты Хаара. | ||
+ | # Кратномасштабный анализ. Гауссовская и лапласовская пирамида. Вложенность масштабирующих подпространств, масштабирующая и вейвлетные функции. Кратномасштабный анализ на примере вейвлетов Хаара. | ||
+ | # Теория согласованной фильтрации для обнаружения сигналов/объектов на изображении на основе сопоставления с эталоном. Оператор декорреляции в согласованной фильтрации, сопоставление в пространстве признаков. Пространство признаков для марковской модели. Теорема о корреляции, применение ДПФ для поиска паттерна. | ||
+ | # Дескрипторы изображения для задач анализа изображения в пространстве признаков. Выделение контура, краев: операторы Прюитта, Собеля, Кэнни. Параметризация прямых на основе преобразования Хафа. Дескрипторы HOG, LBP. Обобщение дескриптора HOG на основе преобразования Хафа. Многомасштабные дескрипторы Габора. Привязка изображений по дескрипторам. | ||
+ | # Метрика расстояния в признаковом пространстве для привязки объектов. Оценка движения объекта и слежение по измерениям признаков. Фильтр Калмана. | ||
+ | # Оптические потоки. Алгоритмы Лукаса-Канаде, Хорна-Шунка. | ||
+ | # Основы нейросетевого распознавания изображений. Обзор основных архитектур нейросетевых моделей: сверточная ResNet модель для классификации и регрессии, AE и VAE для реконструкции и импаинтинга, UNET для сегментации, R-CNN и Yola для детекции, ViT модели на основе трансформера, RAFT для оптических потоков. | ||
+ | # Основы генеративных и многомодальных нейросетевых моделей для генерации изображений: GAN и StyleGAN для генерации, нормализующие потоки и латентные диффузионные модели для генерации с обуславливанием. | ||
<!-- | <!-- |
Версия 22:41, 14 мая 2025
Перечень контрольных вопросов для сдачи экзамена в 7-ом семестре студентов 4 курса
специализации «Проектирование и организация систем» кафедры «Интеллектуальные системы» ФУПМ МФТИ
- Применение теоремы о свертке для непрерывного сигнала. Инверсная фильтрация, инверсная фильтрация с отсечением, винеровская фильтрация изображения. Фильтрация с регуляризацией по Тихонову.
- Модели искажений изображения и реконструкция изображения. Модели размытости вследствие движения камеры, турбулентности атмосферы. Прямое измерение функции рассеяния точки (ФРТ).
- Реконструкция изображения. Конструирование фильтра в частотной области.
- Дискретное преобразование Фурье (ДПФ), его основные свойства. Понятие дискретной свертки. Доказательство Теоремы о свертке в дискретном случае, условия периодического дополнения изображения. Линейная и циклическая свертка. Быстрое преобразование Фурье (БПФ), схема реализации.
- Уравнение Винера-Хопфа. Винеровский фильтр, вывод решения для дискретного случая. Решения для линейной модели искажения, модели искажения с аддитивным шумом, соотношение сигнал/шум.
- Дискретное преобразование Фурье (ДПФ) со сдвигом начала координат в центр изображения. Дискретная низкочастотная фильтрация: идеальный низкочастотный фильтр, НЧ фильтр Баттерворта, гауссов НЧ фильтр, усреднение. Дискретная высокочастотная фильтрация: идеальный низкочастотный фильтр, ВЧ фильтр Баттерворта, гауссов ВЧ фильтр. Лапласиан и повышение резкости. Режекторная, полосовая и узкополосная фильтрация. Адаптивная фильтрация шума на основе оценивания его параметров.
- Алгебраический подход к обработке изображений. Матричное представление ДПФ, операции свертки, матрица Теплица. Матричное представление задачи реставрации изображения. Обобщенно-обратная матрица, вывод решения для случая переопределенной и недоопределенной системы, сингулярное разложение для случая неполного ранга.
- Алгебраический подход к реставрации изображений. Регрессионная оценка для модели с аддитивным шумом, винеровской оценки в матричном виде, регуляризация обобщенно обратной матрицы с сглаживанием по Тихонову.
- Нелинейная фильтрация. Фильтры порядковых статистик. Влияние размера окна фильтрации. Понятие адаптивной фильтрации, адаптивный линейный и медианный фильтры.
- Оконная фильтрация. Локальная нормализация, эквализация. Билатеральный фильтр.
- Морфологические операции на дискретных изображениях, частные случаи бинарного и полутонового изображений. Понятие смежности и связности. Дилатация и эрозия, их двойственность. Операции Открытия и Замыкания, их двойственность. Морфологическая фильтрация, сглаживающий фильтр, морфологический градиент.
- Билинейная и кусочно билинейная интерполяции при преобразовании системы координат. Аффинное преобразование в однородных координатах, оценка параметров. Полиномиальное преобразование второго порядка, нахождение параметров преобразования. Интерполяция яркости по ближайшему соседу, билинейная интерполяция.
- Интерполяция яркости в преобразованной системе координат. Интерполяция яркости по ближайшему соседу, билинейная интерполяция. Интерполяция яркости на основе линейной свертки. Сверточные ядра полиномов Котельникова, Ланцоша. Условия идеальной интерполяции на основе спектральной модели и теоремы Котельникова. Прямоугольное и треугольной ядро, их эквивалентность интерполяции по ближайшему соседу и билинейной интерполяции соответственно. Кубический B-сплайн и гауссовские ядра, их спектры.
- Элементы теории информации, количество информации, формула Хартли и Шенона, вероятностная интерпретация информационной энтропии, достижимость максимальной энтропии. Выражение количества информации в изображении через условную энтропию элементов. Связь энтропии яркости пикселя и его окрестности на изображении.
- Понятие избыточности изображения, кодовая избыточность, межэлеменетная избыточность, визуальная избыточность. Марковская модель межэлементной избыточности, уменьшение избыточности элемента на основе разностных преобразований. Понятие информативных элементов.
- Понятие информативных элементов на основе марковской модели межэлементной избыточности. Выделение информативных элементов на основе декоррелирующего линейного преобразования Карунена-Лоэва, остаточная ошибка разложения. Критерий выбора признаков на основе метода Главных компонент, случай нормального распределения ансамбля изображений. Связь метода Главных компонент и модели автоэнкодера.
- Выделение информативных элементов на основе декоррелирующего ортогонального преобразования. Преобразования Карунена-Лоэва для изображения как реализации стационарного процесса. Аппроксимация преобразования Карунена-Лоэва для марковского процесса. Ортогональные преобразования Фурье, преобразование Хаара, Адамара.
- Подходы к сжатию и реконструкции изображения на основе перераспределения энтропии путем уменьшения межэлементной, визуальной и кодовой избыточности. Основные элементы алгоритмов JPEG, MPEG/H.26x.
- Локально-стационарный анализ изображения, проблема локализации сигнала для оптимальной фильтрации. Интегральное оконное преобразование Фурье (ОПФ). Функция окна, ее локализация в пространственной и временной областях. Кратковременное Преобразование Фурье. Выбор оптимальной функция окна на основе принципа неопределенности.
- Оконное преобразование Фурье. Прямое и обратное преобразование Габора, его пространственно-частотные свойства. Примеры использования преобразования Габора в прикладных системах.
- Проблема одновременной локализации масштаба и положения сигнала. Интегральное вейвлет-преобразование (ИВП), базисная фейвлет-функция, условие допустимости базисного вейвлета, локализация вейвлет-функции в пространственной и частотной областях. Примеры базисных вейвлетов.
- Дискретное вейвлет-преобразование (ДВП). Условие устойчивости для восстановления функции по множеству базисных вейвлетов, фреймы. Разложение функции по биортогональной системе базисных вейвлетов. Примеры базисных фейвлетов: вейвлет Морле, производные функции Гаусса, DOG, вейвлеты Хаара.
- Кратномасштабный анализ. Гауссовская и лапласовская пирамида. Вложенность масштабирующих подпространств, масштабирующая и вейвлетные функции. Кратномасштабный анализ на примере вейвлетов Хаара.
- Теория согласованной фильтрации для обнаружения сигналов/объектов на изображении на основе сопоставления с эталоном. Оператор декорреляции в согласованной фильтрации, сопоставление в пространстве признаков. Пространство признаков для марковской модели. Теорема о корреляции, применение ДПФ для поиска паттерна.
- Дескрипторы изображения для задач анализа изображения в пространстве признаков. Выделение контура, краев: операторы Прюитта, Собеля, Кэнни. Параметризация прямых на основе преобразования Хафа. Дескрипторы HOG, LBP. Обобщение дескриптора HOG на основе преобразования Хафа. Многомасштабные дескрипторы Габора. Привязка изображений по дескрипторам.
- Метрика расстояния в признаковом пространстве для привязки объектов. Оценка движения объекта и слежение по измерениям признаков. Фильтр Калмана.
- Оптические потоки. Алгоритмы Лукаса-Канаде, Хорна-Шунка.
- Основы нейросетевого распознавания изображений. Обзор основных архитектур нейросетевых моделей: сверточная ResNet модель для классификации и регрессии, AE и VAE для реконструкции и импаинтинга, UNET для сегментации, R-CNN и Yola для детекции, ViT модели на основе трансформера, RAFT для оптических потоков.
- Основы генеративных и многомодальных нейросетевых моделей для генерации изображений: GAN и StyleGAN для генерации, нормализующие потоки и латентные диффузионные модели для генерации с обуславливанием.
См. также