Компьютерное зрение. Современные методы и перспективы развития

Advanced Methods and Deep Learning in Computer Vision presents advanced computer vision methods, emphasizing machine and deep learning techniques that have emerged during the past 5–10 years. The book provides clear explanations of principles and algorithms supported with applications. Topics covered include machine learning, deep learning networks, generative adversarial networks, deep reinforcement learning, self-supervised learning, extraction of robust features, object detection, semantic segmentation, linguistic descriptions of images, visual search, visual tracking, 3D shape retrieval, image inpainting, novelty and anomaly detection. This book provides easy learning for researchers and practitioners of advanced computer vision methods, but it is also suitable as a textbook for a second course on computer vision and deep learning for advanced undergraduates and graduate students. Provides an important reference on deep learning and advanced computer methods that was created by leaders in the field Illustrates principles with modern, real-world applications Suitable for self-learning or as a text for graduate courses От издательства Список соавторов О редакторах Предисловие Глава 1. Кардинальные перемены в области компьютерного зрения 1.1. Введение. Компьютерное зрение и его история 1.2. Часть A. Обзор операторов низкоуровневой обработки изображений 1.2.1. Основы обнаружения краев 1.2.2. Оператор Кэнни 1.2.3. Обнаружение сегмента линии 1.2.4. Оптимизация чувствительности обнаружения 1.2.5. Работа с изменениями интенсивности фона 1.2.6. Теория, сочетающая согласованный фильтр и конструкции с нулевым средним 1.2.7. Структура маски (дополнительные соображения) 1.2.8. Обнаружение угла 1.2.9. Оператор «особой точки» Харриса 1.3. Часть B. Локализация и распознавание двухмерных объектов 1.3.1. Подход к анализу формы на основе центроидного профиля 1.3.2. Схемы обнаружения объектов на основе преобразования Хафа 1.3.3. Применение преобразования Хафа для обнаружения линий 1.3.4. Использование RANSAC для обнаружения линий 1.3.5. Теоретико-графовый подход к определению положения объекта 1.3.6. Использование обобщенного преобразования Хафа для экономии вычислений 1.3.7. Подходы на основе частей 1.4. Часть C. Расположение трехмерных объектов и важность неизменности 1.4.1. Введение в трехмерное зрение 1.4.2. Неоднозначность положения при перспективной проекции 1.4.3. Инварианты как помощь в трехмерном распознавании 1.4.4. Кросс-коэффициенты: концепция «отношения коэффициентов» 1.4.5. Инварианты для неколлинеарных точек 1.4.6. Обнаружение точки схода 1.4.7. Подробнее о точках схода 1.4.8. Промежуточный итог: значение инвариантов 1.4.9. Преобразование изображения для калибровки камеры 1.4.10. Калибровка камеры 1.4.11. Внутренние и внешние параметры 1.4.12. Многоракурсное зрение 1.4.13. Обобщенная геометрия стереозрения 1.4.14. Существенная матрица 1.4.15. Фундаментальная матрица 1.4.16. Свойства существенной и фундаментальной матриц 1.4.17. Расчет фундаментальной матрицы 1.4.18. Усовершенствованные методы триангуляции 1.4.19. Достижения и ограничения многоракурсного зрения 1.5. Часть D. Отслеживание движущихся объектов 1.5.1. Основные принципы отслеживания 1.5.2. Альтернативы вычитанию фона 1.6. Часть E. Анализ текстур 1.6.1. Введение 1.6.2. Основные подходы к анализу текстур 1.6.3. Метод Лоуза на основе энергии текстуры 1.6.4. Метод собственного фильтра Аде 1.6.5. Сравнение методов Лоуза и Аде 1.6.6. Последние разработки 1.7. Часть F. От искусственных нейронных сетей к методам глубокого обучения 1.7.1. Введение: как ИНС превратились в СНС 1.7.2. Параметры, определяющие архитектуру CNN 1.7.3. Архитектура сети AlexNet 1.7.4. Архитектура сети VGGNet Симоняна и Зиссермана 1.7.5. Архитектура DeconvNet 1.7.6. Архитектура SegNet 1.7.7. Применение глубокого обучения для отслеживания объектов 1.7.8. Применение глубокого обучения в классификации текстур 1.7.9. Анализ текстур в мире глубокого обучения 1.8. Часть G. Заключение Благодарности Литературные источники Об авторе главы Глава 2. Современные методы робастного обнаружения объектов 2.1. Введение 2.2. Предварительные положения 2.3. R-CNN 2.3.1. Внутреннее устройство 2.3.2. Обучение 2.4. Сеть SPP-Net 2.5. Сеть Fast R-CNN 2.5.1. Архитектура 2.5.2. Пулинг ROI 2.5.3. Многозадачная функция потери Классификация Регрессия ограничивающей рамки 2.5.4. Стратегия тонкой настройки 2.6. Faster R-CNN 2.6.1. Архитектура 2.6.2. Сети прогнозирования регионов 2.7. Каскадная R-CNN 2.7.1. Каскадная архитектура R-CNN 2.7.2. Каскадная регрессия ограничивающей рамки 2.7.3. Каскадное обнаружение 2.8. Представление разномасштабных признаков 2.8.1. Архитектура МС-CNN 2.8.1.1. Архитектура 2.8.2. Сеть FPN 2.8.2.1. Архитектура 2.9. Архитектура YOLO 2.10. Сеть SSD 2.10.1. Архитектура 2.10.2. Обучение 2.11. RetinaNet 2.11.1. Фокальная потеря 2.12. Производительность детекторов объектов 2.13. Заключение Литературные источники Об авторах главы Глава 3. Обучение с ограниченным подкреплением – статические и динамические задачи 3.1. Введение 3.2. Контекстно-зависимое активное обучение 3.2.1. Активное обучение 3.2.2. Важность контекста активного обучения 3.2.3. Фреймворк контекстно-зависимого активного обучения 3.2.4. Практическое применение 3.3. Локализация событий при слабой разметке 3.3.1. Архитектура сети 3.3.2. k-max множественное обучение 3.3.3. Сходство совместных действий 3.3.4. Практическая реализация 3.4. Семантическая сегментация с использованием слабой разметки 3.4.1. Слабые метки для классификации категорий 3.4.2. Слабые метки для выравнивания признаков 3.4.3. Оптимизация сети 3.4.4. Получение слабой разметки 3.4.5. Применения 3.4.6. Визуализация выходного пространства 3.5. Обучение с подкреплением со слабой разметкой для динамических задач 3.5.1. Обучение прогнозированию подцелей 3.5.2. Предварительное обучение с учителем 3.5.3. Практическое применение 3.6. Выводы Благодарности Литературные источники Об авторах главы Глава 4. Эффективные методы глубокого обучения 4.1. Сжатие модели 4.1.1. Прореживание параметров 4.1.2. Низкоранговая факторизация 4.1.3. Квантование 4.1.4. Дистилляция знаний 4.1.5. Автоматическое сжатие модели 4.2. Эффективные архитектуры нейронных сетей 4.2.1. Стандартный сверточный слой 4.2.2. Эффективные сверточные слои 4.2.3. Разработанные вручную эффективные модели CNN 4.2.4. Поиск нейронной архитектуры 4.2.5. Поиск нейронной архитектуры, ориентированной на оборудование 4.3. Заключение Литературные источники Глава 5. Условная генерация изображений и управляемая генерация визуальных паттернов 5.1. Введение 5.2. Изучение визуальных паттернов: краткий исторический обзор 5.3. Классические генеративные модели 5.4. Глубокие генеративные модели 5.5. Глубокая условная генерация изображений 5.6. Разделенные представления в управляемом синтезе паттернов 5.6.1. Разделение визуального содержания и стиля 5.6.2. Разделение структуры и стиля 5.6.3. Разделение личности и атрибутов 5.7. Заключение Литературные источники Глава 6. Глубокое распознавание лиц с использованием полных и частичных изображений 6.1. Введение 6.1.1. Модели глубокого обучения 6.2. Компоненты системы глубокого распознавания лиц 6.2.1. Пример обученной модели CNN для распознавания лиц 6.3. Распознавание лиц с использованием полных изображений лица 6.3.1. Проверка подобия с использованием модели FaceNet 6.4. Глубокое распознавание неполных изображений лица 6.5. Обучение специальной модели для полных и частичных изображений лица 6.5.1. Предлагаемая архитектура модели 6.5.2. Фаза обучения модели 6.6. Заключение Литературные источники Об авторе главы Глава 7. Адаптация домена с использованием неглубоких и глубоких нейросетей, обучаемых без учителя 7.1. Введение 7.2. Адаптация домена с использованием многообразия 7.2.1. Адаптация домена без учителя с использованием произведения многообразий 7.3. Адаптация домена без учителя с использованием словарей 7.3.1. Общий словарь доменной адаптации 7.3.2. Совместная иерархическая адаптация домена и изучение признаков 7.3.3. Инкрементное изучение словаря для адаптации предметной области без учителя 7.4. Адаптация домена с использованием глубоких сетей, обучаемых без учителя 7.4.1. Дискриминационные подходы к адаптации предметной области 7.4.2. Генеративные подходы к адаптации домена 7.5. Заключение Литературные источники Об авторах главы Глава 8. Адаптация домена и непрерывное обучение семантической сегментации 8.1. Введение 8.1.1. Формальная постановка задачи 8.2. Адаптация домена без учителя 8.2.1. Формулировка задачи адаптации домена 8.2.2. Основные подходы к адаптации 8.2.2.1. Адаптация на входном уровне 8.2.2.2. Адаптация на уровне признаков 8.2.2.3. Адаптация на уровне выхода 8.2.3. Методы адаптации домена без учителя 8.2.3.1. Состязательная адаптация домена 8.2.3.2. Генеративная адаптация 8.2.3.3. Несоответствие классификатора 8.2.3.4. Самостоятельное обучение 8.2.3.5. Многозадачность 8.3. Непрерывное обучение 8.3.1. Формулировка задачи непрерывного обучения 8.3.2. Особенности непрерывного обучения в семантической сегментации 8.3.3. Методы поэтапного обучения 8.3.3.1. Дистилляция знаний 8.3.3.2. Замораживание параметров 8.3.3.3. Геометрическая регуляризация на уровне признаков 8.3.3.4. Новые направления 8.4. Заключение Благодарности Литературные источники Об авторах главы Глава 9. Визуальное отслеживание движущихся объектов 9.1. Введение 9.1.1. Определение задачи отслеживания 9.1.2. Затруднения при отслеживании 9.1.3. Обоснование методики 9.1.4. Историческая справка 9.2. Методы на основе шаблонов 9.2.1. Основы 9.2.2. Показатели качества модели 9.2.3. Нормализованная кросс-корреляция 9.2.4. Чисто фазовый согласованный фильтр 9.3. Методы последовательного обучения 9.3.1. Фильтр MOSSE 9.3.2. Дискриминативные корреляционные фильтры 9.3.3. Подходящие признаки для DCF 9.3.4. Отслеживание в масштабном пространстве 9.3.5. Пространственное и временное взвешивание 9.4. Методы, основанные на глубоком обучении 9.4.1. Глубокие признаки в DCF 9.4.2. Адаптивные глубокие признаки 9.4.3. DCF сквозного обучения 9.5. Переход от отслеживания к сегментации 9.5.1. Сегментация видеообъектов 9.5.2. Генеративный метод VOS 9.5.3. Дискриминативный метод VOS 9.6. Выводы Благодарности Литературные источники Об авторе главы Глава 10. Длительное отслеживание объекта на основе глубокого обучения 10.1. Введение 10.1.1. Трудности отслеживания видеообъектов 10.1.1.1. Видовые проблемы отслеживания 10.1.1.2. Проблемы машинного обучения при отслеживании 10.1.1.3. Технические проблемы при отслеживании 10.2. Краткосрочное визуальное отслеживание объекта 10.2.1. Неглубокие трекеры 10.2.2. Глубокие трекеры 10.2.2.1. Отслеживание на основе корреляционного фильтра 10.2.2.2. Отслеживание на основе некорреляционных фильтров 10.3. Долгосрочное визуальное отслеживание объекта 10.3.1. Устаревание модели при длительном отслеживании 10.3.2. Исчезновение и повторное появление цели 10.3.3. Долгосрочные трекеры 10.3.3.1. Предварительное обучение и сиамские трекеры 10.3.4. Инвариантность и эквивариантность представления 10.3.4.1. Инвариантность при отслеживании 10.3.4.2. Эквивариантность при отслеживании 10.3.4.3. Эквивариантность переноса 10.3.4.4. Эквивариантность вращения 10.3.4.5. Эквивариантность масштаба 10.3.4.6. Эффективность сиамских трекеров 10.3.4.7. Гибридное обучение с сиамскими трекерами 10.3.4.8. Последовательное обучение помимо сиамских трекеров 10.3.5. Наборы данных и тесты 10.4. Заключение Литературные источники Об авторах главы Глава 11. Обучение пониманию сцены на основании действий 11.1. Введение 11.2. Аффордансы объектов 11.2.1. Зачем аффордансы нужны компьютерному зрению? 11.2.2. Первые исследования на тему аффордансов 11.2.3. Обнаружение, классификация и сегментация аффордансов 11.2.3.1. Обнаружение аффордансов по геометрическим признакам 11.2.3.2. Семантическая сегментация и классификация по изображениям 11.2.4. Аффорданс в контексте распознавания действий и обучения роботов 11.2.4.1. Распознавание действий 11.2.4.2. Изучение аффордансов в зрении роботов 11.2.5. Промежуточный итог – изучение аффордансов 11.3. Функциональный анализ манипуляций 11.3.1. Активное взаимодействие между познанием и восприятием 11.3.2. Грамматика действий 11.3.2.1. Различные реализации грамматики 11.3.2.2. Являются ли грамматики выразительными и лаконичными описаниями? 11.3.3. Модули для понимания действий 11.3.3.1. Захватывание: важный признак для понимания действий 11.3.3.2. Геометрические факторы для робастизации 11.3.4. Проблематика понимания деятельности 11.4. Понимание функциональной сцены посредством глубокого обучения с помощью языка и зрения 11.4.1. Атрибуты в обучении без ознакомления 11.4.2. Общие пространства для встраивания 11.4.3. Построение семантических векторных пространств 11.4.3.1. word2vec 11.4.4. Общие пространства представления и графовые модели 11.5. Перспективные направления исследований 11.6. Выводы Благодарности Литературные источники Об авторах главы Глава 12. Сегментация событий во времени с использованием когнитивного самообучения 12.1. Введение 12.2. Теория сегментации событий в когнитивной науке 12.3. Вариант 1: однопроходная сегментация во времени с использованием предсказания 12.3.1. Извлечение и кодирование признаков 12.3.2. Рекуррентное прогнозирование для прогнозирования признаков 12.3.3. Реконструкция признаков 12.3.4. Функция потерь при самообучении 12.3.5. Механизм стробирования на основе ошибок 12.3.6. Адаптивное обучение для повышения робастности 12.3.7. Промежуточный итог 12.3.7.1. Наборы данных 12.3.7.2. Метрики оценки 12.3.7.3. Вариативные исследования 12.3.7.4. Количественная оценка 12.3.7.5. Качественная оценка 12.4. Вариант 2: сегментация с использованием моделей событий на основе внимания 12.4.1. Извлечение признаков 12.4.2. Модуль внимания 12.4.3. Функция потерь, взвешенная по движению 12.4.4. Результаты 12.4.4.1. Набор данных 12.4.4.2. Критерии оценки 12.4.4.3. Вариативные исследования 12.4.4.4. Количественная оценка 12.4.4.5. Качественная оценка 12.5. Вариант 3: пространственно-временная локализация с использованием карты предсказательных потерь 12.5.1. Извлечение признаков 12.5.2. Иерархический стек предсказания 12.5.3. Потеря предсказания 12.5.4. Извлечение каналов действий 12.5.5. Результаты 12.5.5.1. Данные 12.5.5.2. Показатели и базовые уровни 12.5.5.3. Количественная оценка 12.5.5.4. Качественная оценка 12.6. Другие подходы к сегментации событий в компьютерном зрении 12.6.1. Методы на основе обучения с учителем 12.6.2. Методы на основе частичного обучения с учителем 12.6.3. Методы на основе обучения без учителя 12.6.4. Методы на основе самообучения 12.7. Выводы Благодарности Литературные источники Об авторах главы Глава 13. Вероятностные методы обнаружения аномалий в данных временных рядов 13.1. Введение 13.2. Базовые понятия и текущее положение дел 13.2.1. Генеративные модели 13.2.2. Модели динамической байесовской сети (DBN) 13.2.3. Вариационный автокодировщик 13.2.4. Типы аномалий и методы обнаружения аномалий 13.2.5. Обнаружение аномалий в данных низкой размерности 13.2.6. Обнаружение аномалий в многомерных данных 13.3. Архитектура вычисления аномалии в самосознательных системах 13.3.1. Общее описание архитектуры 13.3.2. Модель обобщенной динамической байесовской сети (GDBN) 13.3.3. Алгоритм логического вывода в реальном времени 13.3.4. Измерения мультимодальных аномалий 13.3.4.1. Дискретный уровень 13.3.4.2. Непрерывный уровень 13.3.4.3. Уровень наблюдения 13.3.5. Использование обобщенных ошибок для непрерывного обучения 13.4. Пример: обнаружение аномалий в мультисенсорных данных от автомобиля с самосознанием 13.4.1. Описание условий эксперимента 13.4.2. Обучение модели DBN 13.4.3. Многоуровневое обнаружение аномалий 13.4.3.1. Задача объезда пешеходов 13.4.3.2. Задача разворота 13.4.3.3. Аномалии на уровне изображения 13.4.3.4. Оценка обнаружения аномалий 13.4.4. Аномалии проприоцептивных сенсорных данных 13.4.5. Дополнительные результаты 13.5. Выводы Литературные источники Об авторах главы Глава 14. Методы PnP и глубокой развертки для восстановления изображения 14.1. Введение 14.2. Алгоритм полуквадратичного разделения (HQS) 14.3. Глубокое восстановление изображения по методу PnP 14.3.1. Предварительное изучение глубокого шумоподавителя CNN 14.3.1.1. Шумоподавляющая сетевая архитектура 14.3.2. Методика обучения 14.3.3. Результаты удаления шума 14.3.3.1. Удаление шума с изображений в градациях серого 14.3.3.2. Удаление шума с цветного изображения 14.3.4. Алгоритм HQS для PnP IR 14.3.4.1. Алгоритм полуквадратичного разделения (HQS) 14.3.4.2. Общая методика настройки параметров 14.3.4.3. Периодический геометрический самосогласованный ансамбль 14.4. Восстановление изображения методом глубокой развертки 14.4.1. Сеть глубокой развертки 14.4.1.1. Модуль данных D 14.4.1.2. Модуль приора P 14.4.1.3. Модуль гиперпараметров H 14.4.2. Сквозное обучение 14.5. Эксперименты 14.5.1. Устранение размытия изображения 14.5.1.1. Количественные и качественные результаты 14.5.1.3. Промежуточные результаты 14.5.2. Сверхразрешение одиночного изображения (SISR) 14.5.2.1. Количественное и качественное сравнение 14.6. Заключение Благодарности Литературные источники Об авторах главы Глава 15. Атаки на визуальные системы и защита от злоумышленников 15.1. Введение 15.2. Определение проблемы 15.3. Свойства состязательной атаки 15.4. Типы возмущений 15.5. Сценарии атаки 15.5.1. Целевые модели 15.5.1.1. Модели для задач, связанных с изображениями 15.5.1.2. Модели для видеозадач 15.5.2. Наборы данных и метки 15.5.2.1. Наборы данных изображений 15.5.2.2. Наборы видеоданных 15.6. Обработка изображений 15.7. Классификация изображений 15.7.1. Белый ящик, ограниченные атаки 15.7.2. Белый ящик, атаки на основе контента 15.7.3. Атаки методом черного ящика 15.8. Семантическая сегментация и обнаружение объектов 15.9. Отслеживание объекта 15.10. Классификация видео 15.11. Защита от состязательных атак противника 15.11.1. Обнаружение атаки 15.11.2. Маскировка градиента 15.11.3. Устойчивость модели 15.12 Выводы Благодарность Литературные источники Об авторах главы Предметный указатель Front Cover -- Advanced Methods and Deep Learning in Computer Vision -- Copyright -- Contents -- List of contributors -- About the editors -- Preface -- 1 The dramatically changing face of computer vision -- 1.1 Introduction - computer vision and its origins -- 1.2 Part A - Understanding low-level image processing operators -- 1.2.1 The basics of edge detection -- 1.2.2 The Canny operator -- 1.2.3 Line segment detection -- 1.2.4 Optimizing detection sensitivity -- 1.2.5 Dealing with variations in the background intensity -- 1.2.6 A theory combining the matched filter and zero-mean constructs -- 1.2.7 Mask design-other considerations -- 1.2.8 Corner detection -- 1.2.9 The Harris `interest point' operator -- 1.3 Part B - 2-D object location and recognition -- 1.3.1 The centroidal profile approach to shape analysis -- 1.3.2 Hough-based schemes for object detection -- 1.3.3 Application of the Hough transform to line detection -- 1.3.4 Using RANSAC for line detection -- 1.3.5 A graph-theoretic approach to object location -- 1.3.6 Using the generalized Hough transform (GHT) to save computation -- 1.3.7 Part-based approaches -- 1.4 Part C - 3-D object location and the importance of invariance -- 1.4.1 Introduction to 3-D vision -- 1.4.2 Pose ambiguities under perspective projection -- 1.4.3 Invariants as an aid to 3-D recognition -- 1.4.4 Cross ratios: the `ratio of ratios' concept -- 1.4.5 Invariants for noncollinear points -- 1.4.6 Vanishing point detection -- 1.4.7 More on vanishing points -- 1.4.8 Summary: the value of invariants -- 1.4.9 Image transformations for camera calibration -- 1.4.10 Camera calibration -- 1.4.11 Intrinsic and extrinsic parameters -- 1.4.12 Multiple view vision -- 1.4.13 Generalized epipolar geometry -- 1.4.14 The essential matrix -- 1.4.15 The fundamental matrix -- 1.4.16 Properties of the essential and fundamental matrices Advanced Methods And Deep Learning In Computer Vision Presents Advanced Computer Vision Methods, Emphasising Machine And Deep Learning Techniques That Have Come To The Fore During The Past 5-10 Years. It Provides Clear Explanations Of Principles And Their Algorithms Supported By Applications To Demonstrate How Vital Methods And Techniques Have Been Put Into Practice. Classical Topics Are Presented And Taken Further By Emerging Techniques; For Example, The Impact Of Learning Machines And Dnns In 3d Vision And Motion. This Book Provides Easy Learning For The Researcher And Practitioner Of Advanced Computer Vision Methods, And Is A Suitable Textbook For A Second Course On Computer Vision, Or A Deep Learning Course, For The Advanced Undergraduate And Graduate Student. Topics Include: Achine Learning; Deep Learning Networks; Generative Adversarial Networks; Deep Reinforcement Learning; Self-supervised Learning; Extraction Of Robust Features; Object Detection; Semantic Segmentation; Linguistic Descriptions Of Images; Visual Search; Visual Tracking; 3d Shape Retrieval; Image Inpainting; Novelty And Anomaly Detection. A Reference On Deep Learning And Advanced Computer Methods By Leading People In The Field Illustrates The Principles With Modern, Real World Applications Suitable Self-learning And As A Text For Graduate Courses