Машинное зрение. Основы и алгоритмы с примерами на Matlab

This textbook offers a tutorial introduction to robotics and Computer Vision which is light and easy to absorb. The practice of robotic vision involves the application of computational algorithms to data. Over the fairly recent history of the fields of robotics and computer vision a very large body of algorithms has been developed. However this body of knowledge is something of a barrier for anybody entering the field, or even looking to see if they want to enter the field — What is the right algorithm for a particular problem?, and importantly: How can I try it out without spending days coding and debugging it from the original research papers? The author has maintained two open-source MATLAB Toolboxes for more than 10 years: one for robotics and one for vision. The key strength of the Toolboxes provide a set of tools that allow the user to work with real problems, not trivial examples. For the student the book makes the algorithms accessible, the Toolbox codecan be read to gain understanding, and the examples illustrate how it can be used —instant gratification in just a couple of lines of MATLAB code. The code can also be the starting point for new work, for researchers or students, by writing programs based on Toolbox functions, or modifying the Toolbox code itself. The purpose of this book is to expand on the tutorial material provided with the toolboxes, add many more examples, and to weave this into a narrative that covers robotics and computer vision separately and together. The author shows how complex problems can be decomposed and solved using just a few simple lines of code, and hopefully to inspire up and coming researchers. The topics covered are guided by the real problems observed over many years as a practitioner of both robotics and computer vision. It is written in a light but informative style, it is easy to read and absorb, and includes a lot of Matlab examples and figures. The book is a real walk through the fundamentals light and color, camera modelling, image processing, feature extraction and multi-view geometry, and bring it all together in a visual servo system. “An authoritative book, reaching across fields, thoughtfully conceived and brilliantly accomplished Oussama Khatib, Stanford Вступительное слово редакторов Вступительное слово ко второму изданию Предисловие Примечание ко второму изданию Специальные обозначения Глава 1. Введение 1.1 О книге 1.1.1 Программное обеспечение MATLAB и наборы инструментов 1.1.2 Условные обозначения, соглашения и структура книги 1.1.3 Целевая аудитория 1.1.4 Обучение с по­мощью книги 1.1.5 Преподавание с по­мощью книги 1.1.6 Структура книги Дополнительное чтение Часть I. Основы Глава 2. Представление позиции и ориентации 2.1 Работа в двух измерениях (2D) 2.1.1 Ориентация в двух измерениях 2.1.2 Положение в двух измерениях 2.2 Работа в трех измерениях (3D) 2.2.1 Ориентация в трех измерениях 2.2.2 Положение в трех измерениях 2.3 Дополнительные темы 2.3.1 Нормализация 2.3.2 Понятие экспоненциального отображения 2.3.3 Подробнее о кручениях 2.3.4 Производная положения 2.3.5 Преобразование пространственных скоростей 2.3.6 Вращение, задаваемое в приращениях 2.3.7 Движение твердого тела, задаваемое в приращениях 2.4 Использование Toolbox 2.5 Подведение итогов Дополнительное чтение Упражнения Часть II. Компьютерное зрение Глава 3. Свет и цвет 3.1 Спектральное представление света 3.1.1 Поглощение 3.1.2 Отражение 3.1.3 Яркость 3.2 Цвет 3.2.1 Человеческий глаз 3.2.2 Измерение цвета 3.2.3 Воспроизведение цветов 3.2.4 Цветовое пространство 3.2.5 Названия цветов 3.2.6 Другие цветовые и хроматические пространства 3.2.7 Преобразование между различными основными цветами 3.2.8 Что такое белый цвет? 3.3 Дополнительные темы 3.3.1 Цветовая температура 3.3.2 Постоянство цвета 3.3.3 Баланс белого 3.3.4 Изменение цвета из-за поглощения 3.3.5 Двухцветное отражение 3.3.6 Гамма 3.4 Применение: цветное изображение 3.4.1 Сравнение цветовых пространств [examples/colorspaces] 3.4.2 Удаление теней [examples/shadow] 3.5 Подведение итогов Дополнительное чтение Источники данных Упражнения Глава 4. Изображения и их обработка 4.1 Получение изображения 4.1.1 Изображения из файлов 4.1.2 Изображения с подключенной камеры 4.1.3 Изображения из видеофайла 4.1.4 Изображения из интернета 4.1.5 Изображения с карт 4.1.6 Изображения из кода 4.2 Гистограммы изображений 4.3 Монадические операции 4.4 Диадические операции 4.5 Пространственные операции 4.5.1 Линейная пространственная фильтрация 4.5.2 Сравнение с шаблоном 4.5.3 Нелинейные операции 4.6 Математическая морфология 4.6.1 Удаление шума 4.6.2 Обнаружение границы 4.6.3 Преобразование «попадание или промах» 4.6.4 Преобразование расстояния [examples/chamfer_match.m] 4.7 Изменение формы 4.7.1 Обрезка 4.7.2 Изменение размера изображения 4.7.3 Пирамиды изображений 4.7.4 Деформация изображения 4.8 Подведение итогов Дополнительное чтение Источники изображений Примечания к MATLAB Программные инструменты общего назначения Упражнения Глава 5. Извлечение признаков изображения 5.1 Получение признаков из области 5.1.1 Классификация 5.1.2 Оформление 5.1.3 Описание 5.1.4 Промежуточный итог 5.2 Признаки, извлекаемые из линий 5.2.1 Промежуточный итог 5.3 Признаки, извлекаемые из точек 5.3.1 Классические детекторы углов 5.3.2 Угловые детекторы в масштабируемом пространстве 5.4 Подведение итогов Примечания к MATLAB Дополнительное чтение Упражнения Часть III. Геометрия зрения Глава 6. Формирование изображения 6.1 Перспективная камера 6.1.1 Перспективная проекция 6.1.2 Моделирование перспективной камеры 6.1.3 Дискретная плоскость изображения 6.1.4 Матрица камеры 6.1.5 Точки проекции 6.1.6 Дисторсия объектива 6.2 Калибровка камеры 6.2.1 Метод гомогенного преобразования 6.2.2 Разложение калибровочной матрицы камеры 6.2.3 Вычисление положения 6.2.4 Инструменты для калибровки камеры 6.3 Изображения с широким полем зрения 6.3.1 Камера с объективом «рыбий глаз» 6.3.2 Катадиоптрическая камера 6.3.3 Сферическая камера 6.4 Унифицированная модель формирования изображений 6.4.1 Сопоставление широкоугольных изображений со сферой 6.4.2 Преобразование сферического изображения в перспективное 6.5 Новые типы камер 6.5.1 Многокамерные массивы 6.5.2 Камеры светового поля 6.6 Дополнительные темы 6.6.1 Проецирование произвольных линий в трехмерном пространстве 6.6.2 Неперспективные камеры 6.6.3 Камера и движение изображения 6.7 Подведение итогов Дополнительное чтение и ресурсы Примечания к инструментам Упражнения Глава 7. Использование нескольких изображений 7.1 Cовмещение признаков 7.2 Геометрия нескольких ракурсов 7.2.1 Фундаментальная матрица 7.2.2 Существенная матрица 7.2.3 Вычисление фундаментальной матрицы по данным реального изображения 7.2.4 Планарная гомография 7.3 Стереозрение 7.3.1 Разреженное стереозрение 7.3.2 Плотное стереосопоставление 7.3.3 Уточнение пика 7.3.4 Очистка и реконструкция 7.3.5 Отображение 3D-текстуры 7.3.6 Анаглифы 7.3.7 Исправление изображения 7.4 Пакетная подстройка 7.5 Облака точек 7.5.1 Поиск плоскости 7.5.2 Сопоставление двух наборов точек 7.6 Структурированный свет 7.7 Приложения 7.7.1 Коррекция перспективы 7.7.2 Мозаика [examples/mosaic] 7.7.3 Сопоставление и поиск изображений [examples/retrieval] 7.7.4 Визуальная одометрия [examples/vodemo] 7.8 Подведение итогов Примечания к MATLAB и Toolbox Дополнительное чтение Дополнительные ресурсы Упражнения Приложения Приложение A. Установка наборов инструментов Приложение B. Линейная алгебра: краткое повторение B.1 Векторы B.2 Матрицы Приложение С. Геометрия C.1 Евклидова геометрия C.2 Однородные координаты C.3 Геометрические преобразования Приложение D. Группы и алгебра Ли Приложение E. Линеаризация, якобианы и гессианы Приложение F. Решение систем уравнений F.1 Линейные задачи F.2 Нелинейные задачи Приложение G. Графы Приложение H. Определение пика Литература Предметный указатель This textbook provides a tutorial introduction to classical Computer Vision. It is written in a light but informative narrative style, and includes many figures and MATLAB examples. The book takes the reader through the fundamentals of light and color, image processing, feature extraction, image formation and camera modelling, and multi-view geometry. Advanced topics include non-perspective cameras, light-field cameras, calibration, stereo vision and bundle adjustment. The Machine Vision Toolbox for MATLAB is free and open software that enables the reader to easily bring the algorithmic concepts into practice and work with real, non-trivial, problems. For the beginning student the book makes the algorithms accessible, the Toolbox code can be read to gain understanding, and the examples illustrate how it can be used. The code can also be the starting point for new work, for researchers or students, by writing programs based on Toolbox functions, or modifying the Toolbox code itself