Работа с BigData в облаках. Обработка и хранение данных с примерами из Microsoft Azure

Перед вами – первая исходно русскоязычная книга, в которой на реальных примерах рассматриваются секреты обработки больших данных (Big Data) в облаках. Основное внимание уделено решениям Microsoft Azure и AWS. Рассматриваются все этапы работы – получение данных, подготовленных для обработки в облаке, использование облачных хранилищ, облачных инструментов анализа данных. Особое внимание уделено службам SAAS, продемонстрированы преимущества облачных технологий по сравнению с решениями, развернутыми на выделенных серверах или в виртуальных машинах. Книга рассчитана на широкую аудиторию и послужит превосходным ресурсом для освоения Azure, Docker и других незаменимых технологий, без которых немыслим современный энтерпрайз. Оглавление Введение Благодарности Часть I. Общие вопросы и понятия Глава 1. Что такое облако 1.1. Общие сведения 1.2. Способы создания ресурсов в облаке 1.3. Безопасность облачных ресурсов 1.4. Резюме Глава 2. Что такое BigData 2.1. Обработка больших данных 2.2. Резюме Глава 3. Архитектура облачных систем, оперирующих BigData 3.1. Общие сведения 3.2. Архитектуры традиционных информационных систем 3.3. Бессерверные архитектуры 3.4. Описание примера 3.5. Резюме Часть II. Хранение BigData в облаке Глава 4. Хранилища общего назначения 4.1. Общие сведения 4.2. Форматы хранения данных 4.3. Облачное хранилище Microsoft Azure Storage 4.4. Облачные хранилища AWS 4.5. Резюме Глава 5. Реляционные базы данных 5.1. Общие сведения о реляционных базах данных 5.2. Azure SQL 5.3. AWS RDS 5.4. Резюме Глава 6. Нереляционные базы данных 6.1. Общий обзор баз данных NoSQL 6.2. Сервисы нереляционных баз данных от Azure 6.3. Сервисы нереляционных баз данных от AWS 6.4. Резюме Глава 7. Реляционные хранилища больших DWH 7.1. Общий обзор реляционных хранилищ данных 7.2. Azure SQL DWH 7.3. AWS RedShift 7.4. Резюме Глава 8. Хранилища данных типа Data Lake 8.1. Общий обзор специализированных облачных хранилищ больших данных 8.2. Azure Data Lake Store 8.3. AWS Data Lake Solutions 8.4. Резюме Часть III. Доставка BigData в облако Глава 9. Прямая загрузка данных 9.1. Доставка данных в облачное хранилище общего назначения 9.2. Доставка данных в реляционные БД и хранилища 9.3. Доставка данных в нереляционные базы данных 9.4. Доставка данных в HDFS-совместимые хранилища 9.5. Резюме Глава 10. Прямая загрузка потоковых данных 10.1. Общая архитектура 10.2. Azure Event Hub 10.3. AWS Kinesis Data Streams 10.4. Облачные сервисы развертывания кластерных систем 10.5. Резюме Глава 11. Облачные сервисы копирования и трансформации данных 11.1. Общие понятия 11.2. Azure Data Factory 11.3. AWS Data Pipeline 11.4. AWS Glue 11.5. Резюме Часть IV. Анализ BigData в облаке Глава 12. Интерактивный анализ данных 12.1. Общие сведения об интерактивном анализе данных 12.2. Анализ реляционных данных 12.3. Azure Data Lake Analytics 12.4. AWS Athena 12.5. Apache Spark 12.6. Встроенные редакторы запросов сервиса CosmosDB 12.7. Резюме Глава 13. Потоковый анализ данных 13.1. Общие сведения 13.2. Azure Stream Analytics 13.3. Amazon Kinesis Analytics 13.4. Apache Storm 13.5. Резюме Глава 14. Пакетный анализ данных 14.1. Общие сведения о пакетном анализе данных 14.2. Hadoop 14.3. Apache Pig 14.4. Apache Hive 14.5. Резюме Заключение