Масштабируемые данные. Лучшие шаблоны высоконагруженных архитектур

Предисловие Введение Для кого предназначена эта книга Что я узнаю? Структура издания Условные обозначения Благодарности От издательства Глава 1. Проблемы при управлении данными Управление данными Аналитика фрагментирует ландшафт данных Скорость доставки программного обеспечения меняется Сети становятся быстрее Приоритет — вопросы конфиденциальности и безопасности Необходимо интегрировать операционные системы и системы обработки транзакций Для монетизации данных требуется архитектура «от экосистемы к экосистеме» Предприятия обременены устаревшими архитектурами данных Корпоративное хранилище данных и бизнес-аналитика Озеро данных Централизованное представление Итоги главы Масштабируемая архитектура Глава 2. Введение в масштабируемую архитектуру: организация данных в масштабе Общепризнанные отправные точки У каждого приложения есть база данных Приложения специфичны и обладают уникальным контекстом Золотой источник Дилеммы интеграции данных не избежать Приложения играют роли поставщиков и потребителей данных Основные теоретические соображения Принципы объектно-ориентированного программирования Предметно-ориентированное проектирование Бизнес-архитектура Шаблоны связи и интеграции Двухточечная связь Разрозненные хранилища Лучевая модель Масштабируемая архитектура Золотые источники и хранилища данных предметной области Контракты на поставку данных и соглашения о совместном их использовании Устранение разрозненного подхода Предметно-ориентированное проектирование в масштабе предприятия Оптимизация данных для чтения Уровень данных как целостная картина Метаданные и целевая операционная модель Итоги главы Глава 3. Управление крупными объемами данных: архитектура хранилищ данных только для чтения Знакомство с архитектурой RDS Разделение ответственности за команды и запросы Что такое CQRS CQRS в масштабе Службы и компоненты хранилища данных только для чтения Метаданные Качество данных Уровни RDS Получение данных Интеграция готовых коммерческих решений Извлечение данных из внешних API и SaaS Служба ретроспективных данных Измерения только для добавления Варианты проектирования Репликация данных Уровень доступа Служба обработки файлов Служба уведомлений о доставке Служба удаления персональной информации Распределенная оркестрация Интеллектуальные службы потребления Заполнение RDS по запросу Рекомендации по использованию RDS Итоги главы Глава 4. Управление сервисами и API: архитектура API Знакомство с архитектурой API Что такое сервисно-ориентированная архитектура Интеграция корпоративных приложений Оркестрация сервиса Хореография сервиса Публичные и частные сервисы Модели сервисов и канонические модели данных Сходства между SOA и архитектурой корпоративного хранилища данных Современный взгляд на SOA Новая роль ESB Контракты на обслуживание Обнаружение сервисов Микросервисы Роль API-шлюза в микросервисах Функции Сервисная сетка Границы микросервисов Микросервисы в эталонной архитектуре API Коммуникация между экосистемами Каналы связи на основе API GraphQL Метаданные Использование RDS для чтения в реальном времени и активного чтения Итоги главы Глава 5. Управление событиями и ответами: потоковая архитектура Знакомство с потоковой архитектурой Асинхронная модель событий имеет значение Как выглядят событийно-ориентированные архитектуры Топология посредника Топология брокера Стили обработки событий Мягкое введение в Apache Kafka Распределенные данные о событиях Возможности Apache Kafka Потоковая архитектура Производители событий Потребители событий Платформа событий Источники событий и команд Модель управления Бизнес-потоки Шаблоны потребления потоковой передачи Перенос состояния при событии Роли RDS Использование потоковой передачи для заполнения RDS Элементы управления и политики для управления доменами Потоковая передача как операционный конвейер Гарантии и согласованность Уровень согласованности Обработка «Хотя бы один раз, ровно один раз и не больше одного раза» Порядок сообщений Очередь недоставленных сообщений Потоковое взаимодействие Метаданные для моделей управления и самообслуживания Итоги главы Глава 6. Соединение точек Кратко об архитектурах Архитектура RDS Архитектура API Архитектура потоковой передачи Усиливающие шаблоны Стандарты корпоративной совместимости Конечные точки устойчивых данных Контракты на доставку данных Доступные и адресуемые данные Принципы пересечения сетей Стандарты корпоративных данных Принципы оптимизации потребления Возможность обнаружения метаданных Семантическая согласованность Предоставление соответствующих метаданных Создание и перемещение данных Эталонная архитектура Итоги главы Глава 7. Управление данными и их безопасность Управление данными Организация: роли в управлении данными Процессы: деятельность по управлению данными Люди: доверительные и этические, социальные и экономические соображения Технологии: золотой источник, владение приложениями и их администрирование Данные: золотые источники, золотые наборы данных и классификации Безопасность данных Текущий разрозненный подход Единая защита данных для архитектур Поставщики удостоверений Эталонная архитектура безопасности и подход к контексту данных Процесс безопасности Практическое руководство Архитектура RDS Архитектура API Потоковая архитектура Интеллектуальный механизм обучения Итоги главы Глава 8. Превращение данных в ценность Модели потребления Прямое использование хранилищ данных только для чтения Хранилища данных домена Целевая операционная модель Специалисты по данным как целевая группа пользователей Бизнес-требования Нефункциональные требования Построение конвейера данных и модели данных Распространение интегрированных данных Возможности бизнес-аналитики Возможности самообслуживания Возможности аналитики Стандартная инфраструктура для автоматизированного развертывания Модели без сохранения состояния Предварительно настроенные рабочие места Стандартизация шаблонов интеграции моделей Автоматизация Метаданные модели Эталонная архитектура продвинутой аналитики Итоги главы Глава 9. Управление основными корпоративными данными Демистификация управления мастер-данными Стили управления основными данными Эталонная архитектура MDM Разработка решения для управления основными данными Распространение MDM Основные идентифицирующие номера Справочные и основные данные Определение области видимости корпоративных данных MDM и качество данных как услуга Курируемые данные Обмен метаданными Интегрированные представления Повторно используемые компоненты и логика интеграции Повторная публикация данных Связь с управлением данными Итоги главы Глава 10. Демократизация данных с помощью метаданных Управление метаданными Модель метаданных предприятия Граф корпоративных знаний Архитектурные подходы к управлению метаданными Совместимость метаданных Хранилища метаданных Площадка для обеспечения быстрого доступа к авторизованным данным Итоги главы Глава 11. Заключение Модель доставки Полностью децентрализованный подход Частично децентрализованный подход Структурирование команд Стратегия InnerSource Культура Выбор технологий Упадок традиционной архитектуры предприятия Чертежи и схемы Современные навыки Контроль и управление Глоссарий Об авторе Об обложке As data management and integration continue to evolve rapidly, storing all your data in one place, such as a data warehouse, is no longer scalable. In the very near future, data will need to be distributed and available for several technological solutions. With this practical book, you'll learnhow to migrate your enterprise from a complex and tightly coupled data landscape to a more flexible architecture ready for the modern world of data consumption. Executives, data architects, analytics teams, and compliance and governance staff will learn how to build a modern scalable data landscape using the Scaled Architecture, which you can introduce incrementally without a large upfront investment. Author Piethein Strengholt provides blueprints, principles, observations, best practices, and patterns to get you up to speed. Examine data management trends, including technological developments, regulatory requirements, and privacy concerns Go deep into the Scaled Architecture and learn how the pieces fit together Explore data governance and data security, master data management, self-service data marketplaces, and the importance of metadata As data management and integration continue to evolve rapidly, storing all your data in one place, such as a data warehouse, is no longer scalable. In the very near future, data will need to be distributed and available for several technological solutions. With this practical book, you'll learn how to migrate your enterprise from a complex and tightly coupled data landscape to a more flexible architecture ready for the modern world of data consumption. Executives, data architects, analytics teams, and compliance and governance staff will learn how to build a modern scalable data landscape using the Scaled architecture, which you can introduce incrementally without a large upfront investment. Author Piethein Strengholt provides blueprints, principles, observations, best practices, and patterns to get you up to speed.-- Source other than the Library of Congress