Storm: 大数据流式计算及应用实践

扉页 内 容 简 介 前 言 作者简介 目 录 第一篇基础篇流式数据处理概论 第1 章大数据环境下的云计算与物联网 1.1 云计算与物联网 1.1.1 云计算 1.1.2 物联网 1.2 大数据下的新挑战 1.2.1 大数据及其特征 1.2.2 大数据处理的技术挑战 1.3 本章小结 第2 章流式计算的理论与技术 2.1 流式数据与流式实时计算 2.1.1 流式数据 2.1.2 流式实时计算 2.2 流式数据处理的系统与应用 2.2.1 发展与挑战 2.2.2 Hadoop 2.0 生态圈 2.3 Storm 2.3.1 起源与发展:Twitter 的开源与影响 2.3.2 功能 2.3.3 特色:可扩展、可靠的分布式流式数据处理 2.4 其他开源流式数据处理系统 2.4.1 Yahoo S4 2.4.2 Spark Streaming 2.4.3 Facebook Puma 2.5 本章小结 第3 章实际案例:城市道路车辆数据的实时监控分析系统 3.1 背景与需求分析 3.1.1 背景 3.1.2 数据处理的业务需求 3.2 数据处理系统的架构设计与技术选型 3.2.1 架构设计 3.2.2 技术选型 3.3 本章小结 第二篇 系统篇流式数据处理系统Storm 的基础原理 第4 章Storm 的系统架构 4.1 系统架构与部署模式 4.1.1 系统架构 4.1.2 单机/分布式部署 4.1.3 本地模式 4.2 系统节点 4.2.1 Zookeeper:协调节点 4.2.2 nimbus:主控节点 4.2.3 supervisor:工作节点 4.2.4 UI:控制台节点 4.3 本章小结 第5 章Storm 的通信模型 5.1 Thrift: 可扩展、跨语言的通信软件框架 5.1.1 Thrift 的基础概念 5.1.2 基于Thrift 的数据通信 5.2 Thrift 在Storm 中的应用:系统节点间的通信 5.2.1 接口的定义与实现 5.2.2 客户端与Storm 系统的通信 5.3 ZeroMQ 在Storm 中的应用:作业任务间的通信 5.3.1 ZeroMQ:面向分布式并发应用的高性能异步消息处理库 5.3.2 Tuple 与declareOutputFields( ): 数据项结构及声明 5.4 Storm 可配置的通信机制 5.5 本章小结 第6 章Storm 的作业单元:Topology 6.1 Topology 的构成 6.2 Stream:组件间的数据传递 6.2.1 概述 6.2.2 Stream Grouping: 流组模式 6.2.3 自定义流组 6.3 构建Topology 6.3.1 TopologyBuilder 与Config 6.3.2 Topology 构建示例 6.3.3 Topology 常见的编程模式 6.4 本章小结 第7 章Storm 的数据源编程单元:Spout 7.1 Spout 的接口与实现 7.1.1 Spout 与接口层次 7.1.2 ISpout 和IComponent 接口 7.1.3 接口的实现类及实例 7.2 Spout 的使用模式 7.2.1 直接连接 7.2.2 队列连接 7.3 Spout 与数据的可靠性 7.3.1 可靠的Spout 与不可靠的Spout 7.3.2 可靠的Spout 的数据项管理 7.4 本章小结 第8 章Storm 的数据处理编程单元:Bolt 8.1 Bolt 的接口与实现 8.1.1 Bolt 与接口层次 8.1.2 IBolt 和IComponent 接口 8.1.3 接口的实现类及实例 8.2 Bolt 与数据的可靠性 8.2.1 可靠的Bolt 与不可靠的Bolt 8.2.2 可靠的Bolt 的数据项管理 8.2.3 IBasicBolt 和BaseBasicBolt 8.3 本章小结 第9 章Storm 的保障机制 9.1 Storm 的功能性保障:多粒度的并行化 9.1.1 并发模型 9.1.2 并行度配置 9.1.3 可插拔的自定义调度器 9.2 Storm 的非功能性保障:多级别的可靠性 9.2.1 不同级别的容错机制 9.2.2 记录级容错:保障数据项不丢失 9.2.3 记录级容错的原理:acker 任务与追踪算法 9.3 本章小结 第10 章Storm 的高层使用模式 10.1 分布式远程过程调用 10.1.1 概述 10.1.2 DRPC 的构建与使用 10.1.3 Storm 的DRPC 原理 10.2 事务型作业 10.2.1 概述 10.2.2 Transactional Topology 的构建与使用 10.2.3 Transactional Topology 的编程接口与事务型作业的实现 10.2.4 CoordinatedBolt 的原理 10.3 非Java 语言的开发 10.3.1 支持多语言的协议 10.3.2 Shell 组件 10.4 本章小结 第三篇应用篇基于流式数据处理系统Storm的开发 第11 章Storm 的系统部署 11.1 系统环境 11.2 依赖程序的安装 11.2.1 libuuid, libuuid-devel, gcc-c++, libtool 11.2.2 ZeroMQ 和JZMQ 11.3 Storm 的安装与配置 11.3.1 Zookeeper 的安装与配置 11.3.2 单机模式和集群模式下Storm 的安装、配置和启动 11.3.3 Storm 各节点的服务启动 11.4 Storm 集群水平扩展工作节点 11.5 本章小结 第12 章Storm 应用的开发与调试 12.1 Eclipse 环境下的Storm 工程 12.1.1 Eclipse 开发环境 12.1.2 将Storm-starter 组织为Eclipse 工程 12.2 Storm 应用的开发、调试与部署 12.2.1 本地开发与调试 12.2.2 远程部署 12.3 常见问题与应对技巧 12.3.1 ZeroMQ 版本 12.3.2 Zookeeper 日志清理 12.3.3 Topology 作业的打包与远程部署 12.4 本章小结 第13 章项目案例分析 13.1 业务计算的设计 13.1.1 需求分析 13.1.2 概要设计 13.2 业务计算的实现 13.2.1 Topology 的构建 13.2.2 JmsSpout 的实现 13.2.3 三个Bolt 的实现 13.3 本章小结 附录 参考文献 后记 反侵权盗版声明