云计算环境下Spark大数据处理技术与实践 Yun ji suan huan jing xia spark da shu ju chu li ji shu yu shi jian

本书围绕互联网重大的技术革命:云计算、大数据进行阐述。云计算环境下大数据处理构建是国民经济发展的信息基础设施,发展自主的云计算核心技术,拥有自己的信息基础设施,当前正处于重要的机遇期。本书重点在大数据与云计算的融合,给出了大数据与云计算的一些基本概念,并以Spark为开发工具,全面讲述云环境下的Spark大数据技术部署与典型案例算法实现,最后介绍了国内经典Spark大数据与云计算融合的架构与算法。本书适合云计算环境下Spark大数据技术人员、Spark MLlib机器学习技术人员,也适合高等院校和培训机构相关专业的师生教学参考。 封面 1 扉页 2 内容简介 3 版权页 3 前言 4 目录 6 第1章 大数据处理概述 13 1.1 大数据处理技术概述 13 1.2 数据挖掘及其相关领域应用 21 1.3 大数据应用 25 1.4 并行计算简介 35 1.5 Hadoop介绍 36 1.6 本章小结 38 第2章 云计算时代 39 2.1 云计算概述 39 2.2 云计算发展动力源泉 46 2.3 云计算技术分析 46 2.4 并行计算与云计算关系 55 2.5 云计算发展优势 63 2.6 向云实现迁移 65 2.7 本章小结 67 第3章 大数据与云计算关系 68 3.1 云计算与大数据关系 68 3.2 大数据与云计算的融合是认识世界的新工具 69 3.3 大数据隐私保护是大数据云快速发展和运用的重要前提 71 3.4 大数据成就云计算价值 74 3.5 数据向云计算迁移 75 3.6 大数据清洗 76 3.7 云计算时代的数据集成技术 78 3.8 云推荐 79 3.9 本章小结 80 第4章 Spark大数据处理基础 81 4.1 Spark大数据处理技术 81 4.2 Spark 2.0.0安装配置 86 4.3 Spark配置 104 4.4 Spark模式部署概述 108 4.5 Spark Streaming实时计算框架 110 4.6 Spark SQL查询、DataFrames分布式数据集和Datasets API 113 4.7 Spark起始点 114 4.8 Spark数据源 137 4.9 Spark性能调优 156 4.10 分布式SQL引擎 157 4.11 本章小结 158 第5章 Spark MLlib机器学习算法实现 159 5.1 Spark MLlib基础 159 5.2 Spark MLlib矩阵向量 171 5.3 Spark MLlib线性回归算法 183 5.4 Spark MLlib逻辑回归算法 195 5.5 Spark MLlib朴素贝叶斯分类算法 211 5.6 Spark MLlib决策树算法 229 5.7 Spark MLlib KMeans聚类算法 239 5.8 Spark MLlib FPGrowth关联规则算法 248 5.9 Spark MLlib协同过滤推荐算法 256 5.10 Spark MLlib神经网络算法 273 5.11 本章小结 276 第6章 Spark大数据架构系统部署 277 6.1 大数据架构介绍 277 6.2 典型的商务使用场景 278 6.3 Spark三种分布式部署模式 280 6.4 创建大数据架构 282 6.5 Spark单个机器集群部署 290 6.6 本章小结 292 第7章 Spark大数据处理案例分析 294 7.1 Spark on Amazon EMR 294 7.2 Spark在AWSKrux的应用 301 7.3 Spark在商业网站中的应用 302 7.4 Spark在Yahoo!的应用 303 7.5 Spark在Amazon EC2上运行 304 7.6 淘宝应用Spark on YARN架构 308 7.7 腾讯云大数据解决方案 309 7.8 雅虎开源TensorFlowOnSpark 310 7.9 阿里云E-MapReduce 313 7.10 SequoiaDB+Spark打造一体化大数据平台 316 7.11 本章小结 317 第8章 大数据发展展望 318 8.1 大数据未来发展趋势 318 8.2 大数据给人类带来的认知冲击 319 8.3 未来大数据研究突破的技术问题 320 8.4 本章小结 321 正文结束 323 附录 Spark MLlib神经网络算法 324 参考文献 350