Hadoop大数据技术原理与应用 Hadoop da shu ju ji shu yuan li yu ying yong

本书围绕 Hadoop 生态圈相关系统介绍大数据处理架构。全书共 11章,其中,第 12 章主要带领大家认识 Hadoop以及学会搭建 Hadoop 集群;第 3~5 章讲解分布式文件系统(HDFS)分布式计算框架MapReduce 以及分布式协调服务;第 6 章讲解 Hadoop 2.0 新特性,包含 YARN 和高可用特性;第7~10 章主要讲解 Hadoop 生态圈的相关辅助系统,包括 Hive,Flume,Azkaban 和 Sqop;第 11 章是一个综合项目一网站流量日志数据分析系统,目的是教会大家如何利用 Hadoop 生态圈技术构建大数据系统架构并进行开发,同时加深对 Hadoop 技术的理解。 本书附有配套视频、源代码、习题、教学设计、教学课件等资源。同时,为了帮助初学者更好地学习本书中的内容,还提供了在线管疑,欢迎读者关注。 本书可作为高等院校本、专科计算机相关专业,信息管理等相关专业的大数据课程教材,也可供相关技术人员参考,是一本适合广大计算机编程爱好者的优秀读物。 封面 扉页 内容简介 版权页 序言 前言 目录 第1章 初识Hadoop 1.1 大数据概述 1.2 大数据的应用场景 1.3 Hadoop概述 1.4 本章小结 1.5 课后习题 第2章 搭建Hadoop集群 2.1 安装准备 2.2 Hadoop集群搭建 2.3 Hadoop集群测试 2.4 Hadoop集群初体验 2.5 本章小结 2.6 课后习题 第3章 HDFS分布式文件系统 3.1 HDFS的简介 3.2 HDFS的架构和原理 3.3 HDFS的Shell操作 3.4 HDFS的Java API操作 3.5 本章小结 3.6 课后习题 第4章 MapReduce分布式计算框架 4.1 MapReduce概述 4.2 MapReduce工作原理 4.3 MapReduce编程组件 4.4 MapReduce运行模式 4.5 MapReduce性能优化策略 4.6 MapReduce经典案例———倒排索引 4.7 MapReduce经典案例———数据去重 4.8 MapReduce经典案例———Top N 4.9 本章小结 4.10 课后习题 第5章 Zookeeper分布式协调服务 5.1 初识Zookeeper 5.2 数据模型 5.3 Zookeeper的 Watch机制 5.4 Zookeeper的选举机制 5.5 Zookeeper分布式集群部署 5.6 Zookeeper的Shell操作 5.7 Zookeeper的Java API操作 5.8 Zookeeper典型应用场景 5.9 本章小结 5.10 课后习题 第6章 Hadoop2.0新特性 6.1 Hadoop2.0改进与提升 6.2 YARN资源管理框架 6.3 HDFS的高可用 6.4 本章小结 6.5 课后习题 第7章 Hive数据仓库 7.1 数据仓库简介 7.2 Hive简介 7.3 Hive的安装 7.4 Hive的管理 7.5 Hive内置数据类型 7.6 Hive数据模型操作 7.7 Hive数据操作 7.8 本章小结 7.9 课后习题 第8章 Flume日志采集系统 8.1 Flume概述 8.2 Flume基本使用 8.3 Flume采集方案配置说明 8.4 Flume的可靠性保证 8.5 Flume拦截器 8.6 案例———日志采集 8.7 本章小结 8.8 课后习题 第9章 工作流管理器(Azkaban) 9.1 工作流管理器概述 9.2 Azkaban概述 9.3 Azkaban部署 9.4 Azkaban使用 9.5 本章小结 9.6 课后习题 第10章 Sqoop数据迁移 10.1 Sqoop概述 10.2 Sqoop安装配置 10.3 Sqoop指令介绍 10.4 Sqoop数据导入 10.5 Sqoop数据导出 10.6 本章小结 10.7 课后习题 第11章 综合项目———网站流量日志数据分析系统 11.1 系统概述 11.2 模块开发———数据采集 11.3 模块开发———数据预处理 11.4 模块开发———数据仓库开发 11.5 模块开发———数据分析 11.6 模块开发———数据导出 11.7 模块开发———日志分析系统报表展示 11.8 本章小结 正文结束 本书围绕Hadoop生态圈相关系统介绍大数据处理架构。全书共11章,其中,第1-2章主要带领大家认识Hadoop以及学会搭建Hadoop集群。第3-5章讲解了分布式文件系统HDFS、分布式计算框架MapReduce以及分布式协调服务。第6章讲解的是Hadoop2新特性,包含YARN和高可用特性。第7-10章主要讲解Hadoop生态圈的相关辅助系统,包括Hive、Flume、Azkaban和Sqoop。第11章是一个综合项目----网站流量日志数据分析系统,其目的是教会大家如何利用Hadoop生态圈技术构建大数据系统架构并进行开发,同时加深Hadoop技术的理解 本书围绕hadoop生态圈相关系统介绍大数据处理架构.共11章,第1-2章带领大家认识hadoop以及学会搭建hadoop集群;第3-5章讲解分布式文件系统(hdfs),分布式计算框架mapreduce以及分布式协调服务;第6章讲解hadoop 2.0新特性,包含yarn和高可用特性;第7-10章讲解hadoop生态圈的相关辅助系统,包括hive,flume,azkaban和sqoop;第11章是一个综合项目——网站流量日志数据分析系统,目的是教会大家如何利用hadoop生态圈技术构建大数据系统架构并进行开发,同时加深对hadoop技术的理解.