新書推薦：
《
我们身边的小鸟朋友：手绘观鸟笔记
》
售價：HK$
80.3
《
拯救免疫失衡
》
售價：HK$
57.3
《
收尸人
》
售價：HK$
74.8
《
大模型应用开发：RAG入门与实战
》
售價：HK$
91.8
《
不挨饿快速瘦的减脂餐
》
售價：HK$
68.8
《
形而上学与存在论之间：费希特知识学研究（守望者）（德国古典哲学研究译丛）
》
售價：HK$
113.6
《
卫宫家今天的饭9 附画集特装版（含漫画1本+画集1本+卫宫士郎购物清单2张+特制相卡1张）
》
售價：HK$
135.7
《
化妆品学原理
》
售價：HK$
57.3
|
| 編輯推薦： |
Hadoop是一个开源的MapReduce平台，设计运行在大型分布式集群环境中，提供查询和分析服务。尤其适用于大数据系统，Hadoop为苹果、eBay、LinkedIn、雅虎和Facebook等公司提供重要软件环境。它为开发者进行数据存储、管理以及分析提供便利的方法。br
《Hadoop硬实战》收集了85个问题场景以及解决方案的实战演练。在关键问题领域对基础概念和实战方法做了权衡，例如导入导出、序列化，以及LZO压缩。你将会学习到每个技术的细节，以及当遇到一个具体问题时能够给出对应的解决方案。本书提供了结构良好且易于理解的例子，可用于应对你所遇到的问题。br
本书包含：
·Hadoop和MapReduce的基本概念
·85个实战和测试技术
·真实的场景，实用的解决方案
·如何整合MapReduce和Rbr
|
| 內容簡介： |
|
Hadoop是一个开源的MapReduce平台，设计运行在大型分布式集群环境中，为开发者进行数据存储、管理以及分析提供便利的方法。本书详细讲解了Hadoop和MapReduce的基本概念，并收集了85个问题及其解决方案。在关键问题领域对基础概念和实战方法做了权衡。
|
| 關於作者： |
|
Alex Holmes是高级软件工程师，在使用Hadoop解决大数据问题上经验十分丰富。他曾在JavaOne和Jazoon做过演讲并在VeriSign负责技术指导。
|
| 目錄：
|
前言 .....................................XV
致谢 ......................................XVII
关于本书 ................................ XIX
第1 部分 背景和基本原理...1
1 跳跃中的Hadoop........................................... 3
1.1 什么是Hadoop ......... 4
1.1.1 Hadoop 的核心组件 ................................ 5
1.1.2 Hadoop 生态圈 ........................................ 9
1.1.3 物理架构 .... 10
1.1.4 谁在使用Hadoop .................................. 12
1.1.5 Hadoop 的局限性 .................................. 13
1.2 运行Hadoop ........... 14
1.2.1 下载并安装Hadoop .............................. 14
1.2.2 Hadoop 的配置 ...................................... 15
1.2.3 CLI 基本命令 ......................................... 17
1.2.4 运行MapReduce 作业 ........................... 18
1.3 本章小结 ................ 24
第2 部分 数据逻辑........... 25
2 将数据导入导出Hadoop.............27
2.1 导入导出的关键要素 ........................................ 29
2.2 将数据导入Hadoop ........................................... 30
2.2.1 将日志文件导入Hadoop ...................... 31
技术点1 使用Flume 将系统日志文件导入HDFS ............................. 33
2.2.2 导入导出半结构化和二进制文件 ........ 42
技术点2 自动复制文件到HDFS 的机制 43
技术点3 使用Oozie 定期执行数据导入活动 ..................................... 48
2.2.3 从数据库中拉数据 ................................ 52
技术点4 使用MapReduce 将数据导入数据库 ................................... 53
技术点5 使用Sqoop 从MySQL 导入数据 ......................................... 58
2.2.4 HBase ......... 68
技术点6 HBase 导入HDFS ..................... 68
技术点7 将HBase 作为MapReduce 的数据源 .................................. 70
2.3 将数据导出Hadoop ........................................... 73
2.3.1 将数据导入本地文件系统 .................... 73
技术点8 自动复制HDFS 中的文件 ........ 73
2.3.2 数据库 ........ 74
技术点9 使用Sqoop 将数据导入MySQL .......................................... 75
2.3.3 Hbase .......... 78
技术点10 将数据从HDFS 导入HBase .. 78
技术点11 使用HBase 作为MapReduce 的数据接收器 .................... 79
2.4 本章小结 ................ 81
3 数据序列化——处理文本文件及其他格式的文件........................83
3.1 了解MapReduce 中的输入和输出 ................... 84
3.1.1 数据输入 .... 85
3.1.2 数据输出 .... 89
3.2 处理常见的序列化格式 .................................... 91
3.2.1 XML ........... 91
技术点12 MapReduce 和XML ................ 91
3.2.2 JSON ........... 95
技术点13 MapReduce 和JSON ............... 95
3.3 大数据的序列化格式 ........................................ 99
3.3.1 比较SequenceFiles、Protocol Buffers、Thrift 和 Avro .................. 99
3.3.2 Sequence File ........................................ 101
技术点14 处理SequenceFile .................. 103
3.3.3 Protocol Buffers .................................... 109
技术点15 整合Protocol Buffers 和MapReduce ............................... 110
3.3.4 Thrift ......... 117
技术点16 使用Thrift .............................. 117
3.3.5 Avro .......... 119
技术点17 MapReduce 的下一代数据序列化技术 ............................ 120
3.4 自定义文件格式 .. 127
3.4.1 输入输出格式 ...................................... 127
技术点18 输入和输出格式为CSV 的文件 ...................................... 128
3.4.2 output committing 的重要性 ............... 136
3.5 本章小结 .............. 136
第3 部分 大数据模式......137
4 处理大数据的MapReduce 模式. 139
4.1 Join ........................ 140
4.1.1 Repartition Join .................................... 141
技术点19 优化repartition join ............... 142
4.1.2 Replicated Join ..................................... 146
4.1.3 Semi-join .. 147
技术点20 实现semi-join ........................ 148
4.1.4 为你的数据挑选最优的合并策略 ...... 154
4.2 排序 ...................... 155
4.2.1 二次排序 .. 156
技术点21 二次排序的实现 .................... 157
4.2.2 整体并行排序 ...................................... 162
技术点22 通过多个reducer 对key 进行排序 .................................. 162
4.3 抽样 ...................... 165
技术点23 蓄水池抽样（reservoir 抽样） ........................................... 165
4.4 本章小结 .............. 168
5 优化HDFS 处理大数据的技术... 169
5.1 处理小文件 .......... 170
技术点24 使用Avro 存储大量小文件 .. 170
5.2 通过压缩提高数据存储效率 .......................... 178
技术点25 选择合适的压缩解码器 ........ 178
技术点26 在HDFS、MapReduce、Pig 和Hive 中使用数据压缩 .. 182
技术点27 在MapReduce、Hive 和Pig 中处理可分割的LZOP ..... 187
5.3 本章小结 .............. 193
6 诊断和优化性能问题................. 194
6.1 衡量MapReduce 和你的环境 ......................... 195
6.1.1 提取作业统计信息的工具 .................. 195
6.1.2 监控 .......... 196
6.2 确定性能问题的原因 ....
|
|
購物車/收銀台(0) | 在線留言板
| 付款方式
| 運費計算
| 聯絡我們
| 幫助中心 |
加入書簽
HOME
新書上架
