新書推薦:
《
秩序四千年:人类如何运用法律缔造文明(世界重归混乱,文明岌岌可危,法律与秩序是我们仅有的武器。穿越时间,鸟瞰全球,一部波澜壮阔的人类文明史)
》
售價:HK$
154.6
《
民法典1000问
》
售價:HK$
99.7
《
国术健身 易筋经
》
售價:HK$
33.4
《
古罗马800年
》
售價:HK$
188.2
《
写出心灵深处的故事:踏上疗愈之旅(修订版)(创意写作书系)
》
售價:HK$
66.1
《
控制权视角下的家族企业管理与传承
》
售價:HK$
87.4
《
冯友兰和青年谈心系列
》
售價:HK$
167.3
《
利他主义的生意:偏爱“非理性”的市场(英国《金融时报》推荐读物!)
》
售價:HK$
77.3
|
編輯推薦: |
1.本书的编写团队写作经验丰富,有来自北京邮电大学的教授从事大数据工作的从业者; 2.本书内容深入浅出,技术结合丰富的场景故事,通俗易懂,概念新颖,思想创新; 3.本书结合新颖案例帮助相关的技术人员或大数据的初学者了解大数据的相关知识。
|
內容簡介: |
本书首先介绍了大数据的一些基本概念,阐述了大数据发展的历史必然性;然后围绕大数据生态的各个技术和组件进行了基本的介绍;接着介绍了建设大数据系统要考虑的一些关键内容;*后以附录的形式给出了一些企业建设大数据系统的案例。
|
關於作者: |
段云峰 北京邮电大学CTI技术研究中心博士生,长期从事 CTI领域技术研究。现任职于中国移动通信集团公司研究开发中心。承担了国内很大电信运营商的数据仓库和大数据中心的设计和建设、运营工作,积累了多年的大数据领域的实际工作经验。带领相关的团队,从系统创建到系统运营,开发了很多大数据领域的各种应用,积累了国内的大数据在大企业建设、运营方面的经验。
|
目錄:
|
目录
第 1章 大数据,心中有数 1
1.1 从一场亲子讲座谈起 2
1.2 数据非今日变大,为什么今天火了 3
1.3 大数据带来的改变渐渐发生了 6
1.4 大数据,首先是数据 8
1.5 再议数据规模 10
1.6 大数据概念正解 11
1.6.1 大数据等于数据大吗 11
1.6.2 大数据数据大 11
1.6.3 大数据内涵4V属性 12
1.6.4 大数据原理模拟 12
1.7 再谈大数据带来的真正改变 14
第 2章 大数据,顺势而为 15
2.1 大数据发展基础 16
2.1.1 大数据商用的前提 16
2.1.2 大数据发展引擎云计算 16
2.1.3 大数据发展的ABCT模式 23
2.2 大数据两个关键变化 25
2.3 大数据获取与管理 25
2.3.1 大数据获取 25
2.3.2 大数据管理 26
2.4 大数据存储 27
2.5 大数据分析 28
2.6 大数据创新应用 29
2.7 大数据安全 31
2.8 大数据发展对我们的要求 31
第3章 准备好了吗?大数据技术及应用 33
3.1 大数据的基石Hadoop技术和应用 35
3.1.1 源自一位爸爸的爱Hadoop介绍 35
3.1.2 海量、非结构化数据的存储宝典Hadoop应用场景 36
3.1.3 打仗亲兄弟,上阵父子兵(拼的是团队!)Hadoop
生态系统 41
3.1.4 如何摆布呢?Hadoop实施建议 45
3.1.5 Hadoop的七寸技术关键点 53
3.2 近期发展势头最猛的技术Spark的应用 57
3.2.1 星星之火,可以燎原Spark简介 57
3.2.2 速度决定一切Spark应用场景 58
3.2.3 另立门户的节奏Spark生态系统 60
3.2.4 火花的关键点Spark实施建议 63
3.2.5 照单抓药即可Spark参数配置 69
3.3 中档价格买中档车的配置MPP数据库的应用 72
3.3.1 不共享的并行处理架构MPP数据库简介 72
3.3.2 完全支持SQL--MPP数据库应用场景 72
3.3.3 这样的配置来两打MPP数据库实施建议 74
3.3.4 对面的女孩看过来技术关注点 78
3.4 速度决定一切!流处理技术的应用 80
3.4.1 流水不腐流处理技术简介 80
3.4.2 最快的奔跑流处理技术应用场景 81
3.4.3 看看谁跑得快?流处理技术典型产品 82
3.4.4 短跑运动员的配置清单流处理技术实施建议 83
3.5 NoSQL技术的应用 87
3.5.1 NoSQL技术简介 88
3.5.2 大数据量查询适用场景 88
3.5.3 都有谁?典型产品 89
3.5.4 如何租给更多人?多租户实现方式 92
3.6 在内存里跑数据库内存数据库的应用 93
3.6.1 传统数据库的土豪配置内存数据库简介 93
3.6.2 提速的奢华方式适用场景 94
3.6.3 哪些是土豪的必备典型产品 95
3.6.4 土豪要关注什么?技术关注点 96
3.7 如何采集更多的数据数据采集 97
3.7.1 没有数据就是无米之炊数据采集简介 97
3.7.2 不同的采集方式适用场景 98
3.7.3 各种工具技术简介 98
3.8 数据库如何分布?分布式关系型数据库的应用 106
3.8.1 分布 传统数据库分布式关系型数据库简介 106
3.8.2 数据库的延伸适用场景 106
3.8.3 支持SQL的分布式数据库典型产品 107
3.8.4 技术关注点 109
3.9 互联网的杀手级应用搜索引擎 109
3.9.1 搜索引擎简介 109
3.9.2 搜索什么?适用场景 110
3.9.3 产品简介 110
3.9.4 技术关注点 111
3.10 资源隔离的利器容器的应用 111
3.10.1 独立的集装箱容器简介 112
3.10.2 容器与虚拟机的区别 113
3.10.3 集装箱能用在哪里?容器应用场景 114
3.10.4 如何部署?Docker实施建议 115
第4章 大数据如何显示分析结果?数据分析与数据可视化 119
4.1 收集大数据就是为了分析数据分析 120
4.1.1 分析方法有哪些?数据分析简介 120
4.1.2 数据分析的过程适用场景 123
4.1.3 分析工具有哪些?典型产品 123
4.1.4 什么最火?深度学习典型产品 125
4.2 大数据也要学习包装技术数据可视化 129
4.2.1 如何让数据更美观?数据可视化简介 129
4.2.2 什么时候数据需要美化?适用场景 130
4.2.3 美化数据结果的工具典型产品 130
第5章 如何构建开放的大数据平台?大数据开放平台构建 133
5.1 为什么要开放?概述 134
5.1.1 开放是趋势大数据开放平台的意义 134
5.1.2 谁在使用开放平台?大数据开放平台主要角色 135
5.1.3 开放哪些内容?大数据开放平台开放的内容与范围 135
5.2 看看别人家的平台大数据开放平台参考架构 137
5.3 开放哪些内容?基础能力的开放 138
5.3.1 自己采集所需数据采集能力开放 138
5.3.2 自己存储数据数据存储能力开放 140
5.3.3 自己决定处理方式数据处理能力开放 142
5.3.4 自己决定展现形式展现能力开放 144
5.4 把管理权力也开放出去数据管理能力的开放 145
5.4.1 自己设计作业任务任务调度能力开放 145
5.4.2 自己编排数据字典元数据管理能力开放 148
5.4.3 自己管理自己的数据质量数据质量管理能力开放 149
5.4.4 自己承担安全员数据安全管理能力开放 149
5.4.5 能提供哪些服务?服务目录能力开放 150
5.5 如何管理系统?平台管理 151
5.5.1 系统有什么料?资源管理 152
5.5.2 如何调度作业?负载管理 152
5.5.3 资源如何分配配额管理 153
5.5.4 能否计费?计量管理 153
5.6 众人拾柴火焰高开发者门户 154
5.6.1 你是谁?注册认证 154
5.6.2 来个厨房资源申请 155
5.6.3 再来二斤牛肉、一壶好酒数据申请 156
5.6.4 吃饱喝足开发上线 157
第6章 安全无小事大数据安全 159
6.1 安全很重要大数据安全概述 160
6.2 非法入侵数据访问安全 161
6.2.1 你有权限吗?用户认证 161
6.2.2 谁可以访问?用户管理 164
6.2.3 我授权给你用户授权 166
6.3 数据加密?数据服务安全 169
6.3.1 屏蔽隐私内容数据脱敏 169
6.3.2 追查泄露者数字水印 170
6.3.3 有口令吗?安全令牌管理 171
6.3.4 全程防护服务攻击检测 171
6.4 数据存在保险箱就安全吗?数据存储安全 173
6.4.1 看不懂的天书加密 173
6.4.2 不能接触数据隔离 174
第7章 建设之后,运维工作更重要大数据运维管理平台 177
7.1 如何构建运维环境大数据运维管理平台简介 178
7.2 功能点有哪些大数据运维管理平台功能介绍 178
7.2.1 用户管理 179
7.2.2 节点管理 179
7.2.3 组件管理 180
7.2.4 监控与告警管理 181
7.2.5 日志管理 181
7.3 运维产品有哪些典型产品 182
7.3.1 产品列表 182
7.3.2 Ambari产品介绍 183
7.3.3 实施建议 184
第8章 数据质量管理 185
8.1 数据质量信息存储 186
8.2 数据质量监控平台 186
8.2.1 采集管理 187
8.2.2 规则管理 188
8.2.3 告警管理 193
8.2.4 申告处理 195
8.2.5 知识总结 196
8.2.6 质量报告 197
8.2.7 任务调度 197
8.3 数据质量应用功能 198
附录A 某公司大数据系统建设案例 201
附录B SH公司大数据PaaS平台实施经验 215
附录C FJ公司关于大数据高速路况实时监测项目实施经验 221
附录D 其他公司大数据案例 229
附录E D-Docker技术原理 241
|
內容試閱:
|
前 言 时至今日,大数据应用无所不在,但什么才是真正的大数据?怀着对大数据的迷茫,摸着石头过河也有些年头了。一路走来,我们不断地思考和摸索,遇到很多问题,也解决了很多问题。这也许都是发展的必然历程吧。
|
|