Hadoop权威指南 大数据的存储与分析 第4版【2025|PDF下载-Epub版本|mobi电子书|kindle百度云盘下载】

Hadoop权威指南 大数据的存储与分析 第4版PDF格式电子书版下载

注意：本站所有压缩包均有解压码： 点击下载压缩包解压工具

第Ⅰ部分Hadoop基础知识3

第1章 初识Hadoop3

1.1数据！数据！3

1.2数据的存储与分析5

1.3查询所有数据6

1.4不仅仅是批处理7

1.5相较于其他系统的优势8

1.5.1关系型数据库管理系统8

1.5.2网格计算10

1.5.3志愿计算11

1.6 Apache Hadoop发展简史12

1.7本书包含的内容16

第2章 关于MapReduce19

2.1气象数据集19

2.2使用Unix工具来分析数据21

2.3使用Hadoop来分析数据22

2.3.1 map和reduce23

2.3.2 Java MapReduce24

2.4横向扩展31

2.4.1数据流31

2.4.2 combiner函数35

2.4.3运行分布式的MapReduce作业37

2.5 Hadoop Streaming37

2.5.1 Ruby版本38

2.5.2 Python版本40

第3章Hadoop分布式文件系统42

3.1 HDFS的设计42

3.2 HDFS的概念44

3.2.1数据块44

3.2.2 namenode和datanode45

3.2.3块缓存46

3.2.4联邦HDFS47

3.2.5 HDFS的高可用性47

3.3命令行接口50

3.4 Hadoop文件系统52

3.5 Java接口56

3.5.1从Hadoop URL读取数据56

3.5.2通过FileSystem API读取数据58

3.5.3写入数据61

3.5.4目录63

3.5.5查询文件系统63

3.5.6删除数据68

3.6数据流68

3.6.1剖析文件读取68

3.6.2剖析文件写入71

3.6.3一致模型74

3.7通过distcp并行复制76

第4章 关于YARN78

4.1剖析YARN应用运行机制79

4.1.1资源请求80

4.1.2应用生命期81

4.1.3构建YARN应用81

4.2 YARN与MapReduce 1相比82

4.3 YARN中的调度85

4.3.1调度选项85

4.3.2容量调度器配置87

4.3.3公平调度器配置89

4.3.5延迟调度93

4.3.5主导资源公平性94

4.4延伸阅读95

第5章Hadoop的I／O操作96

5.1数据完整性96

5.1.1 HDFS的数据完整性97

5.1.2 LocalFileSystem98

5.1.3 ChecksumFileSystem98

5.2压缩99

5.2.1 codec100

5.2.2压缩和输入分片105

5.2.3在MapReduce中使用压缩106

5.3序列化109

5.3.1 Writable接口110

5.3.2 Writable类112

5.3.3实现定制的Writable集合121

5.3.4序列化框架125

5.4基于文件的数据结构127

5.4.1关于SequenceFile127

5.4.2关于MapFile135

5.4.3其他文件格式和面向列的格式136

第Ⅱ部分 关于MapReduce141

第6章MapReduce应用开发141

6.1用于配置的API142

6.1.1资源合并143

6.1.2变量扩展144

6.2配置开发环境144

6.2.1管理配置146

6.2.2辅助类GenericOptionsParser，Tool和ToolRunner149

6.3用MRUnit来写单元测试152

6.3.1关于Mapper152

6.3.2关于Reducer156

6.4本地运行测试数据156

6.4.1在本地作业运行器上运行作业156

6.4.2测试驱动程序158

6.5在集群上运行160

6.5.1打包作业160

6.5.2启动作业162

6.5.3 MapReduce的Web界面165

6.5.4获取结果167

6.5.5作业调试168

6.5.6 Hadoop日志171

6.5.7远程调试173

6.6作业调优174

6.7 MapReduce的工作流176

6.7.1将问题分解成MapReduce作业177

6.7.2关于JobControl178

6.7.3关于Apache Oozie179

第7章MapReduce的工作机制184

7.1剖析MapReduce作业运行机制184

7.1.1作业的提交185

7.1.2作业的初始化186

7.1.3任务的分配187

7.1.4任务的执行188

7.1.5进度和状态的更新189

7.1.6作业的完成191

7.2失败191

7.2.1任务运行失败191

7.2.2 application master运行失败193

7.2.3节点管理器运行失败193

7.2.4资源管理器运行失败194

7.3 shuffle和排序195

7.3.1 map端195

7.3.2 reduce端197

7.3.3配置调优199

7.4任务的执行201

7.4.1任务执行环境201

7.4.2推测执行202

7.4.3关于 OutputCommitters204

第8章MapReduce的类型与格式207

8.1 MapReduce的类型207

8.1.1默认的MapReduce作业212

8.1.2默认的Streaming作业216

8.2输入格式218

8.2.1输入分片与记录218

8.2.2文本输入229

8.2.3二进制输入233

8.2.4多个输入234

8.2.5数据库输入（和输出）235

8.3输出格式236

8.3.1文本输出236

8.3.2二进制输出237

8.3.3多个输出237

8.3.4延迟输出242

8.3.5数据库输出242

第9章MapReduce的特性243

9.1计数器243

9.1.1内置计数器243

9.1.2用户定义的Java计数器248

9.1.3用户定义的Streaming计数器251

9.2排序252

9.2.1准备252

9.2.2部分排序253

9.2.3全排序255

9.2.4辅助排序259

9.3连接264

9.3.1 map端连接266

9.3.2 reduce端连接266

9.4边数据分布270

9.4.1利用JobConf来配置作业270

9.4.2分布式缓存270

9.5 MapReduce库类276

第Ⅲ部分Hadoop的操作279

第10章 构建Hadoop集群279

10.1集群规范280

10.1.1集群规模281

10.1.2网络拓扑282

10.2集群的构建和安装284

10.2.1安装Java284

10.2.2创建Unix用户账号284

10.2.3安装Hadoop284

10.2.4 SSH配置285

10.2.5配置Hadoop286

10.2.6格式化HDFS文件系统286

10.2.7启动和停止守护进程286

10.2.8创建用户目录288

10.3 Hadoop配置288

10.3.1配置管理289

10.3.2环境设置290

10.3.3 Hadoop守护进程的关键属性293

10.3.4 Hadoop守护进程的地址和端口300

10.3.5 Hadoop的其他属性303

10.4安全性305

10.4.1 Kerberos和Hadoop306

10.4.2委托令牌308

10.4.3其他安全性改进309

10.5.利用基准评测程序测试Hadoop集群311

10.5.1 Hadoop基准评测程序311

10.5.2用户作业313

第11章 管理Hadoop314

11.1 HDFS314

11.1.1永久性数据结构314

11.1.2安全模式320

11.1.3日志审计322

11.1.4工具322

11.2监控327

11.2.1日志327

11.2.2度量和JMX（Java管理扩展）328

11.3维护329

11.3.1日常管理过程329

11.3.2委任和解除节点331

11.3.3升级334

第Ⅳ部分Hadoop相关开源项目341

第12章 关于Avro341

12.1 Avro数据类型和模式342

12.2内存中的序列化和反序列化特定API347

12.3 Avro数据文件349

12.4互操作性351

12.4.1 Python API351

12.4.2 Avro工具集352

12.5模式解析352

12.6排列顺序354

12.7关于Avro MapReduce356

12.8使用Avro MapReduce进行排序359

12.9其他语言的Avro362

第13章 关于Parquet363

13.1数据模型364

13.2 Parquet文件格式367

13.3 Parquet的配置368

13.4 Parquet文件的读／写369

13.4.1 Avro、 Protocol Buffers和Thrift371

13.4.2投影模式和读取模式373

13.5 Parquet MapReduce374

第14章 关于Flume377

14.1安装Flume378

14.2示例378

14.3事务和可靠性380

14.4 HDFS Sink382

14.5扇出385

14.5.1交付保证386

14.5.2复制和复用选择器387

14.6通过代理层分发387

14.7 Sink组391

14.8 Flume与应用程序的集成395

14.9组件编目395

14.10延伸阅读397

第15章 关于Sqoop398

15.1获取Sqoop398

15.2 Sqoop连接器400

15.3一个导入的例子401

15.4生成代码404

15.5深入了解数据库导入405

15.5.1导入控制407

15.5.2导入和一致性408

15.5.3增量导入408

15.5.4直接模式导入408

15.6使用导入的数据409

15.7导入大对象412

15.8执行导出414

15.9深入了解导出功能416

15.9.1导出与事务417

15.9.2导出和SequenceFile418

15.10延伸阅读419

第16章 关于Pig420

16.1安装与运行Pig421

16.1.1执行类型422

16.1.2运行Pig程序423

16.1.3 Grunt424

16.1.4 Pig Latin编辑器424

16.2示例425

16.3与数据库进行比较428

16.4 PigLatin429

16.4.1 结构430

16.4.2语句431

16.4.3表达式436

16.4.4类型437

16.4.5模式438

16.4.6函数443

16.4.7宏445

16.5用户自定义函数446

16.5.1过滤UDF447

16.5.2计算UDF450

16.5.3加载UDF452

16.6数据处理操作455

16.6.1数据的加载和存储455

16.6.2数据的过滤455

16.6.3数据的分组与连接458

16.6.4数据的排序463

16.6.5数据的组合和切分465

16.7 Pig实战465

16.7.1并行处理465

16.7.2匿名关系466

16.7.3参数代换467

16.8延伸阅读468

第17章 关于Hive469

17.1安装Hive470

Hive的shell环境471

17.2示例472

17.3运行Hive473

17.3.1配置Hive473

17.3.2 Hive服务476

17.3.3 Metastore478

17.4 Hive与传统数据库相比480

17.4.1读时模式vs.写时模式480

17.4.2更新、事务和索引481

17.4.3其他SQL-on-Hadoop技术482

17.5 HiveQL483

17.5.1数据类型484

17.5.2操作与函数487

17.6表488

17.6.1托管表和外部表488

17.6.2分区和桶490

17.6.3存储格式494

17.6.4导入数据498

17.6.5表的修改500

17.6.6表的丢弃501

17.7查询数据501

17.7.1排序和聚集501

17.7.2 MapReduce脚本502

17.7.3连接503

17.7.4子查询506

17.7.5视图507

17.8用户定义函数508

17.8.1写UDF510

17.8.2写UDAF512

17.9延伸阅读516

第18章 关于Crunch517

18.1示例518

18.2 Crunch核心API521

18.2.1基本操作522

18.2.2类型527

18.2.3源和目标530

18.2.4函数532

18.2.5物化535

18.3管线执行537

18.3.1运行管线538

18.3.2停止管线539

18.3.3查看Crunch计划540

18.3.4迭代算法543

18.3.5给管线设置检查点544

18.4 Crunch库545

18.5延伸阅读547

第19章 关于Spark548

19.1安装Spark549

19.2示例549

19.2.1 Spark应用、作业、阶段和任务551

19.2.2 Scala独立应用552

19.2.3 Java示例553

19.2.4 Python示例554

19.3弹性分布式数据集555

19.3.1创建555

19.3.2转换和动作557

19.3.3持久化561

19.3.4序列化563

19.4共享变量564

19.4.1广播变量564

19.4.2累加器565

19.5 剖析Spark作业运行机制565

19.5.1作业提交566

19.5.2 DAG的构建566

19.5.3任务调度569

19.5.4任务执行570

19.6执行器和集群管理器570

19.7延伸阅读574

第20章 关于HBase575

20.1 HBase基础575

20.2概念576

20.2.1数据模型的“旋风之旅”576

20.2.2实现578

20.3安装581

20.4客户端584

20.4.1 Java584

20.4.2 MapReduce588

20.4.3 REST和Thrift589

20.5创建在线查询应用589

20.5.1模式设计590

20.5.2加载数据591

20.5.3在线查询595

20.6 HBase和RDBMS的比较598

20.6.1成功的服务599

20.6.2 HBase600

20.7 Praxis601

20.7.1 HDFS601

20.7.2用户界面602

20.7.3度量602

20.7.4计数器602

20.8延伸阅读602

第21章 关于ZooKeeper604

21.1安装和运行ZooKeeper605

21.2示例607

21.2.1 ZooKeeper中的组成员关系608

21.2.2创建组608

21.2.3加入组611

21.2.4列出组成员612

21.2.5删除组614

21.3 ZooKeeper服务615

21.3.1数据模型615

21.3.2操作618

21.3.3实现622

21.3.4一致性624

21.3.5会话626

21.3.6状态628

21.4使用ZooKeeper来构建应用629

21.4.1配置服务629

21.4.2可复原的ZooKeeper应用633

21.4.3锁服务637

21.4.4更多分布式数据结构和协议639

21.5生产环境中的ZooKeeper640

21.5.1可恢复性和性能641

21.5.2配置642

21.6延伸阅读643

第Ⅴ部分 案例学习647

第22章 医疗公司塞纳（Cerner）的可聚合数据647

22.1从多CPU到语义集成647

22.2进入Apache Crunch648

22.3建立全貌649

22.4集成健康医疗数据651

22.5框架之上的可组合性654

22.6下一步655

第23章 生物数据科学：用软件拯救生命657

23.1 DNA的结构659

23.2遗传密码：将DNA字符转译为蛋白质660

22.3将DNA想象成源代码661

23.4人类基因组计划和参考基因组663

22.5 DNA测序和比对664

23.6 ADAM，一个可扩展的基因组分析平台666

23.7使用Avro接口描述语言进行自然语言编程666

23.8使用Parquet进行面向列的存取668

23.9一个简单例子：用Spark和ADAM做k-mer计数669

23.10从个性化广告到个性化医疗672

23.11联系我们673

第24章 开源项目Cascading674

24.1字段、元组和管道675

24.2操作678

24.3 Taps， Schemes和Flows680

24.4 Cascading实践应用681

24.5灵活性684

24.6 ShareThis中的Hadoop和Cascading685

24.7总结689

附录A安装Apache Hadoop691

附录B关于CDH697

附录C准备NCDC气象数据699

附录D新版和旧版Java MapReduce API702