MapReduce适合PB级以上海量数据的离线处理MapReduce不擅长什么

实时计算

像MySQL一样，在毫秒级或者秒级内返回结果

流式计算

MapReduce的输入数据集是静态的，不能动态变化

MapReduce自身的设计特点决定了数据源必须是静态的

DAG计算

多个应用程序存在依赖关系，后一个应用程序的输入为前一个的输出

MapReduce编程模型

MapReduce将作业job的整个运行过程分为两个阶段：Map阶段和Reduce阶段

Map阶段由一定数量的Map Task组成

输入数据格式解析：InputFormat

输入数据处理：Mapper

数据分组：Partitioner

Reduce阶段由一定数量的Reduce Task组成

数据远程拷贝

数据按照key排序

数据处理：Reducer

数据输出格式：OutputFormat

InputFormat

文件分片（InputSplit）方法

处理跨行问题

将分片数据解析成key/value对

默认实现是TextInputFormat

TextInputFormat

Key是行在文件中的偏移量，value是行内容

若行被截断，则读取下一个block的前几个字符

Split与Block

Block

HDFS中最小的数据存储单位

默认是64MB

Spit

MapReduce中最小的计算单元

默认与Block一一对应

Block与Split

Split与Block是对应关系是任意的，可由用户控制

Combiner

Combiner可做看local reducer

合并相同的key对应的value（wordcount例子）

通常与Reducer逻辑一样

好处

减少Map Task输出数据量（磁盘IO）

减少Reduce-Map网络传输数据量(网络IO)

如何正确使用

结果可叠加

Sum(YES!)，Average（NO!）

Partitioner

Partitioner决定了Map Task输出的每条数据交给哪个Reduce Task处理

默认实现：hash(key) mod R

R是Reduce Task数目

允许用户自定义

很多情况需自定义Partitioner

比如“hash(hostname(URL)) mod R”确保相同域名的网页交给同一个Reduce Task处理

Map和Reduce两阶段

Map阶段

InputFormat（默认TextInputFormat）

Mapper

Combiner（local reducer）

Partitioner

Reduce阶段

Reducer

OutputFormat（默认TextOutputFormat）

MapReduce编程模型—内部逻辑

MapReduce编程模型—外部物理结构

MapReduce 2.0架构

Client

与MapReduce 1.0的Client类似，用户通过Client与YARN交互，提交MapReduce作业，查询作业运行状态，管理作业等。

MRAppMaster

功能类似于 1.0中的JobTracker，但不负责资源管理；

功能包括：任务划分、资源申请并将之二次分配个Map Task和Reduce Task、任务状态监控和容错。

MapReduce 2.0容错性

MRAppMaster容错性

一旦运行失败，由YARN的ResourceManager负责重新启动，最多重启次数可由用户设置，默认是2次。一旦超过最高重启次数，则作业运行失败。

Map Task/Reduce Task

Task周期性向MRAppMaster汇报心跳；

一旦Task挂掉，则MRAppMaster将为之重新申请资源，并运行之。最多重新运行次数可由用户设置，默认4次。

数据本地性

什么是数据本地性（data locality）

如果任务运行在它将处理的数据所在的节点，则称该任务具有“数据本地性”

本地性可避免跨节点或机架数据传输，提高运行效率

数据本地性分类

同节点(node-local)

同机架(rack-local)

其他（off-switch）

推测执行机制

作业完成时间取决于最慢的任务完成时间

一个作业由若干个Map任务和Reduce任务构成

因硬件老化、软件Bug等，某些任务可能运行非常慢

推测执行机制

发现拖后腿的任务，比如某个任务运行速度远慢于任务平均速度

为拖后腿任务启动一个备份任务，同时运行

谁先运行完，则采用谁的结果

不能启用推测执行机制

任务间存在严重的负载倾斜

特殊任务，比如任务向数据库中写数据

常见MapReduce应用场景

简单的数据统计，比如网站pv、uv统计

搜索引擎建索引 （mapreduce产生的原因）

海量数据查找

复杂数据分析算法实现

聚类算法

分类算法

推荐算法

图算法