5.2.2 Combinner

操作场景

在Map阶段,有一个可选过程,将同一个key值的中间结果合并,叫做combiner。一般将reduce类设置为combiner即可。通过combine,一般情况下可以显著减少Map输出的中间结果,从而减少shuffle过程的网络带宽占用。可通过如下接口为一个任务设置Combiner类。

操作步骤

类名 描述
org.apache.hadoop.mapreduce.Job public void setCombinerClass(Class<? extends Reducer> cls)为Job设置一个combiner类

results matching ""

    No results matching ""