5.2.2 Combinner
操作场景
在Map阶段,有一个可选过程,将同一个key值的中间结果合并,叫做combiner。一般将reduce类设置为combiner即可。通过combine,一般情况下可以显著减少Map输出的中间结果,从而减少shuffle过程的网络带宽占用。可通过如下接口为一个任务设置Combiner类。
操作步骤
类名 | 描述 |
---|---|
org.apache.hadoop.mapreduce.Job | public void setCombinerClass(Class<? extends Reducer> cls)为Job设置一个combiner类 |