2.3 MapReduce任务CPU使用配置
操作场景
Yarn的节点资源配置调整部分的参数yarn.nodemanager.resource.cpu-vcores设置了当前节点逻辑上可以分配的总CPU核数，以下为MapReduce任务map reduce 和 am阶段task 对应的CPU使用配置。
对于CPU密集型的任务，可以增加对应任务的cpu使用值。
操作步骤
| 参数名 | 描述 |
|---|---|
| mapreduce.map.cpu.vcores客户端参数 | 默认值1,每个map任务需要的CPU核数。 |
| mapreduce.reduce.cpu.vcores客户端参数 | 默认值1,每个reduce任务需要的CPU核数 |
| yarn.app.mapreduce.am.resource.cpu-vcores客户端参数 | 默认值1,每个MRApplicationMaster需要的CPU核数。对于大集群建议设置为4。 |
说明：
yarn.nodemanager.resource.cpu-vcores除以map reduce 和 am的cpu核数的设置，即为当前节点cpu限制下并发能处理的任务。注意：一般现网关于cpu的调整是很少的，因为cpu配置不合理也不会导致任务失败，只会导致速度会慢，但是当内存不够时，会出现oom导致任务失败。
单节点最大支持的MAP可以通过yarn.nodemanager.resource.memory-mb /mapreduce.map.memory.mb 和 yarn.nodemanager.resource.cpu-vcores /{mapreduce.map.cpu.vcores} 取最小值。