2.1 JobHistory的部署

操作场景 :

Jobhistory管理历史的任务归集,实例资源配置内存和归集的历史任务。

操作步骤:

参数名 描述
GC_OPTS服务端参数 JVM前4个值为,-Xms512M -Xmx2G -XX:NewSize=128M -XX:MaxNewSize=128M需要根据大集群的任务做调整。对于大集群建议调整为:历史任务数10000和内存的对应关系-Xms30G -Xmx30G -XX:NewSize=1G -XX:MaxNewSize=2G

mapreduce.jobhistory.joblist.cache.size 给个表 在150万历史任务下,内存需要配置30GB以上。建议用户配置20k的分页阈值,能够在10s左右显示结果;

results matching ""

    No results matching ""