2.1 JobHistory的部署
操作场景 :
Jobhistory管理历史的任务归集,实例资源配置内存和归集的历史任务。
操作步骤:
参数名 | 描述 |
---|---|
GC_OPTS服务端参数 | JVM前4个值为,-Xms512M -Xmx2G -XX:NewSize=128M -XX:MaxNewSize=128M需要根据大集群的任务做调整。对于大集群建议调整为:历史任务数10000和内存的对应关系-Xms30G -Xmx30G -XX:NewSize=1G -XX:MaxNewSize=2G |
mapreduce.jobhistory.joblist.cache.size 给个表 在150万历史任务下,内存需要配置30GB以上。建议用户配置20k的分页阈值,能够在10s左右显示结果;