性能调优笔记 - MapReduce
Introduction
1. 概述
1.1 模块架构模型
1.2 性能衡量指标
1.2.1 衡量指标
1.2.2 指标观测方法
2. 集群服务部署规划
2.1 JobHistory的部署
2.2 MapReduce任务提交资源使用配置
2.3 MapReduce任务CPU使用配置
3. 典型业务的调优
4. 二次开发业务应用指导
5. MapReduce优化参数配置
5.1 确定Job基线
5.2 Shuffle调优
5.2.1 Map阶段调优
5.2.2 Combinner
5.2.3 Copy阶段的优化
5.2.4 Merge阶段的调优
5.3 推测执行
5.4 容器可重用性提高任务的完成效率
5.5 Slow Start
6. 性能瓶颈监控及调优
6.1 监控手段
6.1.1 资源监控
6.1.2 性能监控
6.2 常见性能问题及解决方案
6.2.1 ResourceManager 的处理能力
6.2.2 网络瓶颈
7. 常见MR标准测试场景样例
Powered by
GitBook
1.2.1 衡量指标
1.2.1 衡量指标
系统资源利用率
吞吐量:单位时间内完成的计算任务数量
资源利用率:对分配到资源的使用率,关注节点任务分配完成后,怎么把资源使用率上升,主要关注CPU的使用率。
results matching "
"
No results matching "
"