性能调优笔记 - MapReduce
Introduction
1. 概述
1.1 模块架构模型
1.2 性能衡量指标
1.2.1 衡量指标
1.2.2 指标观测方法
2. 集群服务部署规划
2.1 JobHistory的部署
2.2 MapReduce任务提交资源使用配置
2.3 MapReduce任务CPU使用配置
3. 典型业务的调优
4. 二次开发业务应用指导
5. MapReduce优化参数配置
5.1 确定Job基线
5.2 Shuffle调优
5.2.1 Map阶段调优
5.2.2 Combinner
5.2.3 Copy阶段的优化
5.2.4 Merge阶段的调优
5.3 推测执行
5.4 容器可重用性提高任务的完成效率
5.5 Slow Start
6. 性能瓶颈监控及调优
6.1 监控手段
6.1.1 资源监控
6.1.2 性能监控
6.2 常见性能问题及解决方案
6.2.1 ResourceManager 的处理能力
6.2.2 网络瓶颈
7. 常见MR标准测试场景样例
Powered by
GitBook
5.2 Shuffle调优
5.2 Shuffle调优
results matching "
"
No results matching "
"