yarn: 资源调度机制
本文共 764 字，大约阅读时间需要 2 分钟。
- 参考书籍《深入理解mapreduce架构设计与实现原理》
- yarn： 各组件的通信协议
- 理解yarn工作流程： yarn–>appMaster–>管理job
part1：yarn内部通信协议
part2: yarn启动appMaster
part3: appMaster管理job
part4: yarn作业运行模式
1，uber模式
如何决定‘小作业’ ？ 在mapred-site.xml中有几个配置
| 特点 | 限制条件 | |
|---|---|---|
| maptask和reducetask串行执行 | reducetask数 | mapreduce.job.ubertask.maxmreduces=1 |
| containor重用 | maptask数 | mapreduce.job.ubertask.maxmaps=9 |
| 文件大小 | mapreduce.job.ubertask.maxmrbytes=128m | |
| containor资源限制 | 小于 appmaster可用的资源 |
reducetask的启动时间?
mapred-default.xml 中有默认的参数配置（number of maps in the job which should be complete before reduces are scheduled for the job）#在reducetask启动前，maptask的完成比例值mapreduce.job.reduce.slowstart.completedmaps=0.05
2，non-uber模式
| task状态—> | task状态 —> | task状态 —> | task状态 | |
|---|---|---|---|---|
| maptask | scheduled | assigned | completed | |
| reducetask | pending | scheduled | assigned | completed |
你可能感兴趣的文章
01. 开篇：组建小型局域网
查看>>
02. 交换机的基本配置和管理
查看>>
03. 交换机的Telnet远程登陆配置
查看>>
微信小程序-调用-腾讯视频-解决方案
查看>>
giuhub搭建及常用操作
查看>>
phpStudy安装yaf扩展
查看>>
密码 加密 加盐 常用操作记录
查看>>
TP 分页后，调用指定页。
查看>>
Oracle数据库中的(+)连接
查看>>
java-oracle中几十个实用的PL/SQL
查看>>
PLSQL常用方法汇总
查看>>
详细介绍Oracle sqlplus命令
查看>>
几个基本的 Sql Plus 命令 和 例子
查看>>
PLSQL单行函数和组函数详解
查看>>
Oracle PL/SQL语言初级教程之异常处理
查看>>
Oracle PL/SQL语言初级教程之游标
查看>>
Oracle PL/SQL语言初级教程之操作和控制语言
查看>>
Oracle PL/SQL语言初级教程之过程和函数
查看>>
Oracle PL/SQL语言初级教程之表和视图
查看>>
Oracle PL/SQL语言初级教程之完整性约束
查看>>