Hadoop Yarn 配置

../libexec/etc/hadoop/yarn-site.xml 配置参数

ResourceManager 相关配置参数

yarn.resourcemanager.webapp.address
WebUI 地址,可通过该地址在浏览器中查看集群各类信息
默认值:${yarn.resourcemanager.hostname}:8088
故障转移配置 yarn.resourcemanager.webapp.address.rm1,yarn.resourcemanager.webapp.address.rm2

yarn.resourcemanager.resource-tracker.client.thread-count
处理来自 NodeManager 的 RPC 请求的线程数目
默认值:50

yarn.resourcemanager.scheduler.client.thread-count
处理来自 ApplicationMaster 的 RPC 请求的线程数目
默认值:50

yarn.scheduler.minimum-allocation-mb
yarn.scheduler.maximum-allocation-mb
单个可申请的最小/最大内存资源量。比如设置为1024和4096,则运行作业时,每个 Task 最少分配 1024MB 内存,最多可申请 4096MB 内存
默认值:1024/8192

yarn.scheduler.minimum-allocation-vcores
yarn.scheduler.maximum-allocation-vcores
单个可申请的最小/最大虚拟CPU个数。比如设置为1和4,则运行作业时,每个 Task 最少分配1个虚拟CPU,最多可申请4个虚拟CPU
默认值:1/32

yarn.resourcemanager.nodemanagers.heartbeat-interval-ms
与 NodeManager 心跳间隔
默认值:1000(毫秒)

NodeManager 相关配置参数

yarn.nodemanager.local-dirs
中间结果存放位置,类似于1.0中的mapred.local.dir。注意,这个参数通常会配置多个目录,来分摊磁盘IO负载。
默认值:${hadoop.tmp.dir}/nm-local-dir

yarn.nodemanager.log-dirs
日志存放地址(可配置多个目录)
默认值:${yarn.log.dir}/userlogs

yarn.nodemanager.log.retain-seconds
NodeManager 上日志最多存放时间(不启用日志聚集功能时有效)。
默认值:10800(3小时)

Add a Comment

电子邮件地址不会被公开。 必填项已用*标注

19 + 11 =