Hadoop 高可用YARN 配置

创作人 Leo


编辑时间 Wed Jan 1,2020 at 10:13


Hadoop 高可用YARN 配置

yarn 是 map reduce 任务管理框架

参考:

http://hadoop.apache.org/docs/r2.6.5/hadoop-project-dist/hadoop-common/SingleCluster.html

HA 参考:

http://hadoop.apache.org/docs/r2.6.5/hadoop-yarn/hadoop-yarn-site/ResourceManagerHA.htm

配置步骤:

  1. 开启 zookeeper服务

  2. 配置yarn-site.xml

  3. 配置mapred-site.xml

  4. 将配置好的文件拷贝到其他机器

  5. 在主resource manager 机器启动yarn集群 :/usr/local/hadoop-2.6.0/sbin/start-yarn.sh

  6. 在备用resource manage机器上启动备用resource manage 服务 :/usr/local/hadoop-2.6.0/sbin/yarn-daemon.sh start resourcemanager

配置文件

yarn-site.xml

<configuration>
<!-- Site specific YARN configuration properties -->
  <property>
    <name>yarn.resourcemanager.ha.enabled</name>
    <value>true</value>
  </property>
  <property>
    <name>yarn.resourcemanager.cluster-id</name>
    <value>lxyarn</value>
  </property>
  <property>
    <name>yarn.resourcemanager.ha.rm-ids</name>
    <value>rm1,rm2</value>
  </property>
  <property>
    <name>yarn.resourcemanager.hostname.rm1</name>
    <value>namenode</value>
  </property>
  <property>
    <name>yarn.resourcemanager.hostname.rm2</name>
    <value>secondnamenode</value>
  </property>
  <property>
    <name>yarn.resourcemanager.zk-address</name>
    <value>namenode:2181,secondnamenode:2181,datanode1:2181</value>
  </property>
  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property>
</configuration>

yarn.resourcemanager.ha.enabled 开启高可用

yarn.resourcemanager.cluster-id 集群名称,自定义,只要和hdfs的集群名以及其他zookeeper管理的及群名区分开即可

yarn.resourcemanager.ha.rm-ids 定义若干个resource manager 结点

yarn.resourcemanager.hostname.rm1 配置resource manager 结点主机名

yarn.resourcemanager.zk-address 配置 zookeeper 主机地址

mapred-site.xml

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

mapreduce.framework.name 配置 map reduce 任务使用 yarn管理

管理地址:

http://namenode:8088


阅读:1785
搜索
  • Linux 高性能网络编程库 Libevent 简介和示例 2332
  • Mac系统编译PHP7【20190929更新】 2208
  • zksync 和 layer2 1899
  • Hadoop 高可用集群搭建 (Hadoop HA) 1891
  • Linux 常用命令 1878
  • 安徽黄山游 1855
  • Windows 安装Swoole 1815
  • 小白鼠问题 1785
  • Hadoop 高可用YARN 配置 1784
  • 使用 Java+Thrift 实现异步事件处理服务 1684
简介
不定期分享软件开发经验,生活经验