Hadoop2.7.3完全分布式集群搭建

发表于:2017-4-26 10:28  作者:RiverCode   来源:CSDN博客

字体: | 上一篇 | 下一篇 |我要投稿 | 推荐标签: 软件开发 hadoop 大数据

  集群如下:
  192.168.188.111 master
  192.168.188.112 slave1
  192.168.188.113 slave2
  一、环境配置
  1.修改hosts和hostname
  以master为例:
  修改hosts
  [root@master ~]# vim /etc/hosts
  192.168.188.111 master
  192.168.188.112 slave1
  192.168.188.113 slave2
  修改hostname
  [root@master ~]# vim /etc/hostname
  同样地,在slave1和slave2做相同的hostname操作,分别命名为slave1和slave2.然后分别把slave1和slave2的hosts文件更改为和master一样。
  2.配免密登录
  次文章重点不在配免密登录,所有略,可以看其他博客。
  3.配置环境变量
[root@master ~]# vim /etc/profile
#java
export JAVA_HOME=/root/package/jdk1.8.0_121
export PATH=$PATH:$JAVA_HOME/bin
#spark
export SPARK_HOME=/root/package/spark-2.1.0-bin-hadoop2.7
export PATH=$PATH:$SPARK_HOME/bin
#ANACONDA
export ANACONDA=/root/anaconda2
export PATH=$PATH:$ANACONDA/bin
#HADOOP
export HADOOP_HOME=/root/package/hadoop-2.7.3
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin
export HADOOP_INSTALL=$HADOOP_HOME
  输入 source /etc/profile 使配置文件生效。
  [root@master ~]# source /etc/profile
  查看配置是否成功:
  输入 Java -version
  出现以上信息则Java配置成功。
  二、hadoop配置
  1.master配置
  首先,安装Hadoop-2.7.3,我是直接在要安装的目录下解压,所有在tar -zxvf 后边没有输入其他的路径。
  [root@master package]# tar -zxvf hadoop-2.7.3
  2.hadoop-env.sh配置
  hadoop-2.7.3 的配置文件都在 /root/package/hadoop-2.7.3/etc/hadoop 下
  /root/package/hadoop-2.7.3/etc/hadoop
  [root@master hadoop]# vim hadoop-env.sh
  修改JAVA_HOME值
  # The java implementation to use.
  export JAVA_HOME=/root/package/jdk1.8.0_121<span style="font-size:12px;">
  </span>
  3.yarn-env.sh配置
  [root@master hadoop]# vim yarn-env.sh
  # some Java parameters
  export JAVA_HOME=/root/package/jdk1.8.0_121<span style="font-size:12px;">
  </span>
  4.修改slaves
  [root@master hadoop]# vim slaves
  将内容修改为
  slave1
  slave2<span style="font-size:12px;">
  </span>
  5.core-site.xml配置
<configuration>
<!-- 指定hdfs的nameservice为ns1 -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://10.10.11.181:9000</value>
</property>
<!-- Size of read/write buffer used in SequenceFiles. -->
<property>
<name>io.file.buffer.size</name>
<value>131072</value>
</property>
<!-- 指定hadoop临时目录,自行创建 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/hadoop/tmp</value>
</property>
</configuration><span style="font-size:12px;">
</span>

【调查报告】你以为的测试行业现状,其实是这样的!
21/212>

评 论

论坛新帖

顶部 底部


建议使用IE 6.0以上浏览器,800×600以上分辨率,法律顾问:上海瀛东律师事务所 张楠律师
版权所有 上海博为峰软件技术股份有限公司 Copyright©51testing.com 2003-2019, 沪ICP备05003035号
投诉及意见反馈:webmaster@51testing.com; 业务联系:service@51testing.com 021-64471599-8017

沪公网安备 31010102002173号

51Testing官方微信

51Testing官方微博

扫一扫 测试知识全知道