集群如下:
192.168.188.111 master
192.168.188.112 slave1
192.168.188.113 slave2
一、环境配置
1.修改hosts和hostname
以master为例:
修改hosts
[root@master ~]# vim /etc/hosts
192.168.188.111 master
192.168.188.112 slave1
192.168.188.113 slave2
修改hostname
[root@master ~]# vim /etc/hostname
同样地,在slave1和slave2做相同的hostname操作,分别命名为slave1和slave2.然后分别把slave1和slave2的hosts文件更改为和master一样。
2.配免密登录
次文章重点不在配免密登录,所有略,可以看其他博客。
3.配置环境变量
[root@master ~]# vim /etc/profile #java export JAVA_HOME=/root/package/jdk1.8.0_121 export PATH=$PATH:$JAVA_HOME/bin #spark export SPARK_HOME=/root/package/spark-2.1.0-bin-hadoop2.7 export PATH=$PATH:$SPARK_HOME/bin #ANACONDA export ANACONDA=/root/anaconda2 export PATH=$PATH:$ANACONDA/bin #HADOOP export HADOOP_HOME=/root/package/hadoop-2.7.3 export HADOOP_MAPRED_HOME=$HADOOP_HOME export HADOOP_COMMON_HOME=$HADOOP_HOME export HADOOP_HDFS_HOME=$HADOOP_HOME export YARN_HOME=$HADOOP_HOME export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin export HADOOP_INSTALL=$HADOOP_HOME |
输入 source /etc/profile 使配置文件生效。
[root@master ~]# source /etc/profile
查看配置是否成功:
输入 Java -version
出现以上信息则Java配置成功。
二、hadoop配置
1.master配置
首先,安装Hadoop-2.7.3,我是直接在要安装的目录下解压,所有在tar -zxvf 后边没有输入其他的路径。
[root@master package]# tar -zxvf hadoop-2.7.3
2.hadoop-env.sh配置
hadoop-2.7.3 的配置文件都在 /root/package/hadoop-2.7.3/etc/hadoop 下
/root/package/hadoop-2.7.3/etc/hadoop
[root@master hadoop]# vim hadoop-env.sh
修改JAVA_HOME值
# The java implementation to use.
export JAVA_HOME=/root/package/jdk1.8.0_121<span style="font-size:12px;">
</span>
3.yarn-env.sh配置
[root@master hadoop]# vim yarn-env.sh
# some Java parameters
export JAVA_HOME=/root/package/jdk1.8.0_121<span style="font-size:12px;">
</span>
4.修改slaves
[root@master hadoop]# vim slaves
将内容修改为
slave1
slave2<span style="font-size:12px;">
</span>
5.core-site.xml配置
<configuration> <!-- 指定hdfs的nameservice为ns1 --> <property> <name>fs.defaultFS</name> <value>hdfs://10.10.11.181:9000</value> </property> <!-- Size of read/write buffer used in SequenceFiles. --> <property> <name>io.file.buffer.size</name> <value>131072</value> </property> <!-- 指定hadoop临时目录,自行创建 --> <property> <name>hadoop.tmp.dir</name> <value>/hadoop/tmp</value> </property> </configuration><span style="font-size:12px;"> </span> |