一、环境配置
JDK：1.8.
Hadoop下载地址(我选择的是2.7.6版本)：https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/
Hadoop运行在Windows上需要安装winutils支持和hadoop.dll文件。
winutils(我选择的是2.7.1版本)下载地址：https://github.com/steveloughran/winutils。
将文件解压到D盘根目录。
二、配置环境变量。
需要配置4个环境变量(JAVA相关自行百度)。
HADOOP_HOME：D:\hadoop-2.7.6
HADOOP_CONF_DIR：%HADOOP_HOME%\etc\hadoop
YARN_CONF_DIR：%HADOOP_CONF_DIR%
PATH添加%HADOOP_HOME%/bin
三、搭建winutils环境。
将下载的winutils(选择2.7.1版本中的文件放到) D:\hadoop-2.7.6\bin 文件夹中。
四、Hadoop环境配置。
首先，进入hadoop文件夹下的etc\hadoop文件夹，文件夹下修改文件：
修改core-site.xml为如下代码：
<configuration> <property> <name>fs.defaultFS</name> <value>hdfs://localhost:9000</value> </property> </configuration> |
修改mapred-site.xml为如下代码：
<configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> </configuration> |
修改hdfs-site.xml如下：
<configuration> <property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>/D:/hadoop-2.7.6/data/namenode</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>/D:/hadoop-2.7.6/data/datanode</value> </property> </configuration> |
修改yarn-site.xml为：
<configuration> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <property> <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name> <value>org.apache.hadoop.mapred.ShuffleHandler</value> </property> </configuration> |
修改hadoop-env.cmd，JAVA_HOME设置为 set JAVA_HOME=C:\Java\jdk1.8.0_144，并在尾部添加
set HADOOP_IDENT_STRING=%USERNAME%
set HADOOP_PREFIX=D:\hadoop-2.7.6
set HADOOP_CONF_DIR=%HADOOP_PREFIX%\etc\hadoop
set YARN_CONF_DIR=%HADOOP_CONF_DIR%
set PATH=%PATH%;%HADOOP_PREFIX%\bin
在D:\hadoop-2.7.6\etc\hadoop文件夹下创建slaves.txt文件，并在其中添加localhost
五、运行Hadoop
打开cmd，执行‘hdfs namenode -format’,执行没有报错，说明成功。
然后进入hadoop目录下sbin文件夹，双击start-all.cmd,得到如下图所示四张图：
打开cmd，输入jps。可以看到如下提示。
搭建成功。
搭建过程中遇到问题。
1、NameNode文件夹不存在，我手动在路径中添加文件夹。()
2、启动后报错NameNode文件夹没有format。打开cmd，输入hadoop namenode -format。重新启动start-all.cmd文件。
3、经过上部，发现ResourceManager又出问题。启动stop-all.sh，然后start-all.sh，然后start-all.cmd。
上诉3步过后，系统搭建OK。
上文内容不用于商业目的，如涉及知识产权问题，请权利人联系博为峰小编(021-64471599-8017)，我们将立即处理。
