虚拟机使用vmware,vmware可以直接百度下载安装 秘钥也能百度到 安装很简单
CentOS 7下载:
进入官网 https://www.centos.org/download/
这里有三种 第一个是标准版 第二个是全部版 第三个是最小版 每个版本的大小都不一样,这里选择标准版下载。点第一个标准版进入镜像http://isoredirect.centos.org/centos/7/isos/x86_64/CentOS-7-x86_64-DVD-1708.iso这里面有不同的镜像,找一个自己下载快的链接下载就好了。
CentOS 7.3 安装指南
https://www.cnblogs.com/wcwen1990/p/7630545.html
https://linux.cn/article-8048-2.html
关闭防火墙,CentOS7 禁用防火墙跟6不一样
firewall-cmd –reload #重启firewall
systemctl stop firewalld.service #停止firewall
systemctl disable firewalld.service #禁止firewall开机启动
firewall-cmd –state #查看默认防火墙状态(关闭后显示notrunning,开启后显示running)
使用Xshell 连接linux主机。在自己Windows电脑找到:c\windows\system32\drivers\etc\host 配置主机的ip 比如:host中加入下面两句
192.168.1.76 master 192.168.1.106 slave |
Xshell 上传下载命令 rz,sz
CentOS 7系统下配置自定义JDK的教程
http://www.jb51.net/article/116666.htm
export JAVA_HOME=/home/chs/java/jdk1.8.0_171 export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar export PATH=$PATH:$JAVA_HOME/bin |
安装jdk后出如果现bash: ./java: /lib/ld-linux.so.2: bad ELF interpreter: 没有那个文件或目录,原因应该是安装了32位的jdk , 解决办法。最好还是重新安装64位的
第一种 sudo yum install glibc.i686
第二种 安装64位的jdk
Hadoop环境变量
vim /etc/profile
export HADOOP_HOME=/home/chs/hadoop/hadoop-2.7.3 export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH |
source /etc/profile
配置hadoop参数
第一步 进入
vim hadoop-env.sh
找到
export JAVA_HOME=${JAVA_HOME} 修改为 export JAVA_HOME=/home/chs/java/jdk1.8.0_171 |
第二步 修改core-site.xml
vim core-site.xml
<configuration> <property> <name>fs.defaultFS</name> <value>hdfs://master:9000</value>// master是你的主机名字 </property> <property> <name>hadoop.tmp.dir</name> <value>/home/chs/hadoopdata</value>//存放临时数据 </property> </configuration> |
第三步配置hdfs-site.xml
vim hdfs-site.xml
<configuration> <property> <name>dfs.replication</name> //赋值备份 <value>1</value>//hadoop集群默认有3份数据 1是伪分布式 </property> </configuration> |
第四步 配置yarn-site.xml
vim yarn-site.xml
<configuration> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <property> <name>yarn.resourcemanager.address</name> <value>master:18040</value> </property> <property> <name>yarn.resourcemanager.scheduler.address</name> <value>master:18030</value> </property> <property> <name>yarn.resourcemanager.resource-tracker.address</name> <value>master:18025</value> </property> <property> <name>yarn.resourcemanager.admin.address</name> <value>master:18141</value> </property> <property> <name>yarn.resourcemanager.webapp.address</name> <value>master:18088</value> </property> </configuration> |
第五步 配置mapred-site.xml
如果没有这个文件应该有mapred-site.xml.template 复制一份 或 者重命名也行
cp mapred-site.xml.template mapred-site.xml
vim mapred-site.xml
<configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value>//把yarn平台做MapReduce的框架 </property> </configuration> |
配置ip
vim /etc/hosts
192.168.1.120 slave 192.168.1.119 master |
设置ssh免密码登录
ssh-keygen -t rsa cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys 将master中的秘钥复制到slave中 scp ~/.ssh/authorized_keys slave:~/.ssh 将slave中的秘钥复制到master中 scp id_rsa.pub master:~/.ssh/authorized_keys |
如果是伪分布式可以直接格式化重启了,如果不是伪分布式,那就配置slaves附属节点
配置从节点文件 slaves
vim slaves
localhost 改为 slave
复制到从节点中
scp slaves slave:/home/chs/hadoop-2.7.3/etc/hadoop
格式化HDFS 创建namenode的文件结构
hadoop namenode -format 或者 hdfs namenode -format
启动Hadoop
先启动HDFS: start-hdfs.sh
在启动yarn : start-yarn.sh
或者一步到位 start-all.sh
查看是否启动成功 jps
启动之后会看到几个进程:
HDFS的进程:NameNode , DataNode , SecondryNameNode
Yarn的进程 :NodeManager , SourceManager
其中master 中的进程是 : NameNode ,SecondryNameNode ,SourceManager
slave中的进程是:DataNode ,NodeManager
浏览器中: 输入 http://master:50070/ 和 http://master:18088 来检查。
OK完成
上文内容不用于商业目的,如涉及知识产权问题,请权利人联系博为峰小编(021-64471599-8017),我们将立即处理。