Hadoop学习(一)环境安装和集群创建

发表于:2018-5-31 09:46

字体: | 上一篇 | 下一篇 | 我要投稿

 作者:mingyunxiaoha    来源:CSDN

#
hadoop
#
Hadoop
分享:
  虚拟机使用vmware,vmware可以直接百度下载安装 秘钥也能百度到 安装很简单
  CentOS 7下载: 
  进入官网 https://www.centos.org/download/ 
  这里有三种 第一个是标准版 第二个是全部版 第三个是最小版 每个版本的大小都不一样,这里选择标准版下载。点第一个标准版进入镜像http://isoredirect.centos.org/centos/7/isos/x86_64/CentOS-7-x86_64-DVD-1708.iso这里面有不同的镜像,找一个自己下载快的链接下载就好了。
  CentOS 7.3 安装指南 
  https://www.cnblogs.com/wcwen1990/p/7630545.html 
  https://linux.cn/article-8048-2.html
  关闭防火墙,CentOS7 禁用防火墙跟6不一样 
  firewall-cmd –reload #重启firewall 
  systemctl stop firewalld.service #停止firewall 
  systemctl disable firewalld.service #禁止firewall开机启动 
  firewall-cmd –state #查看默认防火墙状态(关闭后显示notrunning,开启后显示running)
  使用Xshell 连接linux主机。在自己Windows电脑找到:c\windows\system32\drivers\etc\host 配置主机的ip 比如:host中加入下面两句
  192.168.1.76  master
  192.168.1.106  slave
  Xshell 上传下载命令 rz,sz
  CentOS 7系统下配置自定义JDK的教程 
  http://www.jb51.net/article/116666.htm
  export JAVA_HOME=/home/chs/java/jdk1.8.0_171
  export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
  export PATH=$PATH:$JAVA_HOME/bin
  安装jdk后出如果现bash: ./java: /lib/ld-linux.so.2: bad ELF interpreter: 没有那个文件或目录,原因应该是安装了32位的jdk , 解决办法。最好还是重新安装64位的 
  第一种 sudo yum install glibc.i686 
  第二种 安装64位的jdk
  Hadoop环境变量 
  vim /etc/profile
  export HADOOP_HOME=/home/chs/hadoop/hadoop-2.7.3
  export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
  source /etc/profile
  配置hadoop参数
  第一步 进入
  vim hadoop-env.sh 
  找到
  export JAVA_HOME=${JAVA_HOME}
  修改为
  export JAVA_HOME=/home/chs/java/jdk1.8.0_171
  第二步 修改core-site.xml
  vim core-site.xml
  <configuration>
  <property>
  <name>fs.defaultFS</name>
  <value>hdfs://master:9000</value>// master是你的主机名字
  </property>
  <property>
  <name>hadoop.tmp.dir</name>
  <value>/home/chs/hadoopdata</value>//存放临时数据
  </property>
  </configuration>
  第三步配置hdfs-site.xml
  vim hdfs-site.xml
  <configuration>
  <property>
  <name>dfs.replication</name>  //赋值备份
  <value>1</value>//hadoop集群默认有3份数据  1是伪分布式
  </property>
  </configuration>
  第四步 配置yarn-site.xml
  vim yarn-site.xml
  <configuration>
  <property>
  <name>yarn.nodemanager.aux-services</name>
  <value>mapreduce_shuffle</value>
  </property>
  <property>
  <name>yarn.resourcemanager.address</name>
  <value>master:18040</value>
  </property>
  <property>
  <name>yarn.resourcemanager.scheduler.address</name>
  <value>master:18030</value>
  </property>
  <property>
  <name>yarn.resourcemanager.resource-tracker.address</name>
  <value>master:18025</value>
  </property>
  <property>
  <name>yarn.resourcemanager.admin.address</name>
  <value>master:18141</value>
  </property>
  <property>
  <name>yarn.resourcemanager.webapp.address</name>
  <value>master:18088</value>
  </property>
  </configuration>
  第五步 配置mapred-site.xml
  如果没有这个文件应该有mapred-site.xml.template 复制一份 或 者重命名也行
  cp mapred-site.xml.template mapred-site.xml
  vim mapred-site.xml
  <configuration>
  <property>
  <name>mapreduce.framework.name</name>
  <value>yarn</value>//把yarn平台做MapReduce的框架
  </property>
  </configuration>
  配置ip 
  vim /etc/hosts
  192.168.1.120  slave
  192.168.1.119  master
  设置ssh免密码登录
  ssh-keygen -t rsa
  cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys
  将master中的秘钥复制到slave中
  scp ~/.ssh/authorized_keys slave:~/.ssh
  将slave中的秘钥复制到master中
  scp id_rsa.pub master:~/.ssh/authorized_keys
  如果是伪分布式可以直接格式化重启了,如果不是伪分布式,那就配置slaves附属节点
  配置从节点文件 slaves 
  vim slaves 
  localhost 改为 slave 
  复制到从节点中 
  scp slaves slave:/home/chs/hadoop-2.7.3/etc/hadoop
  格式化HDFS 创建namenode的文件结构
  hadoop namenode -format   或者 hdfs namenode -format
  启动Hadoop 
  先启动HDFS: start-hdfs.sh 
  在启动yarn : start-yarn.sh 
  或者一步到位 start-all.sh 
  查看是否启动成功 jps
  启动之后会看到几个进程: 
  HDFS的进程:NameNode , DataNode , SecondryNameNode 
  Yarn的进程 :NodeManager , SourceManager
  其中master 中的进程是 : NameNode ,SecondryNameNode ,SourceManager 
  slave中的进程是:DataNode ,NodeManager
  浏览器中: 输入 http://master:50070/ 和 http://master:18088 来检查。
  OK完成



上文内容不用于商业目的,如涉及知识产权问题,请权利人联系博为峰小编(021-64471599-8017),我们将立即处理。
《2023软件测试行业现状调查报告》独家发布~

关注51Testing

联系我们

快捷面板 站点地图 联系我们 广告服务 关于我们 站长统计 发展历程

法律顾问:上海兰迪律师事务所 项棋律师
版权所有 上海博为峰软件技术股份有限公司 Copyright©51testing.com 2003-2024
投诉及意见反馈:webmaster@51testing.com; 业务联系:service@51testing.com 021-64471599-8017

沪ICP备05003035号

沪公网安备 31010102002173号