Hadoop伪分布式安装

发表于:2017-4-14 10:16

字体: | 上一篇 | 下一篇 | 我要投稿

 作者:langguojie    来源:博客园

#
hadoop
分享:
  首先在虚拟机VMware下安装linux系统CentOS,安装基本上是一键式操作,利用Xshell连接,输入主机名,然后点击左侧导航栏的用户身份验证,输入用户名密码即可。
  1.安装过程中所用到的基本命令有:
  cat:是查看某个文件的内容
  vi:编辑某个文件输入i进入插入模式编辑,按esc退出插入模式
  :wq 保存退出
  :q!不保存退出
  su:切换到root用户
  exit:退出root用户
  pwd:查看当前目录
  cd:切换目录
  tar -zxvf 文件名:解压文件
  2.[lang@centos-lang ~]$
  lang是用户名称
  centos-lang是主机名称
  ~就是当前登录的用户的家目录
  3.安装jdk
  3.1 上传解压jdk,利用Xftp上传文件到linux系统,我在这里建立software文件夹,并上传到这里
  3.2 修改环境变量
  修改/etc/profile配置文件,在末尾添加
  JAVA_HOME=/home/lang/software/jdk1.8.0_121
  export PAHT=$PATH:$JAVA_HOME/bin
  如图:
  其中可以进入到jdk根目录下查看路径,如图:
  3.3使profile文件生效,安装完成
  3.4 查看安装的jdk
  4.hadoop伪分布式安装
  4.1 上传解压,步骤和上传解压jdk类似
  4.2 修改$HADOOP_HOME/etc/hadoop/core-site.xml
  <configuration>
  <property>
  <name>fs.defaultFS</name>
  <value>hdfs://centos-lang:9000</value>
  </property>
  </configuration>
  4.3 修改$HADOOP_HOME/etc/hadoop/hdfs-site.xml
  <configuration>
  <property>
  <name>dfs.replication</name>
  <value>1</value>
  </property>
  </configuration>
  4.4. 修改$HADOOP_HOME/etc/hadoop/hadoop-env.sh
  export JAVA_HOME=/home/lang/software/jdk1.8.0_121
  4.5. 把文件系统进行格式化(只能操作一次)
  $HADOOP_HOME/bin/hdfs namenode -format
  如果要第二次格式化,切换到/tmp里,执行rm -rf * 如图,然后在进行格式化
  4.6. 修改hosts文件
  切换到root用户,进入到hosts文件编辑,添加ip地址以及主机名
  4.7. 启动HDFS
  $HADOOP_HOME/sbin/start-dfs.sh
  如果没有进行SSH免密登录,需要输入三次密码即可
  SSH免密登录
  配置的时候,需要生成两个文件公钥和私钥,私钥自己保存,把公钥给对方。
  生成公钥和私钥:ssh-keygen
  把公钥给信任主机:ssh-copy-id 主机名
  4.8 打开jps查看进程,启动成功说明配置成功
《2023软件测试行业现状调查报告》独家发布~

关注51Testing

联系我们

快捷面板 站点地图 联系我们 广告服务 关于我们 站长统计 发展历程

法律顾问:上海兰迪律师事务所 项棋律师
版权所有 上海博为峰软件技术股份有限公司 Copyright©51testing.com 2003-2024
投诉及意见反馈:webmaster@51testing.com; 业务联系:service@51testing.com 021-64471599-8017

沪ICP备05003035号

沪公网安备 31010102002173号