Hadoop生态圈各个模板浅析梳理

发表于:2017-2-28 09:50

字体: | 上一篇 | 下一篇 | 我要投稿

 作者:DJ_2017    来源:51Testing软件测试网采编

  1、背景说明
  HDFS文件系统使用一段时间后,可能会出现磁盘空间不足或是磁盘损坏的现象,此时需要对DataNode节点的磁盘进行扩充或是更换,本文对操作流程做一个简单的总结
  2、操作步骤
  · 挂载硬盘
  添加硬盘的操作网上有很多教程,可以参考: http://zwkufo.blog.163.com/blog/static/258825120141283942244/
  · 操作HDFS
  修改hdfs-size.xml配置文件
  只需要在需要配置新目录的datanode节点上,修改hdfs-size.xml文件的dfs.datanode.data.dir属性,目录用逗号分割
  <property>
  <name>dfs.datanode.data.dir</name>
  <value>/opt/PaaS/Talas/data/hdfs,/opt/PaaS/Talas/data/hdfs2</value>
  </property>
  重新加载DataNode配置
  同样只需要操作添加硬盘的Datanode
  ./hdfs dfsadmin -reconfig datanode 10.5.24.139:50020 start
  注:10.5.24.139为目录调整的Datanode节点,Datanode的默认IPC地址为:50020
  查看配置: Hadoop/bin/hdfs dfsadmin -report
  3、说明
  不只是添加数据目录,上述操作步骤对删除数据目录依然有效,只需要删除dfs.datanode.data.dir中对应的目录即可
《2023软件测试行业现状调查报告》独家发布~

关注51Testing

联系我们

快捷面板 站点地图 联系我们 广告服务 关于我们 站长统计 发展历程

法律顾问:上海兰迪律师事务所 项棋律师
版权所有 上海博为峰软件技术股份有限公司 Copyright©51testing.com 2003-2024
投诉及意见反馈:webmaster@51testing.com; 业务联系:service@51testing.com 021-64471599-8017

沪ICP备05003035号

沪公网安备 31010102002173号