1、背景说明
HDFS文件系统使用一段时间后,可能会出现磁盘空间不足或是磁盘损坏的现象,此时需要对DataNode节点的磁盘进行扩充或是更换,本文对操作流程做一个简单的总结
2、操作步骤
· 挂载硬盘
添加硬盘的操作网上有很多教程,可以参考: http://zwkufo.blog.163.com/blog/static/258825120141283942244/
· 操作HDFS
修改hdfs-size.xml配置文件
只需要在需要配置新目录的datanode节点上,修改hdfs-size.xml文件的dfs.datanode.data.dir属性,目录用逗号分割
<property>
<name>dfs.datanode.data.dir</name>
<value>/opt/PaaS/Talas/data/hdfs,/opt/PaaS/Talas/data/hdfs2</value>
</property>
重新加载DataNode配置
同样只需要操作添加硬盘的Datanode
./hdfs dfsadmin -reconfig datanode 10.5.24.139:50020 start
注:10.5.24.139为目录调整的Datanode节点,Datanode的默认IPC地址为:50020
查看配置: Hadoop/bin/hdfs dfsadmin -report
3、说明
不只是添加数据目录,上述操作步骤对删除数据目录依然有效,只需要删除dfs.datanode.data.dir中对应的目录即可