Hadoop之回收站

发表于:2017-5-15 10:13

字体: | 上一篇 | 下一篇 | 我要投稿

 作者:XZC.Log    来源:BlogJava-专家区

  一、回收站简介:
  在HDFS里,删除文件时,不会真正的删除,其实是放入回收站/trash,回收站里的文件可以快速恢复。
  可以设置一个时间阀值,当回收站里文件的存放时间超过这个阀值或是回收站被清空时,文件才会被彻底删除,并且释放占用的数据块。
  二、实例:
  Hadoop的回收站trash功能默认是关闭的,所以需要在core-site.xml中手动开启。
  1、修改core-site.xml,增加:
  <property>  <name>fs.trash.interval</name>  <value>1440</value>  <description>Number of minutes between trash checkpoints.  If zero, the trash feature is disabled.  </description>  </property>
  默认是0,单位是分钟,这里设置为1天。
  删除数据rm后,会将数据move到当前文件夹下的.Trash目录。
  2、测试
  1)、新建目录input
  hadoop/bin/hadoop fs -mkdir input
  2)、上传文件
  root@master:/data/soft# hadoop/bin/hadoop fs -copyFromLocal /data/soft/file0* input
  3)、删除目录input
  [root@master data]# hadoop fs -rmr input  Moved to trash: hdfs://master:9000/user/root/input
  4)、查看当前目录
  [root@master data]# hadoop fs -ls  Found 2 items  drwxr-xr-x - root supergroup 0 2011-02-12 22:17 /user/root/.Trash
  发现input删除了,多了一个目录.Trash
  5)、恢复刚刚删除的目录
  [root@master data]# hadoop fs -mv /user/root/.Trash/Current/user/root/input /user/root/input
  6)、查看恢复的数据
  [root@master data]# hadoop fs -ls input  Found 2 items  -rw-r--r-- 3 root supergroup 22 2011-02-12 17:40 /user/root/input/file01  -rw-r--r-- 3 root supergroup 28 2011-02-12 17:40 /user/root/input/file02
  7)、删除.Trash目录(清理垃圾)
  [root@master data]# hadoop fs -rmr .Trash  Deleted hdfs://master:9000/user/root/.Trash
《2023软件测试行业现状调查报告》独家发布~

关注51Testing

联系我们

快捷面板 站点地图 联系我们 广告服务 关于我们 站长统计 发展历程

法律顾问:上海兰迪律师事务所 项棋律师
版权所有 上海博为峰软件技术股份有限公司 Copyright©51testing.com 2003-2024
投诉及意见反馈:webmaster@51testing.com; 业务联系:service@51testing.com 021-64471599-8017

沪ICP备05003035号

沪公网安备 31010102002173号