Linux下清理大批量文件最佳实践

发表于:2010-11-03 10:41

字体: | 上一篇 | 下一篇 | 我要投稿

 作者:毛伟 李尚忠 戴斌    来源:51Testing软件测试网采编

分享:

  在文件删除过程中,我们可以采用以下命令计算每分钟文件删除数量。从下面的输出可以得出,文件删除速度为 1546 文件每分钟:

df – i /data;sleep 60;df – i   /data
Filesystem     Inodes    IUsed    IFree  IUse% Mounted on
/dev/data       2147483584 322465937 1825017647   16% /data
Filesystem     Inodes    IUsed    IFree  IUse% Mounted on
/dev/data       2147483584 322467483 1825016101   16% /data

  通过 `time` 命令对文件删除操作进行计时,从输出结果可以看出,本次文件删除操作一共耗时 1168 分钟(19.5 小时):

time trash_clear.sh

real  1168m0.158s
user   57m0.168s
sys    2m0.056s

  当然,对于 GPFS 文件系统而言,文件系统本身还提供了其他的文件清理方法,譬如可以通过 mmapplypolicy 来执行文件删除操作,通过这种方法,有可能实现更加高效的文件清理任务。本文的目的在于讨论一种通用的大规模文件清理方法,在此就不对基于文件系统所提供功能的文件清理操作做进一步讨论了,感兴趣的读者可以尝试一下。

44/4<1234
精选软件测试好文,快来阅读吧~

关注51Testing

联系我们

快捷面板 站点地图 联系我们 广告服务 关于我们 站长统计 发展历程

法律顾问:上海兰迪律师事务所 项棋律师
版权所有 上海博为峰软件技术股份有限公司 Copyright©51testing.com 2003-2024
投诉及意见反馈:webmaster@51testing.com; 业务联系:service@51testing.com 021-64471599-8017

沪ICP备05003035号

沪公网安备 31010102002173号