isTester.com发起人,某互联网公司测试经理,十年测试经验,公众号“简尚”; 致力于软件测试从业者综合能力提升 & 职场人每日进阶。 微信isTester 》》博客文章未标注转载均属「原创」,转载找老徐授权;

linux下快速转移大量小文件?

上一篇 / 下一篇  2016-08-22 16:50:47 / 个人分类:linux


^'J,_8w x j*t)Sn]P8L0

51Testing软件测试网0`On4Q+tv4B`

记录一个知乎上的提问:
51Testing软件测试网8HMg4OZ5X+n

linux下快速转移大量小文件?

在一个文件夹下,存放有大约30,000,000个小文件,每个文件大小为8K,如何才能快速转移这些文件到另一台服务器? 尝试了SCP,速度非常慢;也尝试了tar ssh传输,同样很慢;ftp这个更不用说了,直接爆了。如果能打包,那一切都不是问题,关键现在打包也很耗时,如果有快速打包方式那问题也可以解决?求助啊!

c7YN#I)B,i(xr0
rsync -ax -e 'ssh -c blowfish' /root/start_dir root@x.x.x.x:/root/dest_dir

^6N Sy{8My0
原文:
http://serverfault.com/questions/18125/how-to-copy-a-large-number-of-files-quickly-between-two-servers

TAG: 软件测试 Linux rsync scp linux

 

评分:0

我来说两句

显示全部

:loveliness: :handshake :victory: :funk: :time: :kiss: :call: :hug: :lol :'( :Q :L ;P :$ :P :o :@ :D :( :)

Open Toolbar