引言
DistCp命令是hadoop用户最常使用的命令之一，它位于hadoop tools包中，代码不多，约1300多行，主要用于在两个HDFS集群之间快速拷贝数据。DistCp工具代码结构清晰易懂，通过分析该工具的代码有助于我们更好的理解MR编程框架，并可以对hdfs文件系统有一个初步的了解。
用法
DistCp使用方法如下表所示：
OPTIONS: -p[rbugp] Preserve status r: replication number b: block size u: user g: group p: permission -p alone is equivalent to -prbugp -i Ignore failures -log <logdir> Write logs to <logdir> -m <num_maps> Maximum number of simultaneous copies -overwrite Overwrite destination -update Overwrite if src size different from dst size -f <urilist_uri> Use list at <urilist_uri> as src list -filelimit <n> Limit the total number of files to be <= n -sizelimit <n> Limit the total size to be <= n bytes -delete Delete the files existing in the dst but not in src |
这里-p、-m、-overwrite都是常用参数，大多数情况下我们期望拷贝后数据权限保持一致，通过-p参数来完成权限一致性，拷贝并行度则由-m参数来调节。至于-overwrite往往和-delete合用，用来起到dst和src的一个diff功能。至于-update是很不靠谱的参数，因为只有当源和目标文件的大小不一致时distcp才会覆盖拷贝，如果大小一致，虽然内容不同distcp也依然会跳过这个文件不做拷贝。
源代码与过程分析
DistCp实现了org.apache.hadoop.util.Tool这个接口，这个接口实际只有一个有用的方法声明，即“int run(InputStream in, OutputStream out, OutputStream err,String... arguments);”通过ToolRunner这个类调度运行。
DistCp解析完参数后，首先通过源路径检测并获得文件系统句柄。然后进入setup方法：
private static void setup(Configuration conf, JobConf jobConf,
final Arguments args)
该方法是DistCp做准备工作的地方，首先是结合一个随机数生成一个工作目录，并将该目录路径作为参数传递给Mapper，在这个目录下会生成两个文件“_distcp_src_files”和“_distcp_dst_files”，这两个文件都是SequenceFile，即Key/Value结构的序列化文件，这里将记录所有需要拷贝的源目录/文件信息列表。其中_distcp_src_files 的key是源文件的size，如果是目录则记录为0，value是自己实现的Writable接口类FilePair，记录目标节点的org.apache.hadoop.fs.FileStatus和路径。_distcp_dst_files的key是目标路径，和节点的FileStatus。这两个文件是DistCp工具的关键点，在setup方法中，DistCp通过递归遍历了要拷贝的所有源头数据列表，生成了这两个文件。
随后，DistCp会以268435456字节（256MB）为切分单位计算map数，这个数值可以通过-sizelimit参数进行人为修改。DistCp构造了自己的InputSplit，将_distcp_src_files文件以刚才所说的值为单位进行切分，如果设定了-m参数，则会按照该参数设定的map数为基准进行切分。这里需要注意切分的map数不会恰好等于-m参数设定的值，由于不能整除的原因，总会或多或少的偏离一点设定值。
