前言
前段时间做了一次数据迁移,针对数据迁移类型的测试方法进行了一些了解和总结,以下工具愚公移山和精卫为淘宝开发的工具,已使用于多个产品、项目中,质量有保障。
一、工具介绍
1、愚公移山
概述:
数据的动态迁移,可完成数据全量、增量迁移,进行数据比对,保证数据的正确;目前较多运用在数据迁移中,已经被很多团队使用,是很成熟可靠的数据迁移工具
适用范围:
可支持:支持oracle和mysql,分库分表,实时同步,数据比对
不支持:涉及到外部依赖,迁移规则非常复杂的数据
性能情况:
没有对愚公进行压测,性能情况参考以下的例子
例子:迁移一个1000万的表。 16个线程,开启批量写入,半个小时以内完成。
影响点:机器的负载,并行的任务数,配置的线程数
愚公百科:(不知道可以可以贴!有需要可联系作者)
2、精卫工具
概述:
精卫是一个基于MySQL数据库的数据复制组件,较多运用在数据双写的场景中,是比较成熟的一个数据复制组件
解析数据库的binlog文件,A库的所有的数据变更传到B库。binlog:描述数据变更的文件
适用范围:
同库不同表数据复制、多库多表数据冗余、标准化去O支持、数据变化通知
性能情况:
性能压测,性能结果满足交易主库同步备库需求
例子:主库1000tps,延迟在50sms以内
【精卫+metaq性能测试结论.msg】
精卫百科:(不知道可以可以贴!)