大数据分批处理测试的经验分享

上一篇 / 下一篇 2018-04-11 14:07:49 / 天气: 舒适 / 精华(1) / 个人分类：测试技术

随着业务和用户量的不断增加，系统的数据量变得庞大而复杂，如果全量数据一起处理，会影响系统的响应性能，甚至导致系统罢工，所以业务功能实现时需要做分批处理。

最近测试中，遇到的问题主要在以下两方面：

1. 性能方面，需要考虑处理时间

数据改成分批处理后，处理时间会加长，需要评估处理的时间是否在可接受访问内；特别是对于一些定时任务的处理，数据改成分批处理，处理时间加长，是否会影响有依赖关系的定时器任务获取不到数据。

2. 逻辑实现方面，需要考虑动态数据的处理

1）分批写入

对于动态数据，分批写入，是否会写入重复的数据。

2）分批删除

是否会出现隔页删除数据。

TAG: