使用Kettle增量抽取MongoDB数据实践

您的位置：
门户
>> 文章精选
>> 软件开发专栏
>> 数据库
>> 查看资讯

使用Kettle增量抽取MongoDB数据实践

发表于：2016-7-26 10:20

字体：大中小 | 上一篇 | 下一篇 | 我要投稿

作者：JC5353 来源：51Testing软件测试网采编

软件开发

数据库

　　需求: 增量抽取MongoDB数据并加载到MSSQL

　　由于不能使用关系型数据库的自定义SQL, 所以主要遇到的问题有:

　　1、增量时间的查询和参数控制

　　2、ETL的批次信息和调用参数的写入

　　第一个问题的解决如下:

　　使用命名参数在Query页中进行过滤, 一开始会担心${}的引用方式会用Mongo的语法冲突, 测试后发现运行正常

　　第二个问题:

　　先为结果增加常量值, 如常量值固定则直接写死, 不固定的常量值先设置为空串, 在后面使用字符串替换组件传入命名参数, 最后用字段选择把空串的常量值移除

《2023软件测试行业现状调查报告》独家发布~

搜索风云榜

测试技术了解

2023测试行业调查报告

挣点稿费

AI与软件测试

文章资料精选

使用Kettle增量抽取MongoDB数据实践

热门推荐

搜索风云榜

关注51Testing

相关阅读

热门标签

博文推荐

热点聚焦

最近讲堂

银行支付系统之贷记往账

安全测试工具-二进制安全[基础篇(四)]

资深性能测试工程师的成长之路(七)：如何设计定向监控

联系我们

文章资料精选

使用Kettle增量抽取MongoDB数据实践

热门推荐

搜索风云榜

关注51Testing

相关阅读

热门标签

博文推荐

热点聚焦

最近讲堂

银行支付系统之贷记往账

安全测试工具-二进制安全[基础篇(四)]

资深性能测试工程师的成长之路(七)：如何设计定向监控

友情链接

联系我们