基于hadoop的单元测试mock技术分享

发表于:2012-12-25 11:31

字体: | 上一篇 | 下一篇 | 我要投稿

 作者:赵烈    来源:51Testing软件测试网采编

分享:

  6、最关键的需要从HTable中拿到数据,为此我需要Mock Get对象作为get方法的参数,同时需要构造我希望拿到的Result类型的数据。最后通过PowerMockito,when调用shop_info.get(gtShopInfo)这个HTable对象的方法时,期望thenReturn一个事先定义好的shop_info_result对象。

Get gtShopInfo = PowerMockito.mock(Get.class);
       PowerMockito.whenNew(Get.class)
              .withArguments("126:38934426".getBytes())
              .thenReturn(gtShopInfo);
       List<KeyValue> kv_shop_info = new ArrayList<KeyValue>();
       kv_shop_info.add(new KeyValue("126:38934426".getBytes(), "sp_shop_info"
              .getBytes(), "feature".getBytes()));
       Result shop_info_result = new Result(kv_shop_info);
       PowerMockito.when(shop_info.get(gtShopInfo)).thenReturn(shop_info_result);

  准备好所有的mock之后,ShopScanMap这里还需要准备一些测试数据,不过比较简单,就不多说了。

  万事俱备后,就可以调用各种mock之后的main_process方法,拿到期望的结果

int r = map.mainProcess(mapOutPut, fBmwShops, shop_id, timeBill_shop,
              timeBill_user);
       /**
       * 这里没做断言,只是输出返回值和mapOutPut的内容
       */
       System.out.println(r);
       System.out.println(mapOutPut.toString());

  个人感受:

  这里举的例子是很艰苦的,我做这个例子做的很吐血。由于我水平的有限,测试代码本身应该还有很大优化的空间。

  实际上通过优化开发代码的设计,剥离出业务逻辑,使我们只关注核心业务逻辑,这样能够从另一方面大大降低单元测试的成本。比如ShopScanMap的do_seller, do_prepay等封装的就很好。

  另外可以看出我动用了很多手段,才算完成这个mock工作。但是这个工作是重复性的,可以复用的价值很低。非常需要一整套基于hadoop之上的完整mock方案。我调研过mrunit和淘宝搞的ITest-hadoop。前者局限性比较大,而且太靠近map/reduce层面,对业务逻辑的关注力度不够,很不顺手;后者实际上是基于hadoop自带模拟集群的MiniDFSCluster, MiniMRCluster, MiniHBaseCluster三个类来实现的代码层面的集成测试,按照之前单元测试的定义,我不认为这是一种常规的单元测试方案,而且成本也挺高的。不过ITest-hadoop框架的优点是提供了一个在本地开发环境就能自测的完整方案,可以作为一个备用方案。

  这里和大家分享分享一些UT的思路,希望大家抛砖,希望能够一起学习,共同进步。

  附上POM的依赖

<dependency>
           <groupId>org.mockito</groupId>
           <artifactId>mockito-all</artifactId>
           <version>1.8.5</version>
       </dependency>
       <dependency>
           <groupId>org.powermock</groupId>
           <artifactId>powermock-module-junit4</artifactId>
           <version>1.4.10</version>
       </dependency>
       <dependency>
           <groupId>org.powermock</groupId>
           <artifactId>powermock-api-mockito</artifactId>
           <version>1.4.10</version>
       </dependency>

33/3<123
100家互联网大公司java笔试题汇总,填问卷领取~

精彩评论

  • cathleen_417
    2012-12-26 10:16:39

    表示看不太懂,因为没做过呢

关注51Testing

联系我们

快捷面板 站点地图 联系我们 广告服务 关于我们 站长统计 发展历程

法律顾问:上海兰迪律师事务所 项棋律师
版权所有 上海博为峰软件技术股份有限公司 Copyright©51testing.com 2003-2023
投诉及意见反馈:webmaster@51testing.com; 业务联系:service@51testing.com 021-64471599-8017

沪ICP备05003035号

沪公网安备 31010102002173号