关于我们

导言

近些年来,大数据作为一个新兴名词走进了大众视野,在招聘网站随便一搜,大数据测试工程师的月薪基本都是20K起底,直观地证明了企业对于大数据测试人员的需求。那么,到底什么是大数据测试?大数据测试好不好上手?传统测试和大数据测试之间有什么区别?本次我们有幸邀请到一位大数据测试资深大佬,剖析自身测试经历,帮助大家了解大数据测试,让你在测试道路上更进一步!

专家介绍

李寻欢:某集团高级大数据测试工程师,51Testing软件测试圈认证讲师。

5年以上测试工作经验、1年以上测试团队管理经验,擅长移动测试、性能测试、自动化测试、测试管理等领域,对Python、接口自动化都有所研究。

李寻欢:

某集团高级大数据测试工程师

51Testing软件测试圈认证讲师

5年以上测试工作经验、1年以上测试团队 管理经验,擅长移动测试、性能测试、自 动化测试、测试管理等领域。

51Testing
李寻欢老师您好,大数据测试是近年来新兴起的一个专项领域测试,很多人可能都不太理解它到底是做什么的,能不能谈谈您对大数据测试这个领域的理解?
51Testing
李寻欢老师您好,大数据测试是近年来新兴起的一个专项领域测试,很多人可能都不太理解它到底是做什么的,能不能谈谈您对大数据测试这个领域的理解?
通俗点讲大数据是一个大的数据集合,我们通过传统的计算技术无法进行处理。而这些数据集的测试需要使用各种工具、技术和框架进行处理。大数据涉及数据创建、存储、检索、分析,且它在数量、多样性、速度方法都很出色。尤其是对于电商行业来说,我们可以通过大数据分析用户的各种行为,从而提升用户留存率和销售量,建立起BI商业智能化系统。
展开更多
收起
51Testing
能否请您从测试流程和测试方法角度,谈一谈大数据测试和传统意义上的测试有什么不同?
51Testing
能否请您从测试流程和测试方法角度,谈一谈大数据测试和传统意义上的测试有什么不同?
那我就单纯的从大数据测试和传统数据测试的角度谈一谈。
传统数据的测试我们只要关心两点,即输入端数据是什么,输出端数据就要展示什么,例如我输入1,输出端就要展示1,但是大数据测试不一样,它可能输入1,展示的确实2。
从这个例子就可以看出这两者间的测试流程和测试方法明显是有区别的,大数据的测试流程不单单只有数据的输入端和输出端,测试方法也不是单一的数据对比。
对于大数据而言,无需关注原始数据的正确性,但是我们要在数据的ETL装载过程中去发现问题,例如数据的清洗规则,数据的逻辑合理性,完整性,及时性,准确性等等。
展开更多
收起
51Testing
大数据测试都有哪些测试类型,根据您的经验大数据测试在测试活动中常见的难点都有哪些?
51Testing
大数据测试都有哪些测试类型,根据您的经验大数据测试在测试活动中常见的难点都有哪些?

根据我的经验,大数据测试通常都是测试数据的准确性、唯一性、完整性、一致性、关联性、及时性。

难点在于需要验证更多的数据,并需要更快地完成,需要自动化测试工作,需要能够跨不同的平台进行测试,在ETL过程中每一个节点过程都要保证数据的质量,中间只要一个环节错了就会影响最终的数据产出,最复杂的还是实时数据流的测试,因为这个时候我们还需要测试数据流的性能,检测数据传输的效率和稳定性,确保数据不会发生丢失的情况。

展开更多
收起
51Testing
经常听说数据库测试,数据仓库测试,ETL测试,商业智能(BI)等专有名词,这些是否和大数据测试有关,都有哪些关联性?
51Testing
经常听说数据库测试,数据仓库测试,ETL测试,商业智能(BI)等专有名词,这些是否和大数据测试有关,都有哪些关联性?

数据库,数据库就是把有一定规律结构,相同类型的数据放在一起,不同类型的数据之间相互隔离的空间。
数据仓库,数据仓库是为查询和分析而不是事务处理而设计的数据库,通过整合不同的异构数据源而构建起来的
。使得企业或组织能够将整合、分析数据工作与事务处理工作分离。数据能够被转换、整合为更高质量的信息来满足企业级用户不同层次的需求。
ETL,ETL是Extract-Transform-Load的缩写(提取-转换-载入),是一个完整的从源系统提取数据,进行转换处理,载入至数据仓库的过程。商业智能(BI),BI(Business Intelligence)即商务智能,它是一套完整的解决方案,用来将企业中现有的数据(原始数据或商业数据或业务数据等)进行有效的整合,快速准确地提供报表并提出决策依据,帮助企业做出明智的业务经营决策。原始数据记录了企业日常事务,例如与客户交互的信息、财务信息,员工相关记录等等。这些数据可以用于汇报、分析、挖掘、数据质量、交互、预测分析等从上面这些名词解释就可以看出相互之间是具有关联性的,与大数据都是有关联的,一般我们的业务数据都是存储到数据库中,例如mysql,然后我们通过kafka或者其他方式同步到数据仓库里,例如hive,在hive中根据产品数据需求规则层层清洗出来,这就是ETL的装载过程,然后我们会把这些清洗好的数据再同步到数据库中,最后展示在BI系统页面,所以这些名词相互之间都是关联的。

流程:数据库-数据仓库-ETL装载数据-数据库-BI页面

展开更多
收起
51Testing
大数据测试也分手工测试和自动化测试吗?
51Testing
大数据测试也分手工测试和自动化测试吗?
大数据测试肯定也也分手工测试和自动化测试的,但是目前整个大数据测试领域除了互联网一线大厂外很难做起自动化,因为这需要知识领域广而深的优秀测试人员,这在目前是比较缺乏的。
51Testing
大数据测试常用的工具有哪些?是开源还是收费的?是否上手易学?
51Testing
大数据测试常用的工具有哪些?是开源还是收费的?是否上手易学?
目前在市场上大数据测试常用的工具基本上是没有的,就我接触的各种工具基本上都是公司单独开发的,比如数据工厂,数据字典,数据质量校验,ETL工作流自动化测试。
51Testing
能否和我们分享一则常见的大数据测试业务场景,同学们想了解一下大数据测试和普通测试在测试需求分析及测试用例编写上有哪些主要的区别?
51Testing
能否和我们分享一则常见的大数据测试业务场景,同学们想了解一下大数据测试和普通测试在测试需求分析及测试用例编写上有哪些主要的区别?

不知道大家是否听过神测数据分析,这是一个专门做数据埋点行为的公司,如果我们将埋点行为的数据整合起来去分析用户的各种行为,例如电商公司的提交订单,支付订单,对于这种数据分析的准确性我们是需要进行测试的,大数据测试的测试用例与传统软件测试的测试用例唯一区别就是我们需要把数据的清洗规则转化成sql的形式,去测试数据在ETL装载过程中的准确性,开发所清洗的表结构,字段类型,表的关联关系,数据是否发散等等。我刚刚在公司昨晚大数据测试分享,有时间的话我将分享内容整理成讲堂分享给大家,让大家对大数据测试有更加深入的了解。

下面是大数据的测试过程以及测试用例参考:

展开更多
收起
51Testing
对于刚入行测试行业或者是只有手工黑盒测试经验,想要转型到大数据测试的同学,要如何设定学习路线呢?换句话说,对于那些想入行大数据测试的同学而言,需要具备哪些软硬技能?
51Testing
对于刚入行测试行业或者是只有手工黑盒测试经验,想要转型到大数据测试的同学,要如何设定学习路线呢?换句话说,对于那些想入行大数据测试的同学而言,需要具备哪些软硬技能?
首先得具备一门编程语言,对于数据的处理,我推荐学习python和Scala,当然,你要是还具备java能力就更加优秀了,因为我们在测试过程中还需要测试开发人员写的程序调用jar包,其次我们还需要掌握sql能力,这对于测试数据的清洗逻辑是必备的,最后我们还需要拥有中间件相关知识,例如数据的消费,kafka,redis,mq,还有大数据相关框架Apache Hadoop、Apache Storm、Apache Samza、Apache Spark、Apache Flink等等。
展开更多
收起
51Testing
相较于传统的软件测试,大数据测试人员在薪资上是否有绝对的优势?
51Testing
相较于传统的软件测试,大数据测试人员在薪资上是否有绝对的优势?
大数据测试并没有独立于传统的软件测试,对于测试人员,未来的发展方向要么是管理型,要么是技术性,技术上都是殊途同归的,从技术上来讲,优秀的大数据测试和测试开发薪资基本都是对等的,所以大数据测试人员在薪资上并不具有绝对的优势,最终的薪资高度还是取决于自身的技术能力。
展开更多
收起
51Testing
国内大数据测试的就业前景如何?您作为大数据测试从业者是如何看待大数据测试人员的现状?
51Testing
国内大数据测试的就业前景如何?您作为大数据测试从业者是如何看待大数据测试人员的现状?
目前随着人工智能(AI)的兴起,大数据将无处不在地出现在所有的技术部门,无论是大数据开发还是大数据测试,在行业地位上来说,已经有了不低的地位了,从薪资角度来说,大数据测试大厂普遍20K起,普通公司15K起,最终高度取决于你的能力,目前大数据测试人员的现状基本上都缺乏大数据自动化工具开发的能力,无法对数据进行全链路跟踪,当数据发现问题的时候,需要大量的时间去排查问题,这种优秀的大数据测试人员对于普通公司是尤为欠缺的。
展开更多
收起

福利升级 参与问卷

我是有底线的