作者: 大椿菜 / 发表于 2021-01-07 15:42:07

　　先交代一下背景，上游各种业务系统数据进入到TIDB，再TIDB到HIVE。开发同事开发一个报表，需要写flow，一个flow会包含一个或者多个job。每个job就是执行sql，从HIVE表中查询数据，根据业务逻辑计算数据，将结...

作者: 大椿菜 / 发表于 2021-01-07 14:55:05

　　一.功能性测试　　大数据功能主要涉及系统实现面向大数据分析应用的POSIX API，包括文件读取与访问控制，元数据操作，锁操作等功能。　　大数据分析系统的POSIX语义不同，实现的文件系统API也不同，功能测试要...

作者: 大椿菜 / 发表于 2021-01-06 16:46:17

　　概述　　在我们学习ETL测试之前，先了解下business intelligence(即BI)和数据仓库。　　什么是BI？　　BI（Business Intelligence）即商务智能，它是一套完整的解决方案，用来将企业中现有的数据（原始数据或...

作者: 大椿菜 / 发表于 2021-01-06 16:38:51

　　概述　　商业信息和数据对于任何一个企业而言都是至关重要的。现在很多公司都投入了大量的人力、资金和时间对这些信息、数据进行分析和整理。　　数据的分析和整理已经获得了巨大的潜在市场，因此为了使得这个...

作者: 大椿菜 / 发表于 2021-01-06 15:52:08

　　大数据，已经成为了一个时代的代名词，当今的互联网属于大数据时代，大数据时代的到来，颠覆了以往对数据的惯性思考方式，要保证数据执行，软件质量，测试质量，数据使用场景等，都需要重新变换一个新的角度，...

作者: 大椿菜 / 发表于 2021-01-06 15:44:39

　　作为初学者经常会对Hive和Hbase产生疑问，不知道两者是干啥的，有啥区别，总觉得都是存储数据的。其实他们还真是有本质区别的，请听我慢慢道来~　　Hbase是nosql数据库，以key-value形式存储数据的，主要用于...

作者: 大椿菜 / 发表于 2021-01-06 15:34:31

　　需求描述：需要测试cdh集群的组件的性能和稳定性。　　压力测试工具选型：HiBench　　HiBench测试工具说明：　　HiBench是一套基准测试套件，用于帮助我们评估不同的大数据框架性能指标(包括处理速度、吞吐等...

作者: 大椿菜 / 发表于 2021-01-05 11:46:12

　　如何增加大数据方面的经验　　首先获得这方面的工作机会：我这个人是主张工作驱动技术成长的类型。选定一个方向，然后拼命的学习这个方向的知识，之后不管是求是骗还是去忽悠都要进入做这个方向的公司去锻炼，...

作者: 大椿菜 / 发表于 2021-01-05 11:41:28

　　。ETL是什么？其实ta指的是一个过程，就是大数据中对数据处理的过程（抓取>转换>装载），并不是一个技术！　　总而言之ETL测试的核心就是要保证数据的正确性、一致性，其他都是浮云~　　常见的ETL测试方...

作者: 大椿菜 / 发表于 2021-01-05 11:35:39

　数据质量定义　　先搜索了一把，发现当前对于数据质量的定义没有一个共识的定义，通过阅读一些资料，做了些总结，可以从以下几个方面来定义数据质量：　　从用户层级定义数据质量：即满足特定用户预期需要的程度...