小白看云,一份非主流测试报告

发表于:2015-7-30 11:08

字体: | 上一篇 | 下一篇 | 我要投稿

 作者:白眼方振眉    来源:小黑羊JoinWings

  小白工作十载,创业数年,玩云计算3年有余。面对如今互联网+和云计算大行其道,一时兴起,中国的云厂商(百家混战)和洋厂商(如AWS、Azure)做了一番比较。
  本次比较不是看脸,重在测试性能,小白想给大家分享一些经验(和教训)。
  由于八年来小白一直奋战在性能测试领域,所以觉得有些基本概念首先需要理清楚:
  性能&稳定性之我见
  世俗说的“性能”,Performance,这是一个已经被玩坏的概念,不管是国内、还是国外。
  其实,Performance(性能)的真实定义包含了Performance(性能) + Stability(稳定性)两个东东:
  性能 = 性能 (第1天的成绩) + 稳定性 (后面364天的成绩)
  “性能”其实只是第1天我们去评测一个产品的时候,拿个工具来跑个分数(大家是不是对身边这样的事情感同身受?),看看孰优孰劣,此时立马下结论未免有些唐突。因为,我们只看到了这个产品一瞬间(短期内)的性能表现。
  “稳定性”呢,其实可以说全名叫“性能稳定性”,表明的是这个产品能否在长时间一直保持好成绩,还是会时好时坏、忽高忽低,不管是几小时还是几分钟或几秒钟的抖动。
  性能 = 裸机性能 vs 实际性能
  有不少身边的人,包括我之前,都会“盲目”地下载些所谓的测试程序,去各家虚拟机上跑个分,然后不分青红皂白就下定论(纯看CPU、内存、磁盘I/O分数高低)。其实不然,实际使用情况会很不一样。
  举个栗子:一台i3和i7的笔记本评分肯定有差别,但跑一个游戏的时候很可能感觉不到任何差别。
  纯看评分的话,小米还比iPhone强呢。
  性能&稳定性之我测
  下面小白把实际测试结果跟大家分析一下:
  云主机实际应用性能
  场景一:云主机搭载MySQL(最常用情况)
  如图,挑选了4家国内厂商,金山云和阿里云表现差不多(阿里云是出乎我意料的,因为很久之前单给I/O跑分的时候阿里云的I/O表现并不算太好),而UCloud要比金山云和阿里云差20%,这也是出乎我意料的,因为UCloud的I/O性能是比较突出的。
  仔细想想,小白分析出很重要的一点是,在这种实际应用场景下,是一个综合考量,CPU、内存、磁盘I/O都会结合应用,数据库的实际使用如果大量走I/O的话一定是code有问题了,通常很多热数据都是在内存里的,所以与I/O的关系不是最大。
  场景二:云主机搭载MongoDB(次常用情况)
  如上图所示,金山、UCloud、阿里云基本旗鼓相当,青云和华为云落后高达40%左右,其背后的原因同上。
  云主机基础性能测试
  所谓的基础性能,就是指单单给CPU、内存、I/O测试性能,虽然在我看来还是low了点,毕竟处于严谨性的目的还是要搞一把的。
  当然,小白这里将列举性能、稳定性两个方面:
  先告知一下,用的工具是sysbench和ubench,都玩了,以防因工具不同出现偏差。
  稳定性的话是将云服务器持续不断跑了7天以上,这个就很有意思,有些厂商会因为时间段的关系出现周期性的大幅差异(抖动),有些厂商即使在长期看似平稳,但每时每刻的抖动幅度却很大,能不能接受这类抖动真的见仁见智了,反正我做的项目对于稳定性要求比较高,不能影响客户体验。
  性能上,其实很多玩计算机的人都明白,CPU真的差10%-15%之间,或者内存差10%-15%之间,在跑应用时是基本感觉不出来差别的。就好比iPhone 6比iPhone 5s硬件要好,难道玩愤怒的小鸟的时候,用iPhone 6那只鸟还能飞快一点吗?所以CPU和内存差15%之内,对于选机器而言,基本是无所谓的。但磁盘性能其实是有感觉的,理由很简单,一台装SSD的笔记本开机肯定比SATA盘的笔记本快。
  稳定性上,无论是CPU、内存、还是磁盘,都是有强烈感觉的!好比忽高忽低的心跳,谁能受得了。前一秒应用的体验还非常好,后一秒就卡了,相信很多人都碰到过类似经验。
  注意一下,稳定性的值小白采用的是统计学上常用的Correlation值,中文应该叫离散度,Correlation= Sigma / Mean,即离散度 = 标准差/平均值。这是一个不带单位的数值,可以与任何东西比较离散程度。该值越小越好,基本上世面上大多采用的是0.02,即小于0.02的都被认为是非常平稳,比0.02大的就属于心律不齐了。例如0.04甚至是0.1,如果把长期的数据点plot出来,会是一张很恐怖很血腥的滴血图……
21/212>
《2023软件测试行业现状调查报告》独家发布~

精彩评论

关注51Testing

联系我们

快捷面板 站点地图 联系我们 广告服务 关于我们 站长统计 发展历程

法律顾问:上海兰迪律师事务所 项棋律师
版权所有 上海博为峰软件技术股份有限公司 Copyright©51testing.com 2003-2024
投诉及意见反馈:webmaster@51testing.com; 业务联系:service@51testing.com 021-64471599-8017

沪ICP备05003035号

沪公网安备 31010102002173号