5.2 实验中需要用到的公式和评估标准
需要获取信息：
对照组原首页一定时间内独立访问用户数：Ncont，点击注册按钮的独立用户数：Xcont，最小显著性：dmin，置信度区间:95%时z=1.68。
观察组新版首页一定时间内独立访问用户数：Nexp，点击注册按钮的独立用户数：Xexp。
计算合并标准误差：
Ppool=(Xcont+Xexp)/(Ncont+Nexp)
SEpool=√￣(Ppool*(1-Ppool)*(1/Ncont+1/Nexp))
d=Pexp-Pcont
m=z*SEpool
(d-m,d+m)
通过上诉公式套用，可以计算出d和m值，那么在什么情况下可以判定优化后是否具有实际显著性，全面推广改版呢？
如下图所示，当d>0时，d-m>dim我们说更新具有显著效果
当d<0时，d+m<-dim，我们可以得出结论，实验版本失败。
其他情况要么得出实验不具有统计显著性，要么需要进一步调整优化实验。
5.3 数值案例分析
经测算我们得出如下数据：
Xcont=974，Ncont=10072，Xexp=1242，Nexp=9986，dmin=2%，置信区间选择95%，则z=1.96
Ppool=(Xcont+Xexp)/(Ncont+Nexp)=（974+1242）/(10072+9986)=0.111
SEpool=√￣(Ppool*(1-Ppool)*(1/Ncont+1/Nexp))=√￣(0.111*(1-0.111)*(1/10072+1/9986))=0.00445
d=Xexp/Nexp-Xcont/Ncont=1242/9986-974/10072=0.0289
m=z*SEpool=1.96*0.00445=0.0087
最小值d-m=0.0289-0.0087=0.0202，最大值d+m=0.0289+0.0087=0.0376，
因为：d>0，dmin
所以：实验结果具有统计显著性，同时增长超过2%，具有实际显著性，得出结论，新版首页对于注册有更好的转化效果，应该替代原版首页。
笔者正在深入学习A/B测试后面的课程，也希望大家可以一同学习并深入交流大家在实际工作中的A/B测试情况。
一张图看懂Ａ／Ｂ测试
