以keep为例如何设计实验？( 二 ) _如何设计实验

（2）实验流量分配及时长（点击率与访问量为虚拟数据）
如果预期能够将帖子页关注按钮的点击率从5%提升到6% ，同时已知帖子页每天的访问量是10000 。
流量分配：实验组每天分配5000流量，对照组每天分配5000流量
实验时长：当产生预期中的变化时，至少需要2天的访问量，可以达到统计显著性。同时考虑到用户的使用频率， 2天只包含了大部分的高频用户，和很少的中频及低频用户，并不能代表全部的用户，所以需要将实验时长设置为14天，尽可能地包含所有类型的用户。
计算方法：通过网页计算工具，设置现有转化率为5% ，预期提高1% ， P值为0.05（95%的统计显著性），统计功效80% ，可以得到，每组最少需要的样本量为7663 ，所以需要的时间为（7663/5000）=1.53天，所以当实验时长不少于2天时，就能保证监测到的预期大小的变化不是由随机因素引起的。
计算样本量工具网址：https://www.evanmiller.org/ab-testing/sample-size.html
7. 实验结果【以keep为例如何设计实验？】实验时长=14天时，数据如下：
对关注点击率进行卡方检验，得到如下结果：
（1）该数据可信，因为观察的时间足够长，避免了功能变化产生的新奇效应，同时该keep是使用频次较高的应用， 14天的时间已经能够覆盖到足够广泛的用户了。
（2）实验成功