(2)实验流量分配及时长(点击率与访问量为虚拟数据)
如果预期能够将帖子页关注按钮的点击率从5%提升到6% , 同时已知帖子页每天的访问量是10000 。
流量分配:实验组每天分配5000流量 , 对照组每天分配5000流量
实验时长:当产生预期中的变化时 , 至少需要2天的访问量 , 可以达到统计显著性 。 同时考虑到用户的使用频率 , 2天只包含了大部分的高频用户 , 和很少的中频及低频用户 , 并不能代表全部的用户 , 所以需要将实验时长设置为14天 , 尽可能地包含所有类型的用户 。
计算方法:通过网页计算工具 , 设置现有转化率为5% , 预期提高1% , P值为0.05(95%的统计显著性) , 统计功效80% , 可以得到 , 每组最少需要的样本量为7663 , 所以需要的时间为(7663/5000)=1.53天 , 所以当实验时长不少于2天时 , 就能保证监测到的预期大小的变化不是由随机因素引起的 。
计算样本量工具网址:https://www.evanmiller.org/ab-testing/sample-size.html
7. 实验结果【以keep为例 如何设计实验?】实验时长=14天时 , 数据如下:
对关注点击率进行卡方检验 , 得到如下结果:
(1)该数据可信 , 因为观察的时间足够长 , 避免了功能变化产生的新奇效应 , 同时该keep是使用频次较高的应用 , 14天的时间已经能够覆盖到足够广泛的用户了 。
(2)实验成功
- 实验组的帖子页面“关注”点击率显著高于对照组 。 说明实验组的设置 , 在95%的可能下 , 至少可以把帖子页面“关注”点击率提升0.7% 。
- 帖子页面点赞率也有显著提升 , 至少上升了0.1% , 说明确实帮用户找到了更感兴趣的帖子 , 提高了内容体验 。
- 反向指标取关率虽然也有显著上升(p<0.05) , 但仅上升了0.1% , 在可以接受的范围 。
9. 后续计划
- 将该设置产品化 , 全量上线;
- 清理该实验代码;
- 将该设置推广至其他类似的页面 , 继续进行测试 。 如添加好友的推荐页面 , 当用户停留在某动态超过5秒 , 放大关注按钮 , 并进行实验验证
夜深 , 人静 , 你我的增长 , 才刚刚开始 。
推荐阅读
- 靠谱 经常笑一笑真的可以让你变年轻
- 她 塔罗占卜:他的责任心可以打几分?
- 联想家悦r358-联想家悦358-
- 【养生常识】水煮南瓜可以减肥吗 水煮南瓜怎么吃减肥
- 【养生知识】大麦茶可以减肥吗 大麦茶减肥怎么喝
- 【养生知识】减肥期间可以吃葡萄吗 葡萄吃了会增肥吗
- 麂皮衣服可以水洗吗 麂皮布如何清洗
- 苹果8怎么换铃声(苹果8怎么更换来电铃声)
- 介绍新闻营销的6大优势 新闻营销的优势有哪些?
- 矮小症可以彻底治愈吗