以keep为例如何设计实验？ _如何设计实验

完美的增长实验从来不是灵光乍现，一蹴而就，它背后往往有着合理的方法论和可落地的实验设计步骤，以严谨科学的姿态，检验一次增长的可能。

聪明的增长人，在一个闪着灵光的黑夜里，预想着通过这一次微小而巧妙的调整，数据发生了意料之中的显著变化，无数次迭代后，交上了令人侧目的增长成果。
然而，现实却是，看一眼玻璃窗上自己的倒影，感叹下越来越稀薄的发量，抿一口咖啡，苦恼着下面的难题：

实验想法“靠天吃饭” ，来源不稳定，没有依据；
又要靠直觉来决定先做什么；
实验做完发现数据收集的不够，无法分析，需要返工，迎来了大量吐槽；
实验成功，但是没能最大化实验结果。

那么，理想的状态应该是什么呢？
按照优秀增长人的表现来看，理想的状态应该是这样的：

有成型的方法和思路去持续产生高质量的实验想法
通过实验想法科学排列优先级，永远专注于效果最大化的事情
能够准确定义出实验指标，考虑到所有重要因素，从而得出可信结果
有详细的实验设计和开发文档，和清晰的实验流程，从而保证质量和效率
不仅了解实验的成败，还能分析背后的原因，放大洞察和影响

听起来非常美好，那么该如何实操呢？
具体来说，我们可以根据以下步骤完成一次完美的增长黑客实验设计：

针对实验目标，产生实验假设
按照ICE模型对实验想法进行优先级排序
设计、完成增长实验并撰写报告：包括实验的目标、假设、打分、指标、受众、设计、结果、洞察、计划

以一个很火爆的健身App——keep为例，我们详细看一下每一步的具体产出和思考的方法
01 针对实验目标，产生实验假设1. 实验目标当前的工作重点是，提升用户对其他用户的“关注”率，即让更多的用户“关注”他们喜欢的达人，从而一方面提升内容质量体验，一方面给分享内容的用户以激励，长期促进平台用户的活跃程度和互动。
确定实验目标的方法：一般实验目标来自于上级领导，也可以是自己根据北极星目标进行拆解得到的，可以围绕自己的KPI提出。
2. 实验假设提出实验假设的方法：围绕实验目标，梳理用户使用路径，分析相关的数据，结合最佳实践，发现可能的增长点，提出具体的实验假设。
02 对实验想法进行优先级排序（按照ICE模型打分）

文章插图
ICE各项指标打分的依据如下：

文章插图
根据三个实验的综合得分，可以确定评分最高的第三个实验“关注按钮醒目” ，是值得优先进行的实验。
确定实验想法、实验假设后，需要选取实验指标、确定实验的受众、实验需要的样本数量、实验变量如何作用于样本，并将实验设计写成文档，提给工程师（实验设计文档，也就是下面实验报告中的实验目标、实验假设、实验打分、实验指标、实验受众和实验设计几部分）。
在一段时间后，收集到了足够多的数据，就可以进行检验，得到实验结果，验证或者推翻原有的假设，并根据实验结果制定下一步的计划（即完成下面实验报告的实验结果、实验洞察、后续动作部分）。
03 增长实验报告1. 实验目标提升用户对其他用户的“关注”率
2. 实验假设在用户帖子页面，如果用户在某个文章或动态上停留5秒以上， “关注”按钮变亮变大，提示用户可以关注此博主，可以提高关注率。预期这一改动可以将帖子页关注按钮的点击率从当前的5%提升到6% 。
3. 实验打分4. 实验指标