没有历史流量的新业务,构造可验证假设的顺序应当反过来:先写下“如果这个判断错了,我会看到什么”,再决定去测什么。可行条件是你能在两周内拿到一组可观察的否证信号;如果某个假设无论结果如何都无法被推翻,它就不该进入第一轮测试。
有历史流量时,你通常用基线对比来判断变化是否有效。新业务没有基线,于是很多人把“有没有增长”当成唯一标准,结果一轮测试跑完,数据涨了也不知道为什么,跌了也不知道该改哪里。更稳的做法是给每个假设配一条否证线:出现什么现象,就说明这个判断不成立。
假设你在做一个面向自由职业者的记账工具,第一轮想验证“用户愿意为了自动归类发票而完成注册”。这个假设的否证信号可以是:落地页到注册页的点击率低于你设定的下限,且回访用户中完成首次记账的比例极低。两个信号同时出现,说明阻碍不在文案,而在“注册后才能看到归类效果”这条路径本身。
把否证线写下来的实际动作,是把它和测试页面一起建好,而不是等数据出来再解释。这样做的结果是:无论数据好坏,你下一步要改的是路径、入口还是价值主张,在测试开始前就已经确定,不会陷入事后归因。
新业务常见的错误是把一整条增长链路当成一个假设,比如“内容能带来注册”。这条链路里至少有三层可以被分开观察:
三层分开之后,你才能判断问题出在哪。如果理解层就断了,改注册按钮没有意义;如果动机层成立而行动层断了,要动的是成本结构,比如减少必填项、把价值展示提前到注册之前。
第一轮不要建完整的产品介绍站。每个假设只需要一个能承载它的页面,页面上只放支撑这个判断所需的最少信息,以及一个明确的下一步动作。
假设你想验证“搜索‘发票自动归类’的人是否属于目标用户”,可以做一个只讲这个功能的页面,结尾放一个“加入等待名单”的动作。如果这个页面带来的注册意向明显高于泛泛介绍产品的页面,说明这个具体问题比产品整体更接近用户的搜索意图,下一轮就应该围绕它扩展内容,而不是继续完善首页。
这里要说明一个容易误判的地方:某个页面没有带来注册,不等于这个假设被推翻。可能是页面结构让搜索引擎无法正确理解主题,也可能是页面被抓取但还没进入索引。抓取、索引、排名是不同环节,注册量归零只是结果,不能单独证明你的判断错了。先确认页面处于哪个环节,再决定是改内容还是改结构。
上面这套方法有一个明确的反例:当你的业务必须先有供给或先有网络效应才能被理解时,单页测试会系统性低估需求。比如一个需要双方同时在线才能体现价值的协作工具,用户看到单页时无法体验核心价值,此时低转化反映的是测试形式不匹配,而不是假设不成立。
判断自己是否落在反例里,可以问一个问题:这个产品的价值,是否必须在使用之后才能被感知?如果答案是肯定的,第一轮就不该测“注册意愿”,而应测“是否愿意留下联系方式等待体验”,或者用可交互的演示替代静态页面。测试对象变了,否证线也要跟着变。
测试跑完后,按信号类型决定下一步,而不是按数据高低:
每一步的结果都只回答一个问题,并决定下一步测什么。这样即使没有历史流量,你也能在没有基线的情况下,逐步把不确定的判断换成有依据的取舍。