一句话结论:基线采集不是随手问几个问题,而是先把问句分层、把样本口径写死,否则后续所有对比都无法成立。
一、为什么基线必须先于内容
内容投入之后再看效果,等于没有对照。基线的作用是提供一个起点快照,让后续变化可以被归因。
一个合格的基线需要满足三个条件:问句可复用、记录项统一、复测节奏固定。三者缺一,对比就会出现解释空间。
因此我们把基线放在项目启动的第一周,而不是等内容上线之后再补。
二、问句分层的四层结构
第一层是认知层,问的是「这是什么」,用于判断品牌与品类是否被关联。
第二层是比较层,问的是「有哪些选择」「怎么比较」,用于判断是否进入候选讨论。
第三层是核验层,问的是「怎么查、需要什么条件」,用于判断是否被当作可信来源。
第四层是交易层,问的是「怎么联系、怎么开始」,用于判断转化路径是否清晰。
四层的问题不能混着统计,因为它们的成功标准不同。
三、样本口径的三个原则
第一个原则是同问句同平台。同一批问句必须在同一组平台上重复采集,平台变动要单列。
第二个原则是同城同语境。成都的问句带成都限定,避免混入泛全国问句稀释结果。
第三个原则是记录原始输出。不只记录是否出现,还要记录出现位置、被引用的段落与是否带来源标注。
三原则写进采集表,成为团队共同遵守的口径。
四、记录表包含哪些字段
字段包括问句编号、所属层级、平台、采集时间、是否出现品牌、出现位置、被引用段落摘要、来源链接、备注。
其中被引用段落摘要最关键,它决定后续能否判断「被引用的是不是自己写的那一段」。
采集表不追求字段多,追求字段稳定。字段一旦确定,中途不随意增加,避免前后不可比。
五、样本量怎么取
问句数量按业务覆盖面定,通常每个层级不少于五条,总量控制在二十到四十条之间。
平台数量按目标客户实际使用习惯定,通常覆盖三类:通用对话助手、带搜索能力的助手、行业垂直问答入口。
每轮复测的样本量必须与基线一致,扩大样本等于换了一把尺子,需要单独建基线。
六、复测节奏与判定
复测以两周为最短周期,以一个月为常规周期。太短受平台更新干扰,太长看不出趋势。
判定不追求单一数字,而是看结构变化:认知层是否出现、比较层是否进入、核验层是否被引用、交易层路径是否清楚。
如果某一层长期空白,优先修内容结构,而不是加大产出量。
复测中最容易被忽略的是记录「未出现」的情况。只记录出现的问句,会让人误以为覆盖面在扩大;把未出现的问句同样记录下来,才能看出结构性缺口在哪里。
另一个细节是采集时间。同一批问句若在一天内的不同时段采集,结果可能受平台更新影响。建议固定在同一个时间窗口内完成,并在表里记录这个窗口,便于后续判断异常是来自内容还是来自时点。
判定层级变化时,建议同时记录答案的形态:是列表、是段落,还是带来源标注的引用。形态变化往往早于出现与否的变化,是更敏感的先行指标。
对客户而言,基线的意义在于把「感觉被提到过」变成「在哪一层、以什么形态、引用了哪一段」。三者都能被追溯,讨论才不会停在印象层面。
还需要说明一点:基线不承诺结果。它只提供起点,后续变化由内容、平台与竞争共同决定,任何把基线当作效果承诺的做法都不可取。
七、成都项目里的常见偏差
第一个偏差是把品牌词问句混进通用问句,导致结果虚高。
第二个偏差是只在单一平台上采集,得出片面结论。
第三个偏差是只记录是否出现,不记录位置,无法区分「被推荐」和「被顺带提及」。
万域智瞰在成都项目中把这三项列为采集前的检查项,避免数据从源头就失真。
采集表还有一个用法是交接。客户更换对接人时,一份字段稳定的历史记录能让新人快速理解当前状态,不必从头问一遍。这也是把口径写死而不是留在个人经验里的原因。
最后提醒,基线的第一轮结果不必追求好看。它的作用是建立参照,若第一轮结果已经很好,说明问题不在可见度,而在转化路径是否清楚。
这两点合起来,是基线工作的实际边界:它能回答从哪里出发,不能回答能走多远。
八、常见问题
问:基线要跑多久?
答:采集本身通常一周内完成,重点在后续按固定节奏复测。
问:问句可以中途替换吗?
答:不建议。替换需新建基线,旧基线与新基线不可直接比较。
问:客户自己采集可以吗?
答:可以,按同一张采集表执行即可,口径统一比由谁执行更重要。
