实证度量
引用度量:平行采样、置信度与位置加权可见度
阅读约 2 分钟 · 共 4 个小节
三次平行采样、置信度与位置加权可见度,把被引用变成可管理的数字。
本文要点
- 单次回答随机性大:同一提问做 3 次平行采样,取多数才算稳定提及。
- 置信度按提及位置、频次、顺位与情感加权,并施加一致性惩罚。
- 可见度按位置指数衰减加权:越靠前权重越高,先出现先被看见。
- 幻觉(编造品牌或失效链接)记风险不记分;引用质量看七维评审。
单次回答不可信,三次采样起步
生成式引擎的输出有随机性,同一个提问问两次,品牌可能出现也可能缺席,单次采样得出的结论跳动极大。可行做法是对同一提问执行多次平行采样,标准是 3 次,采样落在同一时间窗口内,避免模型更新带来的干扰;然后看多数结果,3 次里 2 次提及才算稳定提及,偶尔出现的一次只能算波动。采样时固定提问原文与引擎集合,任何一项变了,前后数据就不可比。
监测的本质,是把我对 AI 表现的印象变成可以用数字管理的指标体系。
置信度与可见度的口径
置信度衡量被引用得多可信:按提及位置、频次、顺位与情感加权计算,并对多次采样之间的不一致施加一致性惩罚。强引用,即明确出现品牌与可溯源 URL,计满分;弱提及,即只出现品类或模糊描述,计部分分;未提及计 0;幻觉,即编造品牌信息或失效链接,单独标记为风险项而非加分项。
可见度衡量被看见得多靠前:统计品牌句占回答的份额,再按位置做指数衰减加权,越靠前的位置权重越高,先出现的先被看见。位置加权背后的逻辑很朴素:用户与下游模型都更可能复述回答开头的品牌,先出现先被记住。两个指标一纵一横,回答提没提与提得怎么样。
引用质量还有更细的七维评审:相关、影响、独特、位置、呈现、点击、多样,各维打分后加权合成,用来回答这次引用的成色如何。
怎么读这些数
三条读数纪律:看趋势不看单点,单批次波动没有意义;看稳定性,采样间忽有忽无的提问优先补内容;看七维里最弱的一项,它决定下一轮优化的动作。另外,把自家数据与竞品提及放在同一张图上看,相对位置比绝对数字更有信息量。
一个常见的误读是把置信度当份额:置信度回答可不可信,可见度回答占多大位置,两者不能互相替代,汇报时分开说。
在对脉极优中怎么做
监测页内置指标口径说明,每个指标怎么算就地可查;仪表盘五张 KPI 卡覆盖提及率、置信度、可见度等核心口径,逐引擎结果卡可以看到每次回答的原文、情感、稳定性与引用详情。新提问先用快测跑一轮,确认值得追踪后再加入常态化监测。口径一旦调整,历史数据要标注断点,避免趋势图上出现假涨跌。
本文属 GEO 学院「实证度量」模块(共 7 个模块)——查看全部课程文章