十次客户访谈,感觉像是证据。从统计学上看,它们只是一个起点假设。
无论是在欧美还是东南亚乃至东北亚,我都听过CEO说过同一句话:“我们不需要做大规模调研。我和几家大客户聊过,他们已经告诉我愿意付多少钱。”有时是五次访谈,有时是和三家关系不错的客户做的销售试点。随后的决策,无论是一份新价目表还是一套新的产品包结构,都会落到成千上万的客户身上。
窃以为小样本并非没用,但把它当作证据,属于认识偏差,算不得理性判断。历时五十年之久的决策研究支持我这个观点。同样的研究也表明,CEO们的顾虑有其道理:大规模调研也有自己的失真之处。本文摆事实讲道理,并分析B2C和B2B企业的答案有何不同。
一、小样本为什么会误导聪明人
有四种研究充分的效应,让管理者过度相信少数几次谈话。
1. 小数定律。1971年,阿莫斯·特沃斯基(Amos Tversky)和丹尼尔·卡尼曼(Daniel Kahneman)发现,人们期望一个小的随机样本和它所来自的总体长得一模一样。他们的研究对象不是普通人,而是受过专业训练的心理学研究者,其中多数人严重高估了小样本结果能够重复出现的概率。两位作者提醒,人们对早期趋势、对观察到的规律是否稳定,都抱有过度的信心。凭五次访谈做出的定价决策,正是如此。
2. 利害攸关时,故事胜过数据。Freling等人2020年对61项研究做的元分析发现了一个清晰的规律:情感投入高时,个案比统计数据更有说服力;情感投入低时,统计数据胜出。CEO决定公司价格水平的时候,情感投入之高,在所有决策者中数一数二。大客户口中一句生动的话,会压过一张枯燥的分布图。
3. 管理者把自己的偏好投射到客户身上。Herzog等人2021年发表在Journal of Marketing Research上的研究发现,超过70%的营销人员会把个人偏好投射到消费者身上;纠正这种偏差,预测误差能减少一半以上。由高管团队挑选、亲自主持的访谈,很难逃过这种效应。管理者往往听到的,是自己本来就相信的东西。专业经验也救不了他们:Armstrong(1991)请学者、营销从业者和高中生预测105个已发表的消费者研究假设的结果,没有一组的表现好于随机猜测。
4. 经验直觉的预测力很弱。曾负责微软实验平台的Ronny Kohavi报告:经过测试的想法里,只有大约三分之一改善了目标指标,另外三分之一没有效果,剩下三分之一反而让结果变差。这些想法都来自经验丰富、测试前信心十足的团队。没有硬数据的时候,拍板的通常是职位最高的那个人的意见。
以上情形合在一起,画面感是一致的:一个人为挑选的小样本,加上一位自信的领导者,得出的结论感觉很扎实,实际上却常常站不住。
二、怀疑者也有道理
公平的讨论,必须认真对待另一方。不信任调研的CEO并不只是固执,他们的直觉背后有三个站得住的理由。
调查会高估支付意愿。回答假设性问题的人,不需要真的掏钱。Schmidt和Bijmolt(2019)汇总了77项研究,发现假设性支付意愿平均比真实支付意愿高出21%;产品价值越高、越专业,差距越大。Murphy等人更早(2005)对28项估值研究做的元分析发现,假设价值与实际价值之比的中位数是1.35。一份设计糟糕的价格调查,可能给出一个很精确的数字,只不过它精确地错了。
小样本是探索的正确工具。Griffin和Hauser(1993)表明,20到30次一对一访谈,就能发现大约90%的客户需求。如果问题是“客户看重什么,他们用什么话来描述”,访谈效率很高,大规模调查增加不了多少信息。
试点衡量的是真实行为。销售试点客户用真金白银投票,而不只是口头说说。这彻底消除了假设性偏差,是相对任何调研的真正优势。
所以,错误不在于“用访谈代替调研”,而在于用小样本去回答需要大样本才能回答的问题。访谈告诉你什么重要;只有规模才能告诉你它有多重要、对多少客户重要、在什么价格上重要。试点能展示真实行为,但只限于参与试点的那几家客户,而它们很少是随机选出来的。
三、B2C:规模很便宜,小样本难有借口
在消费市场,反对小样本的理由最充分。一家拥有20万客户的公司,如果凭十次谈话定价,就是对唾手可得的数据视而不见。
你访谈的人,不是买单的人。CEO见到的消费者很少有代表性:他们是忠实的重度用户、创始人圈子里的人,或者愿意接受访谈的客户。价格敏感度差别最大的地方,通常在客户群的边缘:偶尔购买的人、在品牌之间切换的人,以及新客户。这些人,恰恰是一个随手抽取的小样本会漏掉的。
大样本负担得起。借助在线样本库,几百名合格受访者几天就能找到,用不着几个月。对于基于选择的联合分析(choice-based conjoint),使用最广泛的软件供应商建议从大约300名受访者起步。和一次影响整条收入线的价格调整相比,这点成本不算什么。
真实行为数据就在手边。许多B2C企业已经握有最好的数据:交易记录、购物篮数据和转化率。数字渠道可以做受控的价格和产品包测试。Kohavi的结果是一个警示,自信的团队常常是错的;但它也提醒我们,消费类企业可以测试,而不必去猜。
当心调查的陷阱。21%的假设性偏差只是平均值。对于高端和专业产品,偏差更大,而许多B2C定价决策恰恰落在这里。采用基于选择的设计、模拟真实的货架或结账场景、用实际销售数据做校准,都能缩小差距。
对于B2C业务来说规则很简单:用访谈找到问题,用规模回答问题。
四、B2B:样本确实小,但偏差比看上去大
B2B的管理者理由更充分一些。许多工业企业只有几百个客户,前20家客户可能贡献一半收入。一份有1000名受访者的典型消费者调查,往往根本做不到。但总体小,并不意味着小样本得出的结论就安全。它带来的是另一类陷阱。
一次访谈的样本是一个人,不是一家公司。Gartner估计,一项复杂的B2B采购涉及6到10位决策者,每个人都带着自己做的功课。和那位关系不错的工厂经理聊一次,你很难知道采购、财务或CFO能接受什么。十家客户、每家一个联系人,不是十家客户的看法,而是十个人的看法。
大客户恰恰是最没有代表性的客户。CEO亲自认识的客户,通常是规模最大、最具战略意义的那些。他们议价能力最强,条款也最为定制。他们对价格的反应,几乎说明不了中型客户和长尾客户的情况,而大量利润潜力恰恰在那里。
试点是谈判,不是测量。在B2B里,试点客户通常由销售团队挑选,条款也由销售团队谈定。最终价格反映的,除了客户价值,还有关系、折扣和销售代表的个人技巧。在三家精心挑选的友好客户那里拿下试点,测量的主要是销售团队。
严谨的方法在B2B规模下依然适用。受访者稀缺时,联合分析可以让每位受访者多做几道选择题,以弥补样本量的不足。大多数B2B企业还握有一个很少用到的大数据集:CRM和ERP里多年的报价、赢单丢单记录和成交价格。成百上千笔真实交易,是比任何访谈项目都大得多的样本。
对B2B业务而言规则是:访谈整个采购决策团队,而不只是你的支持者;在改价目表之前,先用自己的交易历史检验你听到的东西。
五、让证据匹配问题
用什么方法,取决于要回答的问题,而不是偏爱定性还是定量。以下是经验之谈:
| 问题 | 小样本够用吗? | B2C方法 | B2B方法 |
|---|---|---|---|
| 客户看重什么?用什么话来描述? | 够 | 20到30次访谈 | 10到20次访谈,覆盖采购决策团队的不同角色 |
| 每个价值驱动因素有多重要?对谁重要? | 不够 | 调查或联合分析,300名以上受访者 | 联合分析,每位受访者多做几道选择题,并按细分市场检验 |
| 客户实际会付多少钱? | 不够 | 受控价格测试、交易数据 | 赢单丢单记录和报价历史、基于价值的定价测试 |
| 新的价格结构在市场上行得通吗? | 只能作为初步信号 | A/B测试或分区域推出,设对照组 | 按客户细分进行测试,识别购买障碍 |
相信十次谈话胜过一千个数据点,不是强势领导力的标志,而是决策研究中证据最充分的偏差之一。与此同时,大规模调查也不会自动给出答案,因为口头说出的支付意愿明显高于真实行为。
理性的立场在两者之间:用小样本发现什么重要,用规模和真实行为决定收多少钱。在B2C,规模很便宜,几乎没有借口。在B2B,规模藏在你自己的交易历史里,也藏在你还没有谈过的那些采购决策者身上。
不是将就出来的。
首发于微信公众号「定价制胜-Dr. Pricing」,2026年10月。英文版:The Small-Sample Trap
参考资料
- Armstrong, J. S. (1991). Prediction of consumer behavior by experts and novices. Journal of Consumer Research, 18(2), 251–256.
- Freling, T. H., Yang, Z., Saini, R., Itani, O. S., & Abualsamh, R. R. (2020). When poignant stories outweigh cold hard facts: A meta-analysis of the anecdotal bias. Organizational Behavior and Human Decision Processes, 160, 51–67.
- Gartner:复杂B2B采购的典型决策团队为6到10人。引自Data Axle, The importance of addressing the buying group in B2B sales。
- Griffin, A., & Hauser, J. R. (1993). The voice of the customer. Marketing Science, 12(1), 1–27.
- Herzog, W., Hattula, J. D., & Dahl, D. W. (2021). Marketers project their personal preferences onto consumers: Overcoming the threat of egocentric decision making. Journal of Marketing Research, 58(3), 456–475. AMA研究摘要。
- Kohavi, R., Deng, A., Frasca, B., Longbotham, R., Walker, T., & Xu, Y. (2012). Trustworthy online controlled experiments: Five puzzling outcomes explained. Proceedings of the 18th ACM SIGKDD Conference.
- Kohavi, R. (2009). Online controlled experiments: Introduction, learnings, and humbling statistics. KDD tutorial.
- Murphy, J. J., Allen, P. G., Stevens, T. H., & Weatherhead, D. (2005). A meta-analysis of hypothetical bias in stated preference valuation. Environmental and Resource Economics, 30(3), 313–325.
- Orme, B. (2019). Sample size issues for conjoint analysis. In Getting Started with Conjoint Analysis. Sawtooth Software. 另见Sawtooth's sample size rules of thumb和Quirk's on conjoint sample size。
- Schmidt, J., & Bijmolt, T. H. A. (2020, online 2019). Accurately measuring willingness to pay for consumer goods: A meta-analysis of the hypothetical bias. Journal of the Academy of Marketing Science, 48, 499–518.
- Tversky, A., & Kahneman, D. (1971). Belief in the law of small numbers. Psychological Bulletin, 76(2), 105–110.