我们的招募说明中明确要求了需要经常使用该产品——这个人根本不应该参加这次口味测试。
我当场把他们踢出了测试，并告诉代理公司，我的客户不会支付招募这类消费者的相关费用。
后来，我又看到这种情况一次又一次地发生。
我开始恐慌。我立即实施了一系列定性和定量的质量控制程序。
研究结束时，我已经删除了近15%的受访者。
研究背后有很大的利害关系——研究结果将用于潜在的并购。
如果我没看到会发生什么呢？

你会看到吗？

随后对此事的调查让我相信，消费者研究中最大的风险在于受访者招募的准确性和完整性。
如果没有正确的受访者，其他一切都无从谈起。
但这一点并不广为人知。作为一名咨询顾问，我发现，告诉潜在客户我实施可衡量的系统来确保高质量的受访者，并不是一个有力的卖点。大家普遍认为这种质量控制已经是默认在做的。

我向你保证，如果你们没有特别意识到质量控制是如何实施的，那么很可能这种质量控制并没有以保护你们利益的方式进行，甚至根本就没有进行。

本文将介绍以下假设原因并提出解决方案：

焦点小组效应（会虫）
购物中心的衰落
牺牲质量的金钱激励

01 焦点小组效应（会虫）The Focus Groupie Effect

许多拥有自己的调查样本库或加入了调查样本库的人都见过“焦点小组效应”。
这些消费者会在互联网搜索寻找可以加入的调查小组。
他们可能参加了数十个甚至数百个这样的调查。
在问卷调查中，他们很难被识别出来，但在焦点小组中，他们可以通过其“领导力”被识别出来，即试图影响其他受访者，并希望通过代表所有人而非仅仅自己来帮助公司。
他们甚至可能会开始与单面镜后面观察的人交谈。
优秀的主持人可以应对这些“焦点小组常客”，而优秀的研究人员能够识别出并将其从定量/长问卷调查中剔除。

问题是，在这两种情况下，你浪费了一个昂贵的位置；而且如果他们没有被识别出来，你会在不知不觉中污染了你的研究结果。

02 购物中心和其他郊区研究中心的衰落The Downfall of Malls and other Suburban Research Centers

如果你曾经合作过一家研究公司，该公司并没有你所需要的具有特定特征或地理位置的样本库，那么你在职业生涯的某个阶段，项目很可能被分包给了购物中心的样本库提供商。这并不总是透明的——你必须问清楚这些受访者是从哪里来的。开始这样做吧。（如果他们告诉你这是他们的专利，那就赶紧跑吧）

在美国的购物中心文化鼎盛时期，购物中心招募公司蓬勃发展。

由于巨大的人流量，这些公司在购物中心和其他高流量中心租用了位置较为偏僻的店面——通常总是在后方的走廊——租金相对低廉，然后利用人流量拦截路人，当场进行调查，或者邀请他们到店中坐下进行更长时间的一对一访谈、焦点小组讨论、问卷调查、口味测试等其他研究。
此外，他们还利用拦截的信息建立了自己的样本库，其中包括他们归档过的、可随时联系到进行研究的数以万计的消费者。
全美的研究公司都会将业务分包（并且仍然在分包）给这些机构。

这里总有大量的新消费者涌入，所代表的人群确实是美国的一个横截面。

购物中心正在衰落，这对面对面调研产生了重大影响

你可以开始看到问题所在。随着购物中心的衰落，这些样本库的健康状况也在下降。
没有调研的日子也一天天过去。调研从业人员承受着巨大的压力，需要进行快速且高效的研究。
由于从业人员的短缺或经验不足，质量控制能力正在下滑。

样本库中充斥着根本不会参与研究的受访者，找到合适的人越来越困难。

低质量样本库的成本通过“筛选通过率”（incidence）指标转移给了研究人员。
“筛选通过率” 由两个因素决定：筛选条件和样本库的质量。

如果“筛选通过率”低，无论是什么原因导致的，研究成本都会增加。

03 牺牲质量的激励机制The incentivization against quality

永远跟着钱走是个好建议，在这里也适用。
我说的是无意识的偏见和优先级的错位，而不是明目张胆的欺诈。
甲方研究人员的报酬源于按时并在预算内交付研究成果——实际上是一份报告——这份报告需要满足既定目标并帮助做出某种商业决策。
而研究公司的报酬来自研究管理和撰写报告。
样本库提供商的报酬源于用尽可能少的人员尽可能快地“完成”调查。
样本库受访者的报酬则源于参与研究并回答问题。

无论研究好坏，所有人都会得到报酬，而高质量的研究则需要更多的资金。

此外，这只是教育意义上的一点——代理机构通常会在分包样本库的成本上加收100%~150%的利润率。几乎所有个人都是这样计算研究成本的，但这在我看来造成了一种令人不安的利益冲突，因为它威胁到了责任归属（我只在客户明确要求时才会这样做）。

确保质量的激励措施有哪些？每个人都声称自己可以提供高质量的服务。但是，在整个系统都被操纵的情况下，不要相信这些话。请做到以下几点。

04 问卷质量控制Survey Quality Control

我曾与现场管理人员、场外设施管理层以及客户机构进行过长谈。
我真的相信，在这些机构工作的人和与这些机构合作的人，确实是在一个并不完美的系统中尽了最大努力。

同时拥有样本库和设施是一项高成本、低利润的业务，这就造成了争相降本的局面。

此外，如果最终客户满意，并且这是成功的标准，那么他们不知道的事情就不会带来麻烦，对吧？

我的建议是不要将研究诚信性的保护工作外包出去。你可以识别并实施一些简单的系统来帮助所有人，或者坚持要求与你合作的伙伴也这样做。

我的建议是，不要将保护研究诚信性的工作外包出去。

这就需要一些前期对话，让你的研究合作伙伴知道你在做什么，以及你愿意为准确性而非低质量付费。

以下是你可以做的一些事情:

A. 至少参加第一天的测试Attend at least day 1 of your tests

第一天是测试刚开始的时候，工作人员（通常是按小时计酬的）也是新的，这个时候风险最高。
如果你能亲自到场是最好的。
积极参与进来。亲自向工作人员介绍研究需求（brief）。
观察场地布置，监控流程，观察现场的实时反馈。
偶尔在研究室里走动，观察受访者填写问卷。

检查刺激材料。留意那些试图抵制观察员的代理。

他们会告诉你，客户的在场意味着他们不能同时进行两项研究，而你必须为此付费，以此来打消你的积极性。
他们相信拿着最低工资的小时工来处理机密产品，却不相信受保密协议（NDA）约束的客户？
他们还告诉你，他们需要雇人给你送午餐。
你真的需要有人帮你点芝士蛋糕工厂（CheesecakeFactory）的餐并在迷你冰箱里装满旧的灌装汽水饮料吗？
这种抵制行为表明他们的关注点不对，而且是巨大的红色警报信号。

你需要亲自到场，或者派一个透明并且你信任的人代表你去。

B. 要求现场重新筛查Ask for a re-screen on-site

焦点小组成员在现场操纵系统的可能性要小一些。
但这并不是万无一失的方法——我亲眼目睹过多家代理即使在规定要求的情况下也会跳过这一步。
如果不是我坚持亲自参加口味测试，我又怎么会知道呢？

我更倾向于下一个建议，并在我的所有调查中都实施它。

C. 在调查中加入筛选器（甄别部分）Build the screener into your survey

所有人都讨厌筛选器，所以你需要它。
这让你重新掌控受访者的筛选。
在最近的一次口味测试中，我选出了最关键的筛选问题，并在调查最开始时就实施。
只要受访者回答错误其中的任一个，就会切换至退出页面，并由工作人员陪同离开（这样做的好处是，现场实施机构也不必支付给这些未完成调查的人报酬，对此他们会在一定程度上表示感谢）。
通过这种方法加上事后分析（见下文），我在最近的一次调查中剔除了超过10%的受访者。
而对于那些临时召集来的“充数”受访者来说，这一比例接近30%。

我对现场实施代理的抵制的回应是：我或者我的客户不应该为低质量的样本付费。

D. 实施事后数据分析Implement post-hoc data analysis

一种策略是使用假问题，例如关于过去购买过假冒产品的问题。
这种方法虽广为人知，但我并不太喜欢这种策略，因为真实的人可能对品牌的记忆并不深刻。
我最喜欢的策略是纯粹逐字阅读（开放题等）来寻找“危险信号”（red flags）（例如，“我从未购买过 [产品类别]”，而需要购买的时候，该[产品类别]又总是最偏好购买的），然后基于一个称为变异系数（CV）的指标来制定筛选策略。变异系数（CV）是标准差与均值之比（θ/μ）。
在单个受访者层面计算一组相关问题的CV——例如，在感官测试领域，分别为你所有的李克特量表评分、总体喜好评分和适中度（Just-About-Right）评分计算 CV。
变异系数过高可能是随机回答（或是 “圣诞树” 回答风格，如下图），而变异系数过低（接近0）则表明直线回答。
不过，筛选消费者时应小心谨慎，因为这可能会因无意识的偏见而导致调查被操纵。除非他们明显有问题，否则我不倾向于把人筛选掉。

E. 开始探究价格透明度Start poking around price transparency

你会对遇到的阻力感到震惊。
我个人会制定合同，使我的经济利益与客户的利益保持一致。
你的研究费用高昂是因为你确实得到了相应的价值吗？还是因为你被“宰”了所以你觉得它更有价值？

你现在慌张了吗？