01 前言
海外有一家提供在线用户招募和研究工具的公司User Interview,每年都会对全球的用户研究从业者展开一次调研,并且发布用户研究现状的调查报告。
2023年的报告已经发布,并且已经是第五期了。
本期内容节选自《the state of user research 2023》中用户研究方法的部分章节。
02 Peron核心观点
1)海外用户研究人员(UXRs)相较于工作中包含用户研究但不是用户研究人员(PWDRs)会使用更多更综合的研究方法,包括生成性研究(可以简单理解为了用户洞察所开展的研究方法)+评估性研究(可以简单理解为了用户体验度量和诊断所开展的研究方法);
那些工作中包含用户研究但不是用户研究人员(PWDRs)更偏向于评估性研究。
可见,用户研究人员如果不想被PWDRs取代丢掉饭碗,不能只局限于评估性研究(可用性测试、满意度、NPS、A/B测试等),你得做能解决业务问题的用户洞察专项。
2)产品经理为代表的PWDRs更偏向持续性研究(典型的还是满意度类项目),所以再次提醒用户研究人员,不要只做用户体验度量/诊断类项目,因为业务侧自己就能做,用户洞察专项才应该是你的核心价值立足点。
3)海外用户研究人员UXRs 最依赖于访谈、可用性测试和调查问卷,而产品经理、设计师为代表的 PWDRs 似乎比 UXRs 更频繁地使用更多样化的方法,例如A/B测试或多变量测试和行为产品分析等,这说明什么?
这说明用户研究人员不要在研究方法、工具层面去和PWDRs 竞争,你竞争不过,而且不要迷信研究方法、工具,传统经典的问卷调研+1对1深访+座谈会其实就够用,你的重心要放在业务问题的拆解和数据分析和洞察上。
当然,如果你要是对那些产品、设计师在用的研究方法感兴趣,后面我可以给大家介绍。
4)在海外用户研究人员里,目前有五分之一(20%)的受众目前正在他们的研究中使用人工智能(AI),另有38%的人计划将来采用它。
这个估计和国内的情况差不多,都还在起步期。但不知道2024年的结果是怎样,这个比例会有什么变化,期待即将发布的24年的报告。
不管结果如何,Peron认为这肯定是个大趋势,要重视起来,用户研究工作中很多标准化、容易框架化的项目都将被AI取代,例如产品测试、满意度研究。
5)海外用户研究人员对于AI应用的负面感受:
a. 担心AI在用户研究中的错误应用导致的数据结果误导
b. 数据隐私和安全无法保证
c. 担心被取代丢掉饭碗
正面感受主要体现为:简化了研究流程,减少了琐碎任务,AI 是能比较好处理那些基础的工作的,例如访谈笔录的整理分析,满意度数据的分析等。
03 以下为正文
用户研究的方法多种多样,包括生成性、评估性和持续性研究。
研究方法可以是定性的、定量的或混合方法。
研究阶段可以分为发现、测试和上市。
研究形式可以是有人主持的或无人主持的。
研究周期可以是纵向的(在较长时间内跟踪同一用户群体的研究)、生物测量的(使用生理测量技术(如眼动追踪、心率监测等)来理解用户的反应和体验),还可以是由人工智能驱动的(利用机器学习和数据分析技术来自动化用户行为的分析和洞察的生成)。
a. 生成性研究(Generative Research)
生成性研究通常在产品开发的早期阶段进行,旨在探索和生成新的设计想法。
这类研究通常是开放式的,允许用户自由表达他们的需求、想法和感受。
生成性研究可能包括工作坊、头脑风暴会议、用户访谈和情境研究等。
b. 评估性研究(Evaluative Research)
评估性研究用于评估现有产品或设计的概念。
这类研究的目的是确定产品或服务的优势和不足,以便进行改进。
评估性研究可能包括可用性测试、A/B测试、满意度调查和专家评审等。
c. 持续性研究(Continuous Research)
持续性研究是一种长期的、持续进行的研究方法,旨在持续收集用户反馈和数据,以便快速响应用户需求的变化。
这种方法有助于团队保持与用户的紧密联系,并持续改进产品。
在用户研究领域,我们有很多方法可以采用(顺便提一下,我们在《用户体验研究指南》中已经介绍了许多这样的方法)。
作为我们调查的一部分,我们询问了人们在他们的组织中是如何处理不同类型的研究的。
数据分析揭示了一些有趣的模式,但没有太多令人惊讶的地方。
1)用户体验研究员倾向于采用混合方法。
UXRs 通常进行生成性和评估性研究,并且似乎偏好采用混合方法(85% 的受访者表示他们团队中的 UXRs 使用混合方法,相比之下,不到三分之一的人表示设计师和产品经理也是如此)。
当产品经理进行研究时,他们通常专注于评估性目标(根据我们 77% 受众的说法),使用定性或定量方法。
与此同时,当设计师参与研究时,他们通常专注于评估性研究(93% 的受众表示如此,相比之下,有 40% 的人报告设计师参与生成性研究),使用定性方法(82% 对比 31% 的定量或混合方法)。
需要注意的是,这些数据排除了那些回答“我不知道”或报告某个角色没有参与任何此类研究的人的答案。
2)产品经理最有可能进行持续性研究。
总体而言,我们的受众中有38%表示他们的团队进行持续性研究,其中产品经理和研究运营(ReOps)最有可能给出肯定的回应(分别是65%和54%,相比之下,用户体验研究员UXRs的比例为37%)。
实际上,产品经理进行持续性、发现性访谈的频率是用户体验研究员的两倍。
3)用户研究方法
我们询问了参与者在过去6个月中进行了多少有人主持、无人主持以及混合方法的研究。
所有角色群体都报告说,他们最常进行的是有人主持的研究,其次是无人主持的研究,然后是混合方法的研究。
最常用的方法是一对一访谈(有88%的人表示他们经常或总是使用),可用性测试(80%),调查问卷(62%),概念测试(51%),以及竞争分析(44%)。
4)进行研究工作(PWDRs)的人比用户体验研究员(UXRs)使用更多样化的研究方法。
UXRs 最依赖于访谈、可用性测试和调查问卷,而 PWDRs —— 尤其是产品经理 —— 似乎比 UXRs 更频繁地使用更多样化的方法。
当我们进一步深入研究人们表示他们“总是”使用的方法时,我们发现产品经理和设计师比用户体验研究员(UXRs)更可能使用定量方法(如A/B测试或多变量测试和行为产品分析)和生物测量方法(如眼动追踪),以及启发式分析和竞争分析。
设计师还有两倍的可能性表示他们总是进行可访问性测试和偏好测试作为他们研究的一部分。
与此同时,产品经理进行持续发现性访谈的频率是UXRs的两倍以上,并且使用焦点小组、卡片分类、参与式/共同设计研究和日记研究的频率是UXRs的5到10倍。
在通过其他方法了解客户方面,用户体验研究员(UXRs)比其他群体更倾向于使用数据科学/产品分析报告和在线研究。
另一方面,进行研究工作(PWDRs)(尤其是产品经理)更依赖于客户成功/支持团队的笔记或报告(80% 对比UXRs 的 60%)以及与客户的临时对话(77% 对比 UXRs 的 52%)。
研究运营(ReOps)专家和产品经理使用客户咨询委员会的可能性是 UXRs 和设计师的两倍(40-43% 对比 21-24%)。
5)研究人员正在研究中采用人工智能(AI)技术
总体而言,人工智能在用户研究中的应用是一个既引起兴趣又需要谨慎对待的话题。
虽然相当一部分研究人员目前正在使用或计划使用AI,但像多样性、公平性和包容性(DEI)的考虑、数据隐私问题以及个人对AI的态度等因素都在影响研究人员的决策。
五分之一(20%)的受众目前正在他们的研究中使用人工智能(AI),另有38%的人计划将来采用它。
产品经理最有可能已经采用了AI,而我们调查中的一小部分市场营销人员(N=16)似乎是最有意愿加入AI潮流的,有56%的人计划在某个时候使用AI进行研究。
研究运营专家和用户体验研究员似乎对这项新技术最为犹豫——有27%的人表示他们没有计划使用AI进行研究,这是所有角色中比例最高的。
新手和经验丰富的研究人员似乎以相似的比例接受或拒绝AI,这表明对这项特定新技术的采纳准备状态并不一定与个人在该领域的经验水平相关。
我们分析了关于这个话题的定性回应,以了解研究人员对AI兴起最感兴趣和最担忧的是什么。
6)对研究中使用AI的负面感受
我们收到的关于这个主题的定性回应中有一半(50%,总N=582)呈现负面趋势——尽管对AI的平均情绪是中性的(5分中的3.0分)。
那些采取措施确保他们的研究具有多样性、公平性和包容性的人,相对来说较少可能目前正在使用AI(19%对比23%),并且更倾向于表示他们没有计划这样做(27%对比22%),与那些在研究中没有采取DEI措施的人相比。
在他们的开放式回应中,这些人中的一些(24%)对数据准确性、AI参与者取代真实人员以及研究的严谨性表示怀疑:
“[我]担心那些不了解用户体验研究的人会认为用AI工具取代我们是可行的。我还认为这会放大我们自己的偏见和错误信息。”
似乎存在一种相关性,即对数据隐私和包容性的担忧与一个人愿意接受AI的意愿有关。
那些对当前数据隐私和安全性状况表示积极感受的人更可能是目前在其研究中使用AI的人(27%对比那些对此问题持负面感受的人的16%)。
相反,在开放式回应中,有16%的人担心缺乏监管和数据隐私问题,以及我们对这项新技术的采纳速度过快。
还有9%的人表达了对AI可能对他们的工作安全意味着什么的担忧。
“不确定ChatGPT是会帮助我的工作还是消除它。”
7)对研究中使用AI的积极感受
另一方面,42%的开放式回应集中在AI的积极影响上,即它提供了新的机会,简化了研究流程,减少了琐碎任务,以及/或者增强了他们的工作(或有潜力这样做)。
“它变得越复杂,我需要做的事情就越少!”
8)对研究中使用AI的复杂感受
其他人则持中立态度。
大约15%的定性回应反映了不确定/复杂的情绪(或冷漠)。
“谨慎”和“谨慎乐观”是用来描述他们对AI主题的感受的术语。
一些人表示他们对这项新技术感到兴奋,但担心研究人员过于急躁:
“我有复杂的感受。我对围绕常规流程的某些生产力提升感到兴奋,[但对]细致分析持怀疑态度[并且担心]在AI准备好投入主流使用之前,将会过度依赖AI进行用户体验研究。”
9)没有研究运营(ReOps)的团队的较少采取措施以确保他们的研究具有多样性和包容性。
虽然我们的大多数受众(86%)表示他们采取措施确保研究的包容性,这一数字比2022年的91%略有下降。
这种下降可能部分归因于今年调查中全球研究人员参与度的提高——数据表明,北美以外的研究人员在他们的研究中较少考虑多样性、公平性和包容性(DEI)。
引用一位欧洲研究人员的话:
“我住在一个不太关心[包容性和多样性]的国家。”
但在我们指责世界另一端的人们之前,值得考虑一位在美国的研究人员的回应,他写道:
“通常项目的用户池或可用的利益相关者非常有限,所以包容性是一种特权。”
令人鼓舞的是,大多数研究人员正在采取措施确保他们的工作具有代表性,并尊重不同用户的需求和观点。
但仍有改进的空间——无论是在那些看似采纳这些措施较低的地区,还是在那些将包容性研究和设计视为奢侈品的团队中。
有趣的是,没有研究运营(ReOps)职能的人几乎两倍于有ReOps职能的人(18%对比10%)表示他们没有实施任何包容性措施,这表明研究运营可以积极影响包容性实践在研究中的采纳。