如何更精确的计算一项体验指标的重要性?

发布时间:2020/04/29 00:00      浏览:64
作者:菜包
来源:用户研究社

我们通过「 如何快速建立一套用户体验指标体系 享了如何通过4个步骤来建立指标体系,然后分享了如何计算指标选项的重要性和表现。


后来就该计算过程,大家提出了4个疑问:
  1. 为什么重要程度( (好评人数+差评人数)/ 全部评价满意度人数 )的分子是使用的是好评人数+差评人数 呢?为什么不使用 差评人数 呢?


  2. 如果不同人选了不同的项目数应该如何计算重要性?比如1个用户选了1个选项, 另一个用户选了3个选项,那么直接赋值为1进行相加作为重要性判定不合理。那应该如何计算呢?


  3. 如果选项中归因程度不一样时如何计算重要性?比如对客服服务不满意的原因选了ABC三个项目,造成不满意的原因中是A造成50%,B造成30%,C造成20%。那应该如何计算呢?


  4. SERVAUAL模型中的维度如明确性、响应性和移情性和指标(选项)之间的关系是怎样?如何验证?

我们通过「 如何计算一项体验指标的重要程度讨论了第1个问题。


本文主要就第2个问题和第3个问题进行讨论。


还是继续使用之前的虚拟案例来演示下重要性程度的计算逻辑:


问卷题目为3道题:


  1. 满意度(5点评分)


  2. 满意的原因(ABC三个选项,限选2项)


  3. 不满意的原因(ABC三个对称选项,限选2项)

共有2个用户评价,1个满意(4-5分),1个不满意(1-3分)。

满意的用户分别选了:A和B。不满意的用户分别选了:A和C



故,

A表现水平 =(1-1)/2 = 0;B表现水平 =(1-0)/2 = 0.5;C表现水平 =(0-1)/2 = -0.5

A重要程度 =(1+1)/2 = 1;B重要程度 =(1+0)/2 = 0.5;C重要程度 = (0+1)/2 = 0.5

将三个项目的两个维度的映射到图上,可以得到下图:



上面的重要性的计算过程中隐含了3个前提假设:


1、单个用户对不同选项的权重相同


2、不同的用户的权重相同


3、满意和不满意两个类型题目权重相同


这3个前提假设是如何推导出来的?


我们通过反向的计算过程来推倒:


前提假设1:一个选项一旦被选中,都是使用1进行计数,我们可以得出假设3,即单个用户对不同选项的权重相同


前提假设2:在计算满意或不满意时,对计数的1进行相加,代表多少人满意或者不满意,我们可以得出假设2,即不同的用户对同一个选项的权重相同


前提假设3:计算时,使用满意时和不满意时的两盘数据的选择人数相加,我们可以得到假设1,即满意和不满意两个类型的题目的权重相等


记住这三个假设,后面的分析中有经常提到


在「 如何计算一项体验指标的重要程度 」中我们其实讨论了第3个假设前提,我们的结论是:差评和好评的权重是不一样的,差评的权重应该大于好评的权重


首先来解决第2个问题:不同人选了不同的项目数应该如何计算重要性?


这个问题主要是这么一个场景:题目限选时,有的用户选择1个项目,有的用户选择多个项目


按照我们之前的算法,即一旦用户选了某个选项即标记1,那么在计算时,一个选了3个选项的用户其实计算总和为3,1个选了1个选项的用户计算总和为1,那么不同的用户计算的权重是不一样的


我们希望不同用户的权重是一样的,都是1


使用新的虚拟案例来演示计算步骤:


假设:

有10个用户进行评价,4个满意,6个不满意。

满意的4个用户,选A有3个,选B有2个,选C有2个

满意的6个用户,选A有2个,选B有5个,选C有4个

具体原始数据如图

计算步骤有两步:


第一步:对单个人计算每个项目的分数


第二步:计算加权修正后的项目重要性


第一步:对单个人计算每个项目的分数


满意用户01 选了A和B,我们进行对A和B进行平均拆分,赋予A和B相同的权重,所以A和B的分数分别为:0.5,0.5。C因为没选,所以为0。整体相加为0.5+0.5+0=1


同样对所有用户进行拆分,最后我们得出表格:



第二步:计算拆分后的选项重要性


根据我们的原始公式 重要性=(好评人数+差评人数)/全部回答该题目的人数, 结合我们上一步计算选项重要性:


A=(0.5+1+0.5+0.5+0.5)/10=0.3


B=(0.5+0.5+0.5+0.5+0.5+0.5+1)/10=0.4


C=(0.5+0.5+0.5+0.5+0.5+0.5)/10=0.3


而,此时对比不使用平均加权进行修正的分数,


A=5/10=0.5


B=7/10=0.7


C=6/10=0.6


从两个的结果上会发现:


  1. 最重要的都是B


  2. 未修正时A<C,修正时候A=C

这个计算方式是有两个前提假设:假设1和假设3,我们解决了假设2的问题,即每个用户的权重一样都是1


再先来解决第3个问题:选项中每个人归因程度不一样时如何计算重要性?


这个问题主要是这么一个场景:用户选择原因时,每个原因的对最后的满意或者不满意的结果贡献占比不一样,有些原因占比大,有些原因占比小


按照我们上一个问题的计算方式,每个问题的都是平均拆分,即每个选项的权重都是一样。


我们希望不同的选项的权重是不一样的


计算步骤有三步:


第一步:赋予各选项的一定权重


第二步:将同一个人的权重归一化


第三步:计算赋权修正后的选项重要性


第一步:赋予各选项一定的权重


各个选项的权重不一样,那么如何赋予各个选项权重呢?


不同选项的重要性不一样,在总体上会体现在每个选项的选择人数不一样,所以我们使用每个选项的使用人数占全部人数的比例作为选项的权重赋值


首先计算下各个选项的选择人数


A选项有5个人选择,B选项有7个人选择,C选项有6个人选择


其次把某个选项的选择人数/总人数作为某个样本的每个选项的赋值


A的权重=5/10=0.5


B的权重=7/10=0.7


C的权重=6/10=0.6


我们将该数据带入每个用户的数据,结果如下图:



第二步:将同一个人的权重归一化


我们将每个用户的的数据进行归一化:


满意用户01的选项A=0.5/(0.5+0.7)=0.42


满意用户01的选项B=0.7/(0.5+0.7)=0.58


我们会发现选项A+选项B+选项C=0.42+0.58+0=1


其他的选项进行同样的处理,结果如下表:


第三步:计算赋权修正后的选项重要性


将列上的归一化的数据进行相加除以整体人数就是该选项的重要性水平


选项A的重要性=(0.42+1+0.45+0.42+0.45)/10=0.27,依次可以算出选项B的重要性=0.43,选项C的重要性=0.29


该计算方式有1个前提假设:假设3。即该种计算方式我们和我们上部门的计算相比,解决了假设1


那么,理想的计算方式应该是什么?


理想中的计算方法应该同时考虑三个假设才是理想中的更加精准计算重要性,即在第二种计算方式的前提下,还需要解决前提假设3的问题。

即结合本文中第二种计算方式和上一篇文章中说的内容即对好评和差评进行对应的赋值计算,这样的计算方式才是最完善的。


步骤为:


第一步:区分好评和差评两盘数据


第二步:分别对好评部分数据和差评部分差评进行权重计算(此时使用好评中 选项A人数/全部好评人数 作为好评部分数据中的某个人中的选项的权重赋值,差评同理)


第三步:分别将好评部分数据和差评部分数据的用户分数归一化


第四步:分别计算好评部分数据和差评部分数据赋权的选项重要性


到此为主的步骤,其实和上面第二部分的计算方式一样,唯一的差异就是对好评部分的数据和差评部分的数据各自算一遍

第五步:分别对差评部分数据和好评部分数据进行赋权,然后将第四步中算出来的各选项的好评部分的重要性数据和差评部分的重要性数据进行加权相加。


最后我们就得到“理想中”的重要性分数


彩蛋


我们来对比下各种计算方式下的重要性分数:

对数据做归一化进行比较:


同学们看到这个结果对比有什么想法呢?欢迎留言&私聊
另外,如果有想看指标体系的某个方面的内容,也欢迎留言&私聊


© 2011~2015 3 北京勺海市场调查有限责任公司 | 京ICP备12031756号 | 京公网安备11010802012285号

电话:010-58696306    地址:中国北京朝阳区东三环中路建外SOHO18号楼1506室   技术支持:混沌鸿蒙