【方法】聊聊问卷调查中的那些“坑”

作者：吴金铎

 

前言：问卷调查的方法大家都已经非常熟悉了，在这里就不过多的来介绍基本情况了。这里主要是想结合自己的经验和最近的一些阅读思考，总结一下问卷调查中各种容易忽略的地方（俗称：坑）和如何避免踩进这些坑，供大家参考。

问卷调查的定义是指运用标准化的问卷，来了解某一特定类型人群的真实行为态度或者收集这些用户的意见建议。通过这个简单的定义，我们也可以大概看出问卷调查方法的优势所在：

1. 成本低：因为是采用问卷的形式，所以不但省时省力，还可以大规模发放。
2. 可量化：标准化的问卷可以获得可量化数据，方便后续的数据分析比较。
3. 匿名性：用户可以不受研究人员的主观影响，自由的表达自己观点。比起面对面的访谈，问卷调查有其天然的优势。

与优点同时而来的，就是不得不面对的一些缺点， 因为问卷最后是直接面对用户的,而用户的一些基本特征会带来的对问卷调查的挑战：

 

1、用户很忙

主要表现为：用户的参与率低、问卷的完整回答率低。

对策：

在不涉及任何自身利益的时候，用户会非常容易不耐烦。可能文案和奖励政策可以吸引更多的用户点击链接来回答你的问卷，但是，一旦用户点击了进来，影响用户填写状态的便成了整个问卷的质量。为了提高用户的参与率，一个主要的思路就是：提高问卷性价比，用最少的问题问出最关心的方面。具体来说：

• 确定需求：

  这是一个字面看起来要比实际做起来难很多的事情。往往需求方会希望我们用一个问卷来解决尽可能多的问题。但是，求全求大往往会导致问卷本身质量的下降，最终得不偿失。所以，在问卷编制前，一定要通过沟通确保我们了解到了需求方最关心的核心问题，然后再紧紧围绕着这个目的来开始问卷编制，举个例子：针对一次电商促销活动,需求方想知道此次活动的满意度情况。而活动的满意度可划分的维度无非就是：价格优惠的感知、产品质量的感知、发货物流的感知、客服售后的感知等。表面看问卷是要将所有这些维度都要包括，但其实在这里面，物流速度、产品质量等，在促销期间和非促销期间是没有差别的。而且每季度常规进行的产品满意度调研都已经对这些问题进行过了研究。所以，这部分内容就就没有必要加到问卷中来。
  对于有些数据，问卷也许并不是最好的获取渠道：针对一次电商促销活动的调研，我们可以询问用户在活动期间购买了哪些品类，从而通过样本来得到一个活动的大概品类销售比例。但是，其实这些数据后台都是可以获得的。数据分析部门可以很轻松的提取到这些数据，而且是更加客观真实的。所以，我们没有必要占用寸土寸金的问卷篇幅来获得一个通过其他途径可以更好获得的数据。

• 用复合式题目来减少题目数量：

  有时候，由于前后逻辑关系，我们需要问几个问题来关心一件事情。比如，在一次电商促销活动中，有一个晒萌娃PK的优惠活动，对于这个活动，我们很关心那些有小孩但是却没有参加晒娃的用户。在题目的设置上，你可以通过两个问题来达到甄别用户的目的：
  A）：您是否有小孩？
  B）：您是否参加了萌娃PK？
  虽然这两道题目很简单，但是每一次选择对用户来说都是有成本的。像这种简单的题目可以组合成一道复合题，比如：您是否有小孩并参加了晒娃PK？：
  A有小孩并参加了晒娃
  B有小孩但没有参加晒娃
  C没有小孩但是参加了晒娃
  D 没有小孩且没有参加晒娃。

• 问卷设计逻辑：

  一次问卷的设计其实也是一种交互的设计，好的交互体验可以带来好的用户参与度。而好的问卷交互就需要整个问卷在设计上符合逻辑，循序渐进。大概的一些原则有：
  A）简单的、用户可能感兴趣的问题放在前面，复杂的放在后面
  B）先问行为方面的问题放在前面，态度、意见、看法方面的问题放在后面；
  C）个人背景资料一般放在结尾；
  D）整体的感知放在前面，细分类别的感知放在后面
  E）个别单独的问题可以放在最后。
  还是针对这次电商促销活动，根据上述原则，结合实际情况，我们这次问卷设计的逻辑结构为：活动期间的购物行为调查、整体活动的满意度感知、对各个分活动的满意度感知、对具体某个新设计方案的感知评价。

 

2、用户会迷茫

主要表现为：用户不明白问题的意思、用户不知道选择哪个、用户回忆不起来、用户也不知道自己到底属于哪一个？用户有一肚子话却不知道选哪一个？

对策：

• 语言要让用户容易明白：

  这个原则也是问卷设置的基本原则了，即使用用户能够听懂的语言而不是专业的语言来编制问卷。比如说：在实际的问卷调研中，需求方有时候也会希望通过问卷来发现产品在可用性方面存在的问题。然而简单粗暴地让用户对产品“是否结构清晰”“是否操作方便”进行评价是很难获得真实的情况的。因为用户很难明白“结构清晰”“操作方面”的真正含义。而更好的方法是将每一个可用性维度，翻译成有代表性的、用户可以听得懂的场景，然后让用户选择对该表述的认可程度。比如：

  对于下面的表述，您的认可程度是：
  –我可以轻松地找到我感兴趣的分会场
  非常认可 比较认可 一般不太认可 非常不认可 我不清楚

  同时，问卷题目的语法一定要简洁，不要使用类似于双重否定等比较绕的语法。

• 选项要穷尽并且相互独立：

  也就是通过MECE分析法，让每一个用户有也只有一个选项可以选。在这个方面，往往从逻辑上来对可能的回答情况进行分类，会很好地避免出现不穷尽或不独立的情况。比如：对于在促销活动中没有购买行为的用户，我们比较关心他们没有购买的原因。在选项中就要给出尽可能包括所有的原因，在这里可以从下面这个逻辑来出发：
  
  当然，上述的这些分类还是不可能包括所有情况，所以还要加上其他原因。最终形成的原因选项是：

• 谁说我不买，我只是还在选择/犹豫
• 价格不够便宜
• 没有我感兴趣的东西
• 想买的东西之前已经囤够
• 想买的东西没货了
• 其他原因

• 这里多说一句：

  在上一次大促活动调研的时候，是没有“想买的东西之前已经囤够”这个选项的，因为严格从逻辑上来说，这种情况可以归在“没有我感兴趣的东西”里面。但是对后来对问卷结果进行分析时发现，在用户选择填写其他原因的里面，有相当比例的用户反映说，我之前已经买了很多，所以这次就没有买。可以看到用户并不能很好地将该原因归到“没有我感兴趣的东西”里面，因此这次的调研里，我们加上了这个选项。

• 帮助用户回忆：

  用户并没有我们想象的那样熟悉我们的产品。而且不可能奢望用户边使用产品边做问卷。在必要时候要帮助用户去回忆当时的使用情况。比如：我们这次促销活动调研中，比较关心一个很具体的问题就是，在活动分会场页面中的底部导航是否能够很好地被用户感知到并使用。在问该问题是，我们要求用户回答是否见到这样一个底部导航，为了帮助用户再认，我们将导航的图片样式插入到了题目中，以期减少用户的记忆负荷。

• 选项不要太机械：

  用户不是机器，不能够很精确地回答一些问题，比如说，询问用户网购的频率：一个月3次以下，一个月3-5次等等，用户在填写过程中并不会去认真去算一下自己购物的平均次数，这样的数据其实价值并不大。

 

3、用户不是一个人

主要表现为：平均数有时候说明不了问题、群体代表性可能会出现问题。

对策：

• 不同群体的细分：

  一个极端的例子：可能男性用户对此产品非常满意，而女性用户非常不满意。如果只是求一个平均数，我们会觉得该产品满意度一般，但是其实却丢失了很多关键的信息。在进行问卷设计中，需要考虑通过几个题目来对群体的不同属性进行区分。在电商的用户群体中，最常用的细分便是：不同性别、不同收入水平、新老用户等等。在对不同用户群体进行交叉分析时，除非用明确的假设，不然工作量会比较大。利用Excel的数据透视表能够完成交叉汇总的大部分繁重工作,但是注意别迷失在交叉分析中，去比较逻辑上不应该比较的数据。

• 时刻记得用户代表性的局限：

  在得出结论的时候，要时刻提醒自己不要忘记我们所选取用户的代表性是有局限的。本身愿意来做问卷的群体就是产品的比较积极用户，所以，一定程度上来讲，我们的结果都是基于积极用户的反馈声音的。

• 不同时间不同渠道的用户注意区分：

  比如，在Web端和在APP端两种不同渠道、在促销活动进行中和促销活动结束后来填写问卷的用户都是不完全相同的群体，可以尝试去发现这些不同群体之间，是不是存在差异。

 

4、用户是会撒谎的

主要表现为：数据不可靠、难以了解用户的实际表现。

对策：

• 测谎：

  测谎题是心理学研究中常用的方法，可以甄别出那些随意作答的情况。但是注意测谎题的数量不宜过多，否则会让用户产生一种这个问卷不专业的印象。

• 选项随机化：

  选项的顺序可能会产生首因效应和近因效应。因此对于题目选项，可以让其随机排序。但是注意一点：选项之间有明显前后递进关系的是不需要使用随机的。比如:非常满意、比较满意、一般、比较不满意、非常不满意类似于这种的选项，如果随机呈现是非常滑稽的。

• 数据筛选：

  不可靠的数据还可以通过事后的数据筛选来剔除掉。筛选问卷时，首先可以用Excel筛选功能，将不完整问卷和测谎题矛盾的问卷剔除掉；然后将问卷时间过于长和过于短的剔除掉。这里主要采用SPSS里的箱形图来找出极端值。然后通过频次统计，来将那些重复率高于一个标准的（比如90%）的或者多选题全选的数据剔除掉。

• 客观看待满意度分数：

  在用户回答问题过程中，会存在着各种认知偏差。认知失调理论认为，人们对于自己付出了代价的东西会倾向于认为付出的代价是值得的，以此来避免认知上的失调。所以，我们通过问卷调研得出的满意度往往也会因为认知失调理论而产生虚高的现象。客观认识到这个问题后，具体的一个满意度分数其实意义是不大的，而只有在对以往满意度分数进行比较时才会发现更多信息。

• 不预测将来只了解现在：

  用户的态度有时候并不能真实地预测其行为，这也是心理学上一个经典的论述。所以，我们在问卷调研中，不要尝试让用户预测自己的行为，而是更关注过去或者当前的状态。比如：电商平台准备上一个新的品类，我们想了解用户购买该品类的意愿如何。于是可能会问：如果平台上有了该产品，您是否会购买？其实更恰当的方式是：您之前是否尝试在该平台搜索该类产品？您是否在其他电商平台购买过该类产品？

以上就是我根据自身经验和平时的阅读思考，总结的一些肯定不全但是自认为会对大家有启发的一些建议。最后想说的几点是：

问卷调查方法有诸多局限，最好可以结合着访谈等定性方法来进行研究；

往往我们可以说出很多问卷调查的注意事项，但是在实际执行中，可能会因为种种困难，而不能很好的贯彻。在实际工作中还是尽量避免纸上谈兵的现象；

问卷的标准化是一个无止境的过程，对于一些常用的问卷类型，我们平时需要多积累和验证，挖掘信效度资料，一步步提高问卷的科学程度。

 

文章来源：网易产品发展部LOFTER轻博客（欢迎关注，转载请注明出处）

顶部图片来源：http://www.bebr.ufl.edu