【UXRen译#22】用户测试不会告诉你的那些事儿

user-testing

随着时间的推移,我们跟数字化产品及服务的关系,也像跟其他东西一样,正在渐渐发生改变、并趋于成熟。所以,当Shopify的用户体验团队准备去改善产品的初次使用体验时(这通常需要几天或几周的时间去实施),我们选择采取一种不同寻常的方法。

我们的故事可以从一个问题开始:当创建一个在线店铺时,用户是怎么想的?去年一加入Shopify,我就开始着手解决这个问题。然后,我很快就知道,这远比买一个店铺要复杂得多。

我最初问了一个更简单的问题:创建店铺的过程中哪些步骤最费时、费力?虽然网页分析能帮我的团队识别出我们产品上用户操作频次较高的区域、做定量分析。但却不能提供我后边将提到的做定性分析的任何数据。另外,多年指导用户测试的经验使我相信:传统的、一个小时的可用性测试不能给我的团队足够多的定性分析数据来做设计决策。

我开始觉得,我们需要的是一种真正不同寻常的方法。所以,我做了任何研究人员做选择时会做的事:决定采用组合法。接下来要讲的这种方法一点也不“高科技”也不需要有多年的专业研究经验。事实上,它表明了如何运用日记研究、电话访谈、基础数据分析等等这些方法的简单组合,就可以高效识别出哪些任务对我们的用户来说是费时、费力的。

 

从公司内部开始研究

所有以用户为中心的设计都应该首先清楚用户怎么使用产品或将怎么使用产品。在Shopify的案例中,我们从产品的初次使用体验开始研究。

为了更好地理解我们的已有产品(体验),我的团队从内部研究开始。我们的第一步是客服。作为公司的一线代表,我们的客服团队掌握了大量与用户日常使用过程中的问题相关的信息。我的团队开始寻找规律。很快,我们注意到用户在开始使用产品的前几天需要非常多的帮助。

我们的下一站是数据分析团队。他们帮我们更好地理解用户注册和注销的规律。我们问:平均大约多少天以后,我们的潜在(试用)用户会转入支付环节、成为付费用户?一天(或两天、三天……)以后,大约百分之多少的潜在用户会流失?还有,多少天以后,客户会把他们的网站对外发布?

最后,我们看GA的数据。通过数据我们发现,我们的客户在创建在线店铺的时候实际上会花很多时间。结合我们之前得到的信息——客户在这一阶段需要更多的帮助,我们推测,我们的创建过程并不像我们希望的那么直观。

 

日记,访谈,分析……噢,我的!

对Shopify的内部数据进行充分探讨后,我知道,如果我们想从客户的角度来理解创建过程的体验的话,应该走到公司外面去了。就像之前说的,我的第一个想法是去做传统的可用性测试。但是,又有个想法,传统的、长时间的可用性测试不能得到我们后来得到的那些细微差别。

即兴发挥了一下,为了在一段时间内更好地了解我们产品的初次使用体验,我决定实施一次“鸡尾酒式的研究”。包含以下内容:

  • 日记研究:日记研究通过让用户不时地记录他的体验来提炼用户对某一特定任务或过程的理解。因为日记研究是“实时”的,所以它们能够提供一些深入用户内心的引人入胜的看法,而且能够给研究团队提供一个独特的机会,让他们能够建立对这一过程的同理心。
  • 电话访谈:电话访谈通常是从用户那里得到额外信息的一个好方法,尤其是在用户的工作环境下进行的话,效果更好。结合我们收集到的日记,我们再使用电话访谈获得更清晰的信息
  • 基础分析:数据分析通过追踪使用信息来提供大量对行为的观察。通过这个,我们能寻找一些规律,比如哪些页面访问比较频繁、用户在某个特定时间需要多少时间登录。我们加入了从我们客服和数据团队那里得到的数据,为以后的发现打下了基础。

在决定采取“鸡尾酒”策略之后,我和我的小伙伴们实施了三种独立的措施来完成我们的研究:招募、数据收集和分析。

 

招募

首先,我们聚焦在我们要研究的目标人群上。一些研究人员可能会试图通过招募公司来帮他们来发现目标用户,我们的团队没有这样做。我们决定去招募一些徘徊在Shopify注册过程前后的参与者,以便于在一天内就能与我们的潜在客户建立关联。

接下来,我们团队确定了一个可控的样本范围和时间框架。我们想招募8个人来参与我们的研究,所以我们招募了12个来以备万一。因为我们想了解我们的客户在创建店铺过程中的任何行为和态度上的变化,所以我们决定将我们的研究进行比较长的时间:两周。

我们清楚地知道,两周对任何人来说都是比较艰巨的任务,尤其是我们产品的新用户。所以我们决定将“提问”环节放到研究开始之前。为达到目的,我们给我们的50位用户(所有用户都在一个小时内刚注册)发邮件,内容介绍了我们的研究所需要的全部细节。邮件内容大致如下:

您好,

恭喜您开通了Shopify账号,我们希望能助您成功,所以更多地了解我们的客户对我们非常重要。

您在寻找什么

我们希望新客户能跟我们谈一些他们在准备在线店铺上线前的一些体验。如果您刚刚来到Shopify,并且正准备让您的Shopify店铺快速上线,那您正是我们寻找的!加入我们吧,帮我们把产品和服务做得更棒!

我很感兴趣!我需要做什么?

我们想让您对创建在线店铺的过程做个简短的日记。只需要每天花两分钟,两周就行。最后的时候,我们将会对您进行一次简短的电话访谈,来谈谈您的体验。而且,我们还会赠送给您100美元的优惠券来感谢您的参与。

怎么参加?

只需要安排一个对您来比较合适的时间,我们将通过电话来告诉您下一步怎么做。

“安排一个对您来比较合适的时间”可以通过一个叫youcanbook.me的免费工具来实现。这个工具用来安排日程非常方便。它会通过留下的电话号码或电子邮件地址来提醒预订的时间。一旦参与者安排好时间,我们的团队会发出另一封电子邮件,对他们接下来要做的事进行更详细的说明。这些客户肯定会有很多的疑问,我们将会通过接下来的电话来解决这些疑问。

 

数据收集

下一步就是将日记模板发给参与者。这样,他们就能按我们的方式将数据发送给我们。我们的团队用Google Docs 来收集文本记录,不过,Tumblr可完美适配基于图片的记录。参与者连续两周在Google Spreadsheet中做记录,这些记录大体如下:

由于这些记录都是在家中完成的,所以创建一个好模板的关键是保证每个问题都是有针对性的。为了让参与者能够比较容易地进入状态,我们团队做的前几个问题都非常简单。但是我们后边问的几列问题都是能唤起情感反应的。

  • 今天你做了计划要做的事了吗?
  • 感觉怎么样?
  • 是什么促使你离开或结束活动?
  • 今天,你需要从搭档、朋友或客户那里寻求帮助吗?为什么?

Shopify的团队负责监控每日更新,并与我们的参与者持续保持沟通;在研究过程中,我们要鼓励并赞扬参与者的录入。我们有时也会发邮件给他们,讨论他们的书面反馈。两周后,我们安排电话进行收尾工作,并亲自感谢他们的协助。

 

分析

既然我们已经收集了我们客户初次使用体验的深入记录,那么接下来就要对这些结果进行分析,来讲述我们的这些参与者的共同故事了。

与Steve Portigal几个月前建议的一致,我们团队每天花10分钟左右来阅读这些日记,并提炼一些关键引用或关键词到一个电子表里。

每次做一点能帮我们早点摸到规律,而且避免我们最后的分析成为一项可怕、费时的任务。我们将参与者引用的部分用颜色标记,以便识别,确保能标记出比较强烈的情绪反应(如,比较强烈的骄傲/高兴的转折点或时刻)以及对应的触发器(是什么触发了这些情绪)。简而言之,我们用数据来识别什么让我们的客户感觉好,什么让他们感觉不好。

最后,我们准备分享我们的研究结果。我们的分析重点突出了在哪些地方,因为缺乏帮助或说明而流失客户的。实际上,我们发现,我们想象的开店铺的过程跟实际过程间有很大的差距。这使我想起喜剧演员 Demetri Martin做的一张非常有名的图,如下:

在上图中,左边这条线表示我们想象的店铺创建的过程。右边这条线表示我们的用户实际操作的过程。人们讨厌障碍,会变累,而且并不能在第一时间把事做正确。一旦我们发现他们做的一些任务是多么烦人,我们就能找出办法让它们变得更有效率。

好奇是人类的天性,所以几乎不出意料的,我们的研究日记在研究团队之外引起了很多人的阅读兴趣。我们整个公司都发现了我们用户的日记中的“秘密”所包含的真正价值。很多用户记录说,他们从来没有把从客户那里得到一些类似“或许这就是我”或“我正在做这些事”这样的支持看得非常重要。但对我们来说,这是个金矿。其实,很多地方,人们已经在沉默中开始不满了。

作为设计师,我们通常认为从简单的可用性测试那里可以得到用户信息。但我们的研究表明,长期的可用性测试能帮我们找到在用户最脆弱的时候、服务他们的更好的方法:帮助他们从新手一跃成为专家。

 

关于作者

Lynsey在Shopify带用户体验研究团队,她热爱那里的日常工作。 她已经花了六年的时间来将用户体验研究整合到快速发展的科技公司。Lynsey的大部分时间主要待在温哥华、渥太华和多伦多。可以在Twitter上关注她 @lynseythornton

Lynsey Thornton

 

译者:吴媛;审校:fly;发布日期:MARCH 25, 2014
原文作者:Lynsey
原文链接:uxbooth.com
顶部图片来源:ansr.io
版权所有:UXRen翻译组 (转载请注明出处!)
 
 

2 条回复

  1. 2016-01-14

    […] 译者:吴媛;审校:fly; […]

发表评论

您的电子邮箱地址不会被公开。