【UXRen译#45】如何选择正确的用户体验度量

user-experience-mtb

度量(metric)是衡量你的用户体验战略是否发挥作用的指标(signals)。使用度量你才能监测随时间而发生的变化,为你自己或竞争对手的网站、应用的迭代建立基准指标,以及设立目标。

虽然大多数组织会跟踪像转化率(conversion rate)或参与度时长(engagement time)这样的度量,但他们通常不会将这些度量与设计决策联系起来。为什么?这些度量级别都太高了。转化率的改变可能与设计改变、促销、或竞争对手的动作有关。网站停留时长(time on site)可能意味着任何事情。

用户体验战略师(UX strategists)需要负责线上体验的度量。首先,我们来看看大多数企业里度量的现状以及在定义用户体验度量时的一些问题。然后,我们会聚焦于三种主要的用户体验度量类型,以及如何监测它们,如何将它们整合进一个组织的测量体系中。

 

指标问题

在网站和应用上有大量可得的数据,似乎只要有这些数据,令人惊喜的洞察就会自动浮出水面。然而,如果没有明智的决策,这通常不会发生。可以通过现成的分析(off-the-shelf analytics)、A/B测试甚至后续调查问卷拿到的数据并不一定会得到影响用户体验的洞察。

  • 一个指标容易监测并不意味着它就是重要的。
    例如,PV数据很容易收集,但它并没有太多关于人们实际上在逛你的网站,或使用你的应用时的体验信息。你的企业目标肯定不是确定每个用户到底浏览了多少页面。所以,PV可能是衡量广告效果的重要度量,但它并不是监测或激励参与的良好方式。
  • 指标本身可能是模糊的。
    考虑网站停留时长的例子,人们经常将它等同于参与度。停留时间越长可能是正面的,但它也可能是负面的,它可能意味着用户因困惑、分心或挫败而花费了大量时间。即便你同时监测网站停留时长和每次访问页数(Pages Per Visit),仍然不清楚这跟参与度会怎么等同。
  • 指标不会总是与设计相关。
    在新功能发布后,流量可能会开始上升。产品团队可能认为这是新功能的发布造成的,销售可能会将它与一项新的促销活动联系起来,UX团队可能认为这与他们的新设计相关。但增加的流量可能与上述原因都没有因果联系。A/B测试确实能将数据和设计联系起来,但这类数据也只是零散的。像图片A和图片B的点击量的度量可以帮助你做出如何布置界面元素的战术决策,但对更大的设计决策作用不大。
  • 可以依据的指标太多。
    为什么会有这么多数据呢?仅仅是因为分析工具可以监测跟踪成百上千的各种指标,而且分析的工具也层出不穷。测量一切,然后期望洞察自动出现的想法确实很诱人,但往往不遂人意。
  • 正确的指标可能根本没有被测量。
    企业通常在发布产品后监测各种度量。当你在产生新想法时,才是最应该捕捉这些度量的时刻,以便用来影响定义新设计,但通常,这些度量不是没有量化就是没有监测。

总之,要想在所有数据的噪音中找到合适的用户体验度量绝非易事。更复杂的是,企业还会找到并且跟踪这样一个神奇的度量,它往往衡量破坏用户体验目标的路上企业的其他部门做的怎么样,它通常也没有用户体验团队的参与,这就是那个关键绩效指标(KPIs)。

 

用户体验度量的历史和现状

大部分度量指标是营销导向的,而不是体验导向的。绝对造访人次(Unique visitors)可以告诉你,你的营销活动是否发挥作用,社交提及量(social mentions)可以告诉你,你的标题是否吸引眼球,但这些度量都没有太多地反映人们在使用网站和应用时的真实体验。

表1并没有详尽列出所有的度量,但它在一定程度上说明了营销监测的度量和用户体验团队目前监测的度量上的差异。

ux-measurement-01

到目前为止,用户体验度量主要关注易用性。可用性是一个熟悉的领域,也是用户体验团队擅长的领域,所以自然地把它作为起点。最常用的度量指标是绩效测量,比如完成任务的时间、成功率或用户出现的错误。这些是记录人们实际行为的客观测量。虽然根据测量方式的不同,成功率也会有一定的主观成分。

而像系统可用性量表(System Usability Score, SUS)或简单的满意度或易用性评估量表(simple satisfaction or ease-of-use rating scales)这样的主观测量主要评估人们在使用一个产品后在体验上是如何感知的。有时候用户体验团队会同时收集客观和主观的度量以更好地理解网站或应用的可用性。

我在表1中列出的全部用户体验度量反映的都是用户体验团队通常会从可用性研究而不是分析工具中收集的数据。这也是另一个营销度量和用户体验度量的重要差异。然而,许多组织根本没有量化研究数据,也没有连贯地监测它们。这通常是因为研究与具体的问题相关,或者仅仅是探索性的,研究样本也很小。所以,就算有的话,他们通常也只是偶尔地收集下可用性度量。

当然,用户体验不仅仅指涉易用性。它同样涉及动机、态度、期望、行为模式和限制。它涉及人们现有的交互类型,他们对体验的感受,以及他们期望执行的动作。用户体验也不仅仅包括一次访问(网站)或一次使用(应用)的那么短短几会工夫;它也是跨通道(cross-channel)的用户旅程。这是用户体验度量的新领域。

 

用户体验(UX)因素

尽管大多数度量指标测量的是人们做过的事情或说过的话,但它们看起来还是有点抽象。营销度量关注客户的获取,所以它们的重点是获得注意、达成交易。转化通道和登陆页优化(conversion funnels and landing-page optimization)的成分降低了人因因素的重要性。此外,这些度量没有考虑到串联用户实际体验的所有琐碎分散的因素。在导航条目上停留犹疑,由于网站导航太难使用而使用搜索,在提要中找不到所处位置的挫败感……所有这些不同类型的细节对于理解用户体验至关重要。这也是用户体验团队所擅长的。

用户体验度量的目标就是把人们带回到这种复杂性当中,甚至是有一点凌乱的实际体验当中。语境(contexts)和联系(connections)就是那丢失的环节。

  • 语境:
    用户体验团队已然可以通过一些分析工具中的数据提供语境,而通过用户研究、创建人物角色和旅程地图,可以补充“如何”和“为什么”的信息来展现实际发生的事情。如果你正着手监测像交互与来自不同通道的用户的不同目标和行为之间的关系这样的东西,你也可以提供关于这些语境的度量。
  • 关联:
    除了填补已经发生的事情和为什么发生之间的空白,用户体验度量弥合了开发过程中出现的洞察和网站上线后的监测数据之间的偏差。越来越多的企业正在开始关联和分享定量定性研究数据、客服以及网站分析的数据。但是,如果缺少度量,我们就很难理解随时间而发生的变化,也很难权衡问题的优先级。

当然,用户体验从业者可以从营销度量中学到一些东西。营销团队已经花了多得多的时间保持KPI与数据收集和度量之间的统一性。将价值赋予度量是营销的做法,但用户体验度量却没有这样,至少目前是。

 

可以监测的三个用户体验度量

聚焦在宏观的商业价值不一定能转化成更好的用户体验。但是,通过聚焦用户体验的关键面向,用户体验度量可以与企业使用分析工具(比如参与时间或跳出率)监测的度量相辅相成。

表2列出了与成功的用户体验息息相关的宏观用户体验度量的三个主要类别:

  • 可用性(usability)
  • 参与(engagement)
  • 转化(conversion)

虽然你可以重点关注每个类别下的某一个度量,但你也可以将一个类别下的几个度量合并成一个综合分数,然后在你的研究中进行监测。表2的度量可以让我们对用户体验有一个更加细致的理解,从而为改善用户体验打好基础。

ux-measurement-02

1. 可用性

可用性度量关注人们达成目标的容易程度。这一类别的度量包括一些用户体验团队已经在监测的所有可用性度量,比如完成任务的时长、任务成功率以及易用性评估。它也可能包括更加细化的度量,比如图标识别(icon recognition)、搜索和导航的使用(searching versus navigating)。此外,可用性还可以包括表现困惑、沮丧或迟疑的交互模式(interaction patterns)或事件流(event streams)。

2. 参与性

参与性这个度量是许多网站的“圣杯”,它的模糊性在各种度量类别中是有名的。但是用户体验团队也可以在这方面能够有所建树,理解人们与网站或应用交互的多寡、他们给予网站或应用的注意力大小、他们体验流状态的时间长短、他们对网站或应用感觉如何。时间仍然是参与度量的一个因素,但可以与其他度量相结合,比如PV、一定间隔下的滚动次数(scrolling at certain intervals)或者事件流。因为要读懂这个度量需要一定技巧的,与定性洞察的结合可以有更好的效果。

3. 转化或转化的可能性

转化率是每个人都最为关注的度量,但使用这一度量可能意味着只关注一小部分准备投入的用户,而忽略了其他仅仅知道你的网站或者考虑提高他们的参与度的人。你也可以使用用户体验度量来设计这些次要场景的解决方案。例如,观察用户在微转化中采取行动的可能性,而不仅仅是考虑转化率和净推荐分数。

这一类别下的度量可以帮助我们识别趋势,并回答所有数据面临的“然后呢?”的问题。宏观度量让我们有大局观,看到网站或应用如何随时间而变化,以及它们所处的其他体验的世界和更大的背景。

 

更有意义的度量

所有的组织都在寻求更有意义的度量,而不只是默认使用分析工具提供的现成数据。这对用户体验来说是一件好事,因为用户体验团队需要监测的东西通常来说更复杂,而这最终也能够相应的提供更为长远的价值。

度量方面最新的发展趋势是采用更为复杂的指标。不单单依赖个别指标,比如使用页面浏览量作为参与度的指标,或着陆页引发行动促进转化的点击量,这一趋势正在朝采用从多重指标或事件流中获取度量的方向发展。

  • 多重指标度量涉及不同的数据类型和不同的获取数据的通道。
    例如,将社交情感(social sentiment)和交互结合起来。通过综合考虑净推荐分数、产品评论和社交媒体推荐(social-media posts),多重指标的度量让Modcloth公司(一家时装电商公司)识别并理解一群未获足够服务的受众。信任因素也可以从多重指标这个角度考量,可以将信任线索的识别和信任率或推荐可能性结合起来。
  • 事件流度量用时间来跟踪度量交互。
    例如,浏览器标签页打开的时长,视频播放器运行的时长,鼠标在屏幕上的运动。Medium观察事件流当中滚动的位置来监测总的阅读时长,这也是它的KPI。以系列事件表征的注意时间是另一个对参与度有着更好洞察的度量。你可以使用类似的技术来监测用户的心流状态。

用户体验的合理测量指标通常是交互(interactions)和感知(perceptions)的结合。交互是指人们实际做了什么,包括点击、滚动和填写表单。知觉是指人们对用户体验的看法和感受。如果同时监测两者,它们会更有意义。

事件流(event streams)(有意义的一系列交互)与用户体验团队擅长的定性研究有许多共同点。无论是在线研究还是实验室研究,我经常观察到的一个行为就是,当用户第一次访问网站时总是会很快滚动到页面最下方,然后再滚上去。你可以将这个行为作为第一印象的度量。另外一个基于事件流的指标是困惑时刻(confusion moment)。这时,人们会很快地尝试完一系列的交互,然后返回。

另一个用户体验度量的潜在来源就是从定性研究中汇集的数据。这类研究不是为了收集量化数据,而是量化诠释之前研究中得到的数据。达到这一目的的方式可以是,在每个研究中都收集特定度量比如成功率、完成任务的时长或信任度评估,然后从日志数据中计算与功能或设计模式相关的结果,例如X%的人点击了轮播项,或者Y%的人筛选了搜索结果。然后你可以将这些度量整合到宏观度量中,比如可用性、参与度和转化率。

 

企业中的用户体验度量

在企业里,可以转化为企业价值的洞察与帮助改善用户体验的那些度量相当重要,但是仅仅使用这些度量是远远不够的。为了让度量产生影响,你应该将它们和企业中的其他度量联系起来。

上述三大宏观度量也很容易整合到大部分企业已经在监测的KPI里。例如,所有企业都监测参与度和转化率,所以,对聚焦用户体验的度量的监测可以增加分析工具或调查数据所缺少的语境信息和深度。虽然许多企业没有针对可用性的度量,但它通常也是在他们的“雷达”(计划之中)上需要填补的一个信息缺口。

可用性、参与度和转化率度量可以很好地整合到一些常用的测量体系中。Forrester公司的CX测量体系将度量分为以下三类:

  • 描述性度量:告诉我们发生了什么。
  • 感知度量:关注客户如何感知发生的事情。
  • 结果度量:描述客户在他们感知的基础上做了什么或者期望做什么。

这三个度量类别本质上和用户体验的三种度量(即,可用性、参与和转化)是相匹配的。

另外一个在坊间流行的体系(见Avinash Kaushik的文章《See, Think, Do Framework》)将度量分为觉知(awareness)、思考(consideration)和行动(action)。然而,用户体验度量的三个类别并不能很好地符合这个体系,这样监测每个类别下的度量就变得重要了。

 

用户体验度量的未来

收集用户体验度量是一件很棒的事,前提是你测量了正确的东西。这些东西将能改变你的企业与客户之间的关系。发展出更好的度量以理解和管理用户体验有助于组织做到以用户为先。

 

译者:阿东;审校:石头;发布日期:June 2, 2014
原文作者:Pamela Pavliscak
原文链接:http://www.uxmatters.com/mt/archives/2014/06/choosing-the-right-metrics-for-user-experience.php
顶部图片来源:https://www.marketingtechblog.com
版权所有:UXRen翻译组 (转载请注明出处!)
 
 

2 条回复

  1. 头像 阿东说道:

    想系统性地了解用户体验度量的童鞋可以阅读《用户体验度量》这本书

patric温广辉进行回复 取消回复

您的电子邮箱地址不会被公开。