十个常见的可用性度量误区

本文摘自《Measuring The User Experience》，作者：Tom Tullis和Bill Alibert，由江南大学设计学院研究生刘兆峰翻译。本书是探讨量化用户体验，有兴趣可以购买和阅读中文版《用户体验度量》。

仅供学习研究之用，未经许可，禁止任何形式的转载。

关于可用性度量的问题，业内人士对此在看法上也存在着很多误区。这些误区可能来自于对度量方法缺少体验缘故。也许这些误区是来源于负面的体验（如来自营销领域的某些专家对你的样本容量指手画脚，吹毛求疵）或其他的可用性专家抱怨的度量有多么的麻烦，多么浪费资金。

归根结底，这些误区是从哪里冒出来的无足轻重，重要的是要将事实与虚构区分开来。我们围绕可用性度量的问题列出了十个最常见的误区，对应着举了一些例子来一一解释。

误区1：度量数据收集耗时长

最好的情况是，可用性度量可以加速设计过程，在最坏的情况是，它至少不会应影响总体产品的交付时间。度量作为产品正常迭代时可用性评估过程的一部分来说，数据收集是迅速而简易的。项目团队成员可能会错误地认为，全面的调查需要一个启动过程，你要连续两周在实验室进行测试，收集用于可用性度量基本数据。

事实上，有一些非常简单的可用性度量数据可以在你日常测试的过程中收集到。在每一个可用性测试开始或结束时多问几个额外的问题不会耗费多少时间的。可以让参与者可以快速回答一些关键问题，当作是问卷里典型的背景问题或后续活动的一部分就可以了。

也可以在参与者每个任务完成后或全部任务结束后，让他们评估一下这个测试的任务过程是否可以轻松完成，满意度如何等。如果你很容易找到一个大群目标用户或有很多在线登陆用户，那么你可以发送一个写着几个关键问题，也许有一些截图电子邮件给他们。在一天之内收集数百名用户调研资料也是有可能的。一些数据甚至可以在没有涉及用户参与的情况下快速收集到。

例如，你可以轻松而快速地获得每个新迭代设计的具体问题的出现频率和严重程度。收集这些度量数据所总共也需要不了几周的时间，有时甚至几天就可以完成。更有甚者，只要额外几小时甚至几分钟的时间就足够了。

误区2：可用性度量耗费财力

有些人认为，获得可靠的可用性数据的唯一方法是外包给市场研究的调研公司或可用性咨询公司，让他们来做。虽然这在某些情况下可能是有用的，但是需要的价钱恐怕也是不菲的。其实很多可靠的度量数据的获得根本花不了多少钱。对于产品各种可用性问题出现的频率和严重程度等这些有价值的度量数据，在日常测试的过程中完全可以收集到，这有些令人难以置信，是吧。

你也可以通过发送短邮件来调查别的员工或一组目标用户来，以此收集大量的定量数据。同时，网站上的一些很棒的分析工具都是免费的。虽然金钱在某些情况下可以对数据收集有所助力，但对于想获得一些重要的度量数据来说，这种做法完全没必要。

误区3：在着眼于微小的优化时，可用性度量不起作用

当一些项目团队成员只对一些很小的改进感兴趣的时候，他们可能会质疑这种度量是否真的有效。他们可能会说，最好是将目光聚焦在产品微小的改进上，而不必去担心度量数据的问题。他们可能没有任何额外的时间和预算来收集任何可用性度量数据。他们也许会说，度量过程在快速迭代设计过程中没有立足之地。其实，对可用性问题的分析是一种显而易见又非常有价值的问题解决方案。

例如，对可用性问题的严重程度和频率以及它们为什么会出现进行研究，是对资源的集中利用，这在设计过程中的一个十分明智做法。这种方法可以节省项目耗费的时间和金钱。在前人研究的基础上，你可以很容易地获得需要的可用性数据，这可以帮你回答一些关键的可用性问题。可以说，无论项目大小，可用性度量都适用。 

误区4：可用性度量没法帮助我们理解内在原因

有些人认为度量没法帮助我们了解可用性问题的根本原因所在。他们（错误地）认为，度量结果只是强调这个问题有多么严重而已。但如果他们只专注于成功率或完成时间的数据，就会很容易明白为什么一些人可能有这种看法了。

其实，度量数据能够告诉你的有关的可用性问题的根本原因，要比你想象的多得多。你可以通过逐字分析评论来揭示问题的根源和使用用户的数量。你能找出用户在系统使用的哪个地方遇到了问题，而且度量数据不仅能告诉你哪里出问题了，甚至能说明问题出现的原因所在。源自于数据的编码和分析方法的支持，丰富的可用性数据，可以帮助你揭示很多可用性问题产生的根本原因。

误区5：可用性数据噪声太多了

对可用性度量最大的一个批评是，数据里充满了太多的“噪声”干扰：太多的变量，让人不清楚到底发生了什么事情。一个经典的“噪声”数据例子就是，在一个自动化的可用性研究中测量任务完成时间。但是在这期间，参与者会出去喝杯咖啡，或者更糟糕的是，周末回家休息。虽然情况这可能发生，但它不应该阻止你收集任务时间数据或任何其他类型的可用性数据。有一些简单的做法，可以减少甚至消除数据中的噪声。清理后的可用性数据，一些极端数值将不会被用于分析中。

同时，对于一些具体的度量数据，可以通过仔细选择来以减少噪声数据的干扰。定义良好的程序可以用来确保在评价任务或可用性问题时保持适当水平上的一致性。许多标准的可用性问卷调查已经被许多学者广泛验证。这个做法的底线就是，通过认真思考和一些简单的技巧的使用，可显著降低很多可用性数据中的噪声干扰，营造一幅关于用户的行为和态度的清晰画面。

误区6：你只能相信自己的直觉

很多可用性的决策需要“全身心的投入”才能做出来。项目团队里总有人会说，“这个决定只是凭感觉做出来的！”度量的美妙之处有很多，其中之一就在于在工作中数据的获得是需要耗费大量精力，从可用性的决策中猜测得来的。一些设计选择存在很多诟病，但它们实际上可能影响很多用户。有时候，看似正确的设计方案反而是违反直觉的。

例如，一个设计团队应该确保网页上所有的信息都呈现在页面上，从而消除了滚动页面的需求。然而，可用性数据（也许是任务完成时间的形式数据）可以显示更长的任务完成时间，因为在各种视觉元素之间没有足够的空白空间可供利用。直觉固然重要，但数据是更有说服力。

误区7：度量不适用于新产品

有些人在评价一个新产品羞于使用度量方法。他们可能会说，既然没对比的问题点，度量就是毫无意义的。我们认为恰恰相反。当评估一个新产品的时候，建立一套基准度量标准比在未来的设计迭代中进行度量比较更重要。这是准确把握设计是否真的提高改善了的唯一方法。此外，建立新产品的目标度量指标也很有用。产品发布之前，至少要满足围绕任务成功，满意度、效率等这些方面建立基本的可用性度量指标。

误区8：对于特殊类型的问题的处理，我们无法度量

有些人相信，不存在任何与他们创建的特定产品或项目相关的度量指标。无论项目目标是什么，至少一对度量指标与项目的商业目标是直接相关的。例如，有些人说他们唯一感兴趣的用户的情绪反应和不实际的工作表现。在这种情况下，几种行之有效的测量情绪反应方法是可用的。在其他情况下，可能有人只关注意识。那么有一种很简单的测量意识方法，即使没有眼动跟踪设备。

有些人说，他们只对用户更微妙的反应感兴趣，例如他们的沮丧水平。还有不需要询问用户就可以测量应力水平的方式。在我们的可用性研究的几年中，我们也遇到一个企业或用户的目标，在某种程度上是不可测量的。你可能要在你如何收集数据上做出一些创新，但是它总是能够度量出来的。 

误区9：管理人员不理解或者不认可度量数据

虽然有一些管理者认为可用性只是提供设计或产品的定性反馈数据，但是大多数经理还是看到了测量的价值所在。据我们的经验，高水平的管理人员不仅理解可用性度量的内容，同事也非常认可和欣赏非常感激。他们可以讲度量与联系起来。

度量为团  队、产品和设计过程提供可靠的保证。度量数据可以用来计算投资回报率。大多数管理者喜欢度量数据，并且可用性度量是一种他们能够快速掌握的方法。可用性度量数据可以成功地将管理者的注意力转移过来。

例如，在线检测过程中存在一个问题是一回事，但如果说52%的用户在网上找到页面后都无法成功购买产品，这就是一个完全不同的事情了。

误区10：小样本中难以收集到可靠的数据

一个广泛认可的理念是，收集任何可靠的可用性度量数据都需要一个大样本量的支持。很多人认为，你需要至少30个参与者参与测试，才可以开始考虑可用性数据收集的问题。虽然有一个更大的样本大小确实有助于增加信心，但是十个八个的参与者组成的小样本量也是有意义的。

我们将告诉你在作出任何结论的时候，考虑到样本容量大小的影响，如何来计算的置信区间。同时，我们将告诉你如何确定需要进行可用性测试的样本容量。这本书中的大部分例子都基于小样本量（少于20人）完成的。

相当小的样本量进行度量分析的做法不仅是可行的，而且更是十分常见的！