六、研究方法：定性 VS 定量

　　可用性测试，很多时候被认为是一种定性研究方法；但也有人说它是一种定量研究方法。究竟是怎么回事呢？

　　个人认为，可用性测试实质上结合了定性和定量两种方法的特点，到底哪种成分更多，要看你的使用目的以及细节上如何操作。

　　定量研究的思路是基于对一定数量样本的测量，以将研究所得的结论推广至总体。除了强调样本的代表性，还对样本的数量有具体的要求，同时会考虑抽样误差、置信度、置信区间的度量。并且定量研究过程中非常注重对某些自变量操控、及无关变量的控制。

　　而定性研究重视对主观意义的理解（如背后隐藏的原因），采用解释建构的方法，比如访谈法等。

　　平时工作中以“形成式可用性”测试为主，即便它稍微偏向于定性研究，但在允许的范围内，我个人还是尽可能地遵循着定量研究的方法去实施。这样整个测试过程的严谨性能得到保证，结论的客观程度相对更高（近几个世纪来，量化研究一直是科学研究的主要范式，也正是这个原因）。具体做法如下：

　　1、在任务的设置上：因为参与者可能存在差别较大的亚群体，不可能要求完成完全相同的任务。但必定会设置大部分基本的、都需要完成的公共任务，再针对不同亚群体设置少量的特殊任务。在后期统计分析的时候，基本的公共任务则可以进行数量化的统计，并横向比较。

　　2、在测试过程中：关注参与者完成任务时的相关行为，用数字来记录（以0、0.5、1分别表示失败、帮助/提示下成功、成功）。主试尽量少地言语及体态姿势的干扰，只在必要时进行适当地言语交流。

　　3、在报告呈现：对任务完成情况（效率、完成率）统计呈现，对不同任务的完成情况进行比较，对亚群体间的任务完成情况进行比较，对所有可用性问题按数量化指标进行排序等。或者比较迭代前后独特问题的频次是否减少，以及严重程度高的等级里面可用性问题数量的变化情况。

　　4、测试过后，我们通常还会收集用户自我报告式的数据，作为“感知可用性”的一个总体反映。

　　（1）推荐使用系统可用性量表（SUS），因为有研究表明SUS在少量样本时即可产生较为一致的评分结果。

　　（2）为减少用户在填写这些量表时的反应心向，不要求填写任何个人信息，且主试最好暂时回避。

　　（3）只统计分析所有参与者SUS量表总分的平均值，切勿再拆分比较亚群体之间的差异，因为即便信效度再高的量表，当样本量极小时都会变得很不靠谱！

　　七、问题优先级：单指标 VS 多指标

　　除了在可用性测试过程中，最终报告也必须体现出量化、客观地特点。例如，报告发现的可用性问题的列表，我也会以量化的方式排列出问题的优先级别。

　　这样做的好处在于：首先，发现的可用性问题肯定有一些比另一些更严重；其次，考虑到产品和设计人员的精力和资源总是有限的，必须帮助他们梳理出最亟需整改的问题。站在别人的角度考虑问题，这样他们才能更“友好地”接受我们的报告。

　　可用性问题列表的排序，涉及到采用单指标还是多指标、以及指标分为几级的问题。