产品用户体验质量的模糊评价-界面设计

产品用户体验质量的模糊评价产品用户体验质量的模糊评价 产品用户体验质量的模糊评价 产品用户体验质量的模糊评价 1 1 灰色关联分析灰色关联分析 当设计进行多方案输出后 该怎么办 如何评估各个方案 如何对比分析各个方案中具体功能模块 的用户体验 拍脑袋 No 我们需要更加量化精确的方式来确定各个方案的优劣 甚至于各个方案里相应 功能模块的优劣 灰色理论为我们的多方案评估提供了理论依据 灰色理论 灰色系统理论属于研究信息部分清楚 部分不清楚并带有不确定性现象的应用数学学科 传统的系 统理论 大多研究那些信息比较充分的系统 但是 对一些内部信息部分确知 部分不确知的系统 却研 究得很不充分 灰色系统理论就是从这一空白中诞生的 在客观世界中 大量存在的不是白色系统 信息 完全明确 也不是黑色系统 信息完全不明确 而是灰色系统 包括了 社会系统 农业系统 经济系统 生态系统等抽象系统 由于产品可用性质量的优劣通常由使用者进行主观评价 受个人的知识 经验 文化等许多已知和 未知或者非确知的因素的影响很大 具有典型的灰色系统特征 因此运用灰色关联分析方法可以更为精确 地对可用性测试的数据结果进行量化统计 灰色系统评价的基本思路是 根据各比较数列集构成的曲线族 与参考数列构成的曲线间的几何相 似程度来确定比较数列集与参考数列间的关联度 比较数列构成的曲线与参考数列构成的曲线的几何形状 越相似 其关联度越大 该怎么做 1 在具体应用中 可以按照以下步骤来进行灰色关联分析 2 确定主指标体系 如果有必要的情况下 可以从主指标下延伸出二级指标 3 获取各解决方案在步骤一确定的主指标体系下的评估分值 4 确定各个指标的权值 5 选取各项指标的最优者生成参考数列 6 计算各比较数列与参考数列的关联系数 7 根据各指标的权值与各解决方案的关联系数得出灰色关联度 从灰色关联度的大小就可以确定各 方案在当前指标体系下的优劣 以下通过详细举例来说明在可用性测试中如何运用灰色关联分析 假设当前有解决方案 A B C 假设我们采用的可用性评价指标体系包含 一级指标 t1 t2 二级指标 t11 t12 t13 从属于一级指标 t1 t21 t22 t23 从属于一级指标 t2 下面所有的处理流程均基于此例 步骤一步骤一 获取各解决方案在当前指标体系下的评估分值获取各解决方案在当前指标体系下的评估分值 通过可用性测试后 可得到各解决方案在当前指标体系下的评估分值 步骤二步骤二 确定各个指标的权值确定各个指标的权值 下面需要做的是确定各个指标的权值 确定指标权值的方法有很多种 这里我们可以采用专家评估 权值的办法 具体的做法是 假定各个一级指标的总分值为 100 分 让评估者将这 100 分按照各一级指标 的重要性程度进行分配 如果有二级指标 那么配给一级指标的分值在该指标的二级指标之间进行再分配 更深的层级的处理方法与二级指标的相同 一直到最后的层级为止 一般不建议指标体系层级超过两级 举个例子 权值分配例子如下图 用户认为指标 t1 很重要 给 t1 分配 60 分的分值 t1 下面有 三个二级指标 t11 t12 t13 那么 60 分的分值要在这三个指标下依据他们的相对重要性进行再分配 每个一级指标的统计方法为 1 先计算单个评估者对该指标打分值的百分比 2 求出该指标百分比的算术 平均数 即为该指标的权重 各个二级指标的统计方法 1 计算评估者对各二级指标打分值占一级指标的 百分比 2 求出各二级指标占一级指标百分比的算术平均数 3 将上步的结果与各一级指标的权重相乘即 为各二级指标的权重 步骤三步骤三 生成参考数列生成参考数列 利用灰色关联方法进行分析时 需要设定参考数列 评价标准应选取所有方案中各项指标的最优者 当 指标属于 效益型 时 选取所有方案中该项指标的最大值 当指标属于 成本型 时 选取所有方案中 该项指标的最小值 对于初值不同的数列作关联度分析时 一般要先进行无量纲化处理 生成新的数列 一般选用均值化生成法 在当前例子中 假定最后选出的参考数列为 X0 X01 X02 X03 X04 X05 X06 各方案的对应数列为 方案 A X1 X11 X12 X13 X14 X15 X16 方案 B X2 X21 X22 X23 X24 X25 X26 方案 C X3 X31 X32 X33 X34 X35 X36 步骤四步骤四 计算关联系数计算关联系数 关联系数是各被比较数列曲线和参考数列曲线在各点的相对差值 计算公式为 式中取 0 5 i N N 1 2 3 k K K 1 2 3 4 5 6 计算关联系数后 我们将得到各个方案的关联系数数列 方案 A r01 r01 1 r01 2 r01 3 r01 4 r01 5 r01 6 方案 B r02 r02 1 r02 2 r02 3 r02 4 r02 5 r02 6 方案 C r03 r03 1 r03 2 r03 3 r03 4 r03 5 r03 6 步骤五步骤五 计算灰色关联度并比较方案优劣计算灰色关联度并比较方案优劣 由于关联系数给出的信息较为分散 因此通过与指标的权值进行加权对数据进行集中处理 得到各 个方案的关联度 计算公式为 式中 i N N 1 2 3 k K K 1 2 3 4 5 6 pk 为各个二级指标的权值 r0i k 为 各方案的关联系数 在得到各方案的关联度后 我们即可通过直接比较关联度大小来量化地了解在当前的指标评价体系 下各个方案的优劣 当然 如果希望了解方案在单个一级指标下的优劣 也是可以办到的 方法是仅加权 方案在该一级指标下的灰色关联系数 得出单指标下的各个方案的灰色关联度 并进行比较 产品用户体验质量的模糊评价 产品用户体验质量的模糊评价 2 2 层次分析法层次分析法 通常在产品可用性测试之后 我们能收集到诸多的定量数据 比如 任务正确率 求助次数 任务 完成时间和用户主观满意度等方面的数据 并能通过任务完成中的观察和测试之后与参加者的交流获得一 些定性数据 如可用性问题和优点 进而通过对这些数据的统计分析获知被测产品的总体可用性状况 但 是由于这些度量指标具有不同的属性 对其所进行的简单统计分析就不足以形成对产品可用性的一个可衡 量的标准 层次分析的模糊综合评价方法 AHP 为我们处理这些评价数据提供了一种可用的量化统计方式 从而获得用户体验质量的综合性评判 但与灰色关联分析不同 灰色关联分析更侧重于对产品设计的多个 方案或者时间版本进行比较分析 其方法是建立在比较的基础之上 而层次分析的综合评价方法则可以对 单个产品或设计方案的可用性进行衡量和量化 当被评事物的属性不明确时 我们根据模糊隶属度函数把被评事物的相关因素合理量化 使模糊环 境中的评价在综合性及合理性方面得以保证 并通过层次分析确定被评价因素的权重 结合对总结性测试 在这两方面的凋整 进而建立模糊综合评估的模型 对产品的体验质量进行衡量 层次分析的综合评价方法基本思路是 首先确立评价指标体系 设定评价集并确立评价因素的隶属 度函数 然后通过层次分析确定评价因素的权重 对产品的体验质量进行综合评判 1 1 如何确定评价集和隶属度函数 如何确定评价集和隶属度函数 首先需要确定针对各个指标的评价集 V v1 v2 vn 及评价因素在 V 上的隶属度函数 一般采用梯 形分布以及半梯形分布来构造隶属度函数 以符合用户体验质量渐变连续的特点 把指标的评价标准分为 5 个等级 很差 差 一般 好 很好 即定义用户体验质量的等级 假设 A 为指标在评价集 V 上的模 糊子集 那么隶属度函数如下 以上函数中 v 为从用户测试中获得的相关指标的可用性结果数据 v1 v2 v3 v4 v5 v6 为各个 评价标准等级的阈值 针对任务完成率等 阈值分别是 0 0 3 0 6 0 8 0 95 1 而针对问卷评分 阈值分别为 1 2 3 5 5 5 6 5 7 而 c1 c2 c3 c4 c5 分别为区间 v1 v2 v2 v3 v3 v4 v4 v5 v5 v6 的中值 举个例子 举个例子 假设经过测试 某位用户的任务完成率为 0 955 那么将该用户的任务完成率作为 v 代入上述的隶 属度函数中 取 v1 v2 v3 v4 v5 v6 为 0 0 3 0 6 0 8 0 95 1 c1 c2 c3 c4 c5 为 0 15 0 45 0 7 0 875 0 975 则可以得到该用户的任务完成率的模糊子集 A1 A2 A3 A4 A5 为 0 0 0 0 8 1 然后将测试的所有用户的任务完成率模糊子集进行合并则可以得出任务完成率的 模糊矩阵 一点小说明 一点小说明 针对任务完成时间 操作路径长度等这样一些指标 为了确定相对统一的阈值 需要进行转换 转 换的公式为 其中 x 为转换后的数值 x 为转换前的数值 E 为针对该指标的期望值 或者说产品预期达到的数 值 经过转换后 这些指标的阈值统一为 v1 v2 v3 v4 v5 v6 0 0 3 0 6 0 8 0 95 2 2 如何确定评价因素的权重 如何确定评价因素的权重 评价因素的权重需针对具体的指标体系来进行设置 假设当前的一级评价指标包含了 n 个因素 那 么这 n 个因素两两进行对比 可得到评价因素的权重矩阵 A aij 表示因素 Ai 相对于因素 Aj 的重要程度比 符合 aij 1 i j aji 1 aij aij 通过 saaty 的 1 9 比率标度法确定 具体如下 判断矩阵的权重值 wi 可根据和积法来进行计算 计算方法为 我们可以采用一致性比率 CR 对判断矩阵的一致性进行检验 CR 的定义如下 其中 max 是判断矩阵的最大特征值 RI 是已知的平均一致性指标 判断矩 阵阶数为 2 和 3 时 RI 的值分别为 0 和 0 58 当 CR 小于等于 0 1 时 判断矩阵具有良好的一致性 否 则需要对判断矩阵进行重新调整 举个例子 举个例子 假设我们的整个评价体系里包含一个对产品交互数据的评价 而交互数据中包含了有效和效率两个 指标 那么为了获取针对交互数据这一评价因素的权重 我们首先需要请产品专家和可用性工程师对交互 数据的两个评价指标按照 1 9 比率标度法进行两两比较 如果最后评价的结果为 有效 这个因素和 效率 这个因素比较在同等重要和稍微重要一点之间 即 有效 对比 效率 的评价结果为 2 那么根 据层次分析确定关于交互数据这一评价因素的权重矩阵可以得到以下结果 当然 我们的整个产品评价体系不可能只有交互数据一个评价因素 如果整个评价体系建立如下 那么我们需要按照上述方法再依次对用户满意度和观察者评估的评价因素权重进行计算 最后可以 得到用户满意度 观察者评估以及总的用户体验质量评估的权重矩阵 至此 用户评价集和评价因素权重都已确定 我们要做的就是对这两部分的结果进行综合即可得到 最终的体验质量的总体评价结果 3 3 如何进行多层模糊评价 如何进行多层模糊评价 首先我们需要对在第一步中已获得的用户评价隶属度矩阵进行归一化处理 先对每位用户数据的隶 属度数据进行合计 得到针对每个评价指标 用户在各个评价等级下数据的累加值 Cj j 1 2 3 4 5 对 Cj 进行归一化处理 具体方法如下 以任务完成率 有效性指标 为例 假设的用户任务完成率 隶属各个等级的数据以及通过归一化 处理后的数据如下表 表中数据均为假设数据 用同样方法获得所有一级指标的归一化 rj 之后 可以确定一级模糊评判矩阵 假设针对任务完成 时间 效率指标 其归一化 rj 为 0 227 0 163 0 253 0 073 0 284 那么交互数据 包括有效 和效率两个指标 的一级模糊评判矩阵即为 此时 可以对评价因素的权重和一级模糊评判矩阵进行合成 得到一级指标综合评判的结果 采用 的合成算子为 bj 计算完成后 得到针对一级指标 比如交互数据 的综合评判结果 B1 b1 b2 b3 b4 b5 用以上的假设数据进行计算得到的结果为 B1 0 076 0 054 0 084 0 272 0 514 同样的方法对用户 满意度和观察者评价的假设数据进行计算 得到用户满意度的 B2 0 0 007 0 320 0 546 0 126 观 察者评价的 B3 0 0 0 264 0 577 0 159 将一级指标的综合评判结果作为二级评判时的模糊矩阵 获得产品综合的用户体验质量的模糊评判 矩阵 通过将用户体验质量总体的评价因素权重和二级模糊评判矩阵进行合成 合成算子同上 得到用 户体验质量的综合评判结果 B 0 031 0 025 0 20