6论信息系统评价指标体系的构建

论信息系统评价指标体系的构建论信息系统评价指标体系的构建 考号 姓名 内容提要内容提要 系统的指标不仅仅是系统的构成 功能和性能定性及定量的反映 也是系统设计思想 及设计师对系统的理解程度的反映 并能够为系统的考核 验收和维保提供依据 本文指 出了建立指标体系的意义及建立指标体系中存在的问题 本文通过某个信息系统的分析 给出了功能 组成和验收阶段三位一体的立体化指标体系 并对该体系的三个剖面视图进 行了解析 最后给出了指标体系的具体描述框架示例 为此 我们必须要加快促进信息系统指标体系的构建 以促进信息化的发展 关键词关键词 信息系统 指标体系 构建 正文 信息系统总体设计中 系统的方案选择常常是多种互相矛盾的因素共同作用的结果 因此 最后的设计应在众多因素中取得合理的折中 而这种折中又必须建立对使用方需求 的深刻认识和合理把握之上 因此 集成方应与使用方一起深入讨论 在弄清楚实际需求 和系统定位的基础上进行全面权衡以决定系统构成 并从实际对象 实际方式及技术水平 出发对系统各组成部分的实际技术与使用要求进行充分论证 论证的结果之一就表现为系 统的指标体系 这种指标体系既能够体现系统的组成构架 对系统的功能和性能要求 也 能够体现设计思想和设计师系统对系统的理解和定位 是折中之后对系统定性和定量相结 合 主观和客观相结合的描述 也是系统考核 验收和维保的依据 1 1 信息系统评价指标体系的介绍信息系统评价指标体系的介绍 信息系统评价指标体系多指标综合评价的理论和方法研究是一个正在发展的领域 有 关它在信息系统评价中的应用研究则更有待人们的努力 这里所谓的企业信息系统多指标 综合评价 是指对信息系统所进行的一种全方位的考核或者判断 它具备以下三个特征 一是它的评价包含了多个独立指标 二是这些指标分别体现着信息系统的不同方面 通常 具有不同的量纲 三是综合评价的目的是对信息系统作出一个整体性的判断 并用一个总 评价值来反映信息系统的一般水平 一般来说 信息系统多指标综合评价工作主要包括三方面的内容 第一方面综合评价 指标体系及其评价标准的建立 这是整个评价工作的前提 第二方面用定性或定量的方法 确定各指标的具体数值 即指标评价值 第三方面各评价值的综合 包括综合算法和权重 的确定 总评价值的计算等 2 2 指标体系建立中存在的问题指标体系建立中存在的问题 信息系统 以下简称 系统 即由集成在行业平台上的 执行特定专业任务的电子设 备所构成的信息系统 由于其组成和功能等方面的复杂性 一般被分解为一定数量的子系统 由一台或多台主设备以及连接的若干台外围设备组成的 实现某一种特定的电器或机械 功能的设备群 在描述系统的指标时 则通常按各子系统为基本单位 以各子系统的指标 描述来代替对系统指标的描述 这种做法不能简单地理解为仅仅是描述系统的一种方法 或者说是 形式 上的问题 它的背后实际上反映了目前用户和设计师对系统设计方法的 把握 对系统构架的理解 对系统层次的划分及对系统功能和性能的认识 这是形式所反 映出的问题的 本质 这种描述有比较直观和易于理解的特点 但是 也反映出了设计师 对 自顶向下 的设计方法和流程的把握有待完善 对系统的理解和认识水平有待提高 系统集成商 即系统总体设计和集成单位 以下简称 系统总体 在系统集成过程中的地 位 工作范畴 内容和方法不够明晰 从可操作层面看 还暴露出指标描述的层次和范围 不够清楚 不能准确地描述各集成阶段考核和验收的对象 1 不能充分地体现自顶向下的设计方法 现代自顶向下的设计方法 要求在弄清楚实际需求和系统定位的基础上进行全面权衡 以决定系统的功能和性能要求 并以此为出发点来决定 需要哪些系统构成才能实现这些 功能和性能要求 换句话说 即将系统的功能和性能要求进行分解 分解到系统的各个组 成部分 然后结合技术水平 周期 成本和风险等各种因素对系统各组成部分的功能和性 能指标进行充分论证 使系统配置合理 先进 可靠 性价比高 也就是说 自顶向下的 设计方法 要求在设计师头脑中先有系统 而后有子系统 先有系统的构架 而后有子系 统的组成 先有系统的功能和性能 然后有子系统的功能和性能 现有的以子系统指标体系代替系统指标体系的方法 不能充分体现出自顶向下的设计 流程 越过了从 系统的功能和性能 分解到 子系统的功能和性能 这样一个不可缺少 的设计环节 而是从 系统的构架 直接到 子系统的功能和性能 缺乏系统设计的总体 单位对系统功能和性能的定义和描述 2 不能体现出系统总体设计师对系统的理解 在目前的设计过程中 由于广泛采用了以子系统的指标为主要内容来描述系统的方法 客观上强化了这样一种倾向 人们在描述系统时 忽视了系统总体设计师对系统在顶层上 的功能和性能的定义 而直接以子系统的描述代替了对系统的描述 并且误认为 系统总 体的设计师们目前对系统的理解也是认为 系统 就是各 子系统 不能充分体现出系统 总体在集成过程中所做的工作及对系统的认识水平 3 不能充分体现出系统总体在集成过程中的地位 由于缺乏指标体系 现行的项目中忽略了系统总体对系统概念的把握及在集成过程中 的工作 使得项目管理或生产采购在进行技术协调时 容易产生越过系统总体设计而直接 同子系统承制单位进行协调的倾向 这样不利于系统总体对系统设计要求的把握 不利于 系统总体对集成进程的控制 从而也削弱了系统总体的地位 4 不便于集成过程中不同阶段的考核 验收和维保 目前以子系统为框架的技术规范体系 还存在一个问题 即 缺乏描述的梯度和层次 从而不能为指标验收的边界条件 验收方法和标准提供准确的导向 模糊了子系统和系统 的界限 在免费缺陷责任期中 对系统的运行情况没有可以直接测控的标准 降低了可维 性 以系统技术规范的描述为例 有一类现象值得特别注意 有些指标在子系统规范中给 予了描述 但在系统规范中又进行了描述 子系统技术规范的描述应该仅仅针对于在子系 统验收阶段应该验收的指标 系统技术规范的描述应该仅仅针对于在系统验收阶段应该验 收的指标 例如 交通信息系统是交通流采集设备 传感器和通信等设备在交通管理行业 平台上的集成 那么 对于交通流采集而言 其工作频率 响应时间等指标不应在系统规 范中列出 仅需在子系统验收时考核 无需在系统验收时考核 事故检测和畅通等要求在 子系统规范中不应列出 因在子系统验收阶段无法考核 只有在系统平台上经试运行后验 收系统时才能考核 如果将应该在系统层面上进行考核的指标和应该在子系统层面上进行 考核的指标并列在一起 不但影响验收时的可操作性 也使得责任不够明晰 当然 在系 统规范中需要描述子系统时 为描述的完整性起见 可以全部引用 但可以用标记的形式 注明指标验收的范畴和层次 3 3 指标体系建立的原则指标体系建立的原则 3 1 根据系统指标体系的重要意义及当前技术规范体系存在的问题 在建立指标体系时遵 循以下二项原则 1 以系统的观点完整 准确地描述系统 以系统的观点去描述系统 主要是从系统的功能和系统的组成两个方面来描述 前者 分解定义了系统的能力 后者为能力的实现提供了物质基础 在描述系统时 应从这两个 方面对系统进行无缝划分 在进行无缝划分时 注意对传统的技术规范进行归纳和整理 突出在系统层次的考量 强化系统观点 2 反映系统的设计思想和设计师对系统的理解 用户在和集成方一起深入论证给出系统要求后 由于设计师系统的主观能动性 不同 的设计师对于系统的理解是不同的 这种不同可以体现为对系统功能和性能的定义 对设 计重点和着眼点的把握 对系统的构成 即子系统的划分方式 及子系统在系统中的地位和 作用的认识等等 或者说 在用户给出了项目要求后 系统总体可以不拘泥于用户项目要 求的描述方法和体系结构 按照自顶向下的系统设计方法 给出对系统在 系统总体 层 面上的理解 即系统的定位 功能 系统的实现方式和具体指标要求 3 有层次地描述系统 增强验收考核的可操作性 对于在不同阶段 如子系统出厂验收阶段和系统集成阶段 都要考核的指标 称为 I 类 指标 对这类指标 常常需要给出在不同验收阶段的不同指标要求 而这项工作正是系统 总体的一项重要任务 例如 检测灵敏度就是这样的一类指标 这是因为 检测传感器作 为一个子系统 在道路上完成安装后 考虑到车辆环境对灵敏度的影响 检测系统的灵敏 度相比初始的设计性能应发生变化 因此 系统总体对检测传感器子系统提出的子系统级 的出厂验收要求应是建立在把平台受扰因素考虑进去后对检测传感器子系统的灵敏度提出 的要求 而不应是研制要求中对灵敏度要求的照搬 如果在子系统出厂验收阶段检测子系 统能够达到该指标要求 就应认为是对子系统研制商的验收合格 而在检测传感器系统安 装到道路上后再进行的灵敏度验收应被认为是对系统集成系统的验收 在对子系统提出指 标要求的同时 还要考虑到 由于在子系统出厂验收进行时 子系统尚未安装到道路上 验收环境还只能是实验室或者是外场的模拟 半实物环境 系统集成制定的对子系统的验 收要求还应考虑在该阶段进行验收时的环境限制 这样才能保证在子系统出厂验收时 指 标的验收具备可操作性 对于仅在系统集成阶段进行考核的指标 称为 类指标 作为系统的指标 而不作为 子系统的指标 以系统畅通指标为例 从它的影响因素考虑 可以分解为 2 个以上组成部 分的指标 即检测传感器本身的覆盖参数 布设密度 以及交通流分析等 这类指标在子 系统的出厂验收阶段无法检验 或者说 只能验证分解到各子系统的指标 只能在系统集 成阶段构成完整的系统后才能进行 应视为对系统集成方的验收 对于仅在子系统出厂阶段进行考核的指标 称为 类指标 作为子系统的指标 而不 作为系统指标 这类指标在子系统出厂验收时即可进行验收 在完成系统集成后这类指标 不受影响 可以视为对子系统供货方的验收 3 2 信息系统综合评价体系 所谓信息系统综合评价体系 是指一套能够反映所评价信息系统的总体目标和特征 并且具有内在联系 起互补作用的指标群体 它是信息系统整体状况的客观反映 一个合 理 完善的指标体系 是对信息系统进行全面评价和分析的先决条件 信息系统与其他系 统相比 既具有一般系统的共性又有其特性 在综合评价指标体系的构成原则上可表现为 以下几点 1 整体性原则 信息系统是一个完整的人一机系统 系统各组成部分需协同运 动才能发挥作用 指标体系应能全面地反映所评价系统的综合情况 从管理信息的采集 加工 传输子系统 相应的业务部门组织环节到系统直接操作人员等各个组成部分 都应 该客观地加以观察 信息系统对于管理所产生的直接和间接效果 也必须全面加以考虑 2 可测性原则 指标的含义必须明确 数据资料应收集方便 计算简单 同时 指标 体系内部及外部的同类指标之间能够比较 同一指标要具有历史可比性 这样才能从历史 和现实的角度综合评价信息系统的现状和发展 3 动态性原则 在信息系统发展的不同时期 对于信息系统的不同类型 都应能在评 价指标体系中得到体现 根据需要可作相应的调整和改变 同时 指标设置要有重点 对 于非重要方面的指标可以适当设置得到粗些 以简化评价过程 4 层次性 这里的层次性包含多重意义 首先是指标结构自身的多重性 即一个指标 由若干其他指标所决定而构成树形结构 这将为衡量信息系统项目的效益和确定指标的权 重带来方便 其次是信息系统所属部门的层次 各层的子系统都应有相应的评价指标 再 有是系统技术特征上的层次性 接口指标应当一致 并且能够有效地消除指标间的相关关 系 5 各指标之间应尽可能避免显见的包容关系 对隐含的相关关系 要设法以适当的方 法消除 3 3 利用综合评价指标体系的各项指标进行评价 根据信息系统的特点和综合评价指标体系的构成原则 试图给出一个较为完善的信息 系统综合评价指标体系的框架 无论是宏观还是微观信息系统 EDPS MIS 还是 DSS 都 能从该框架中找到相应的指标集并将其具体化 事实上 体系框架建立过程的本身 就是 一项综合评价工作 它从三个方面进行综合考虑而建立起来的 1 从信息系统的组成部分出发 信息系统是由人一机共同组成的系统 故可按人一运 行质量 用户需求 机一系统质量 技术水平这两条线索构造指标 执行准确性 相应速 度 信息存储量 界面质量 安全性 可靠性 文档齐全 数据共享 易维护性 容错性 技术先进性 技术首创性 开发效率 直接应用人员的结构 素质 系统运行率 系统维 护率等 网络建设和系统开发成本 网络建成本包括网络产品 硬件产品和系统软件的购置费 用以及综合布线和系统集成等费用 产品不是非得追求最新和最先进的 而是应该注意产 品的性能价格比 2 从信息系统的评价对象出发 对于开发商来说 他们所关心的是系统质量和技术 对于用户而言 则关于用户需求和运行质量 系统外部环境则主要通过社会效益指标来反 映 领导重视程度 功能需求满足程度 人 机交互的友善程度 系统价格可接受程度 3 从经济学角度出发 分别按系统成本 系统效益和财务指标等三条线索建立指标 开发成本 硬件成本 软件成本 运行成本 管理成本 维护成本 经济效益 社会效益 对社会的影响程度 对本企业的影响程度 福利 就业 伦理道德 投资指标 收益指标 综合指标 此外 绩效监控动态化 信息化系统应用将为企业提供丰富的管理信息 如何用好这 些信息并在企业管理和决策过程中真正起到作用是衡鼋 企业应根据管理需要 利用 ERP 系统提供的信息资源设计出一套动态监控管理绩效变化的报表体系 以期即时反馈和纠正 管理中存在的问题 这项工作一般是在 ERP 系统实施完成后由管理咨询公司的专业咨询顾 问帮助企业设计完成 企业未能利用信息化系统提供的信息资源建立起自己的绩效监控系 统 将意味着信息化系统应用没有完全成功 管理改善持续化 随着 ERP 系统的应用和企业业务流程的合理化 企业管理水平将会 明显提高 为了衡鼍企业管理水平的改善程度 可以依据管理咨询公司提供的企业管理评 价指标体系对企业管理水平进行综合评价 评价过程本身并不是目的 为企业建立一个今 后可以不断进行自我评价和管理不断改善的机制才是真正目的 这也是 ERP 应用成功的一 个经常不被人们重视的标志 4 4 建立指标体系框架建立指标体系框架 根据上述原则 试图通过以城市智能交通系统为代表的这样一种平台信息系统的指标 体系的描述为例 提出一个立体化的指标体系 如图 l 所示 表 l 则以交通信息功能为例 限于篇幅 不能将所有功能的所有指标项全部列出 给出了由此图衍生出来的指标体系 的具体描述 表 1 城市交通信息系统指标体系的描述框架 功能指标子系统指标细目指标类型 信号控制 电子警察 视频监视 通信网络 管控平台 交通诱导 谐振频率 灵敏度 响应时间 线圈检测 计数误差 响应时间 检测距离 灵敏度 分辨率 最低照度 有效率 视频检测 正确率 探测区域 灵敏度 测速范围 工作频率 覆 盖 微波检测 发射波段 抗干扰线圈 视频 微波 车流量线圈 视频 微波 车速线圈 视频 微波 占有率线圈 视频 微波 车型分类线圈 车间 时距线圈 排队长度线圈 视频 事故检测视频 逆行检测视频 非法变线视频 违章停车视频 闯红灯线圈 视频 畅通线圈 视频 微波 饱和线圈 视频 微波 缓慢线圈 视频 微波 拥堵线圈 视频 微波 交 通 信 息 停走视频 图 l 所示的立体化指标体系意味着 一旦给定一个指标 该指标便是该指标体系空间 中的一点 它应由三个座标来完整描述 X 向 组成维 包括交通流检测 信号控制 电子警察 视频监视 交通诱导 管控 平台 通信网络 需要特别说明的是 之所以在相对独立的各子系统的基础上 把管控平 台也作为系统的一部分 这样来保证系统的支撑性 y 向 功能维 包括了对任务系统功能的七个方面的划分 即交通信息 交通调流 信号优化 实时路况 出行服务 接处警以及应急服务能力 z 向 阶段维 分为工程设计 子系统测试 实验室集成测试 工程现场集成联试 系统试运行和交工验收等六个阶段 为简单起见 子系统的测试可以由厂家提供样机在实 验室进行 并且将设备安装阶段的设备单调和工程现场集成联试合并为一个阶段看待 从 而也可以采用前述的 I 和 类划分方法 需要特别说明的是 在 y 向的功能划分中 考虑到所有由各子系统来实现的七项功能 都应该在不同的环境下得以实现 因此 理应增加第四维 环境维 但为直观起见 将系 统对环境的适应能力也纳入系统功能中 即与 功能维 合并 需要补充说明的是 在以 交通信号控制为平台信息系统中 为形成城市的整体交通信息 在点线的 交通流检测 功能之后还应有面的 交通流检测 功能 最终形成点线面的 全城区域下的交通信息 XZ 平面 我们称为 子系统平面 表示子系统技术规范应明确的指标体系 较早的 指标体系实际上仅仅限于 x 轴 把系统的指标等同于子系统的指标 并且尚未意识到这种 指标与验收过程的关系 后来在子系统的出厂验收时遇到了问题 既然子系统指标是系统 指标 就应该在系统平台下去考核 那么 在子系统集成商完成的验收阶段 指标体系应 该如何才能便于完成子系统的出厂验收呢 推广开来 在系统研制的其他各个阶段 指标体 系应该如何才能便于该阶段结束时的验收呢 此时 指标体系开始从向 二维 扩展 YZ 平面 我们称为 系统平面 在这个平面内 只有系统 没有子系统 表明在这 个平面 系统的验收虽然物理上是对各个子系统作为具体验收对象 但是从概念上说 已 经是在对 系统 验收了 此时对于用户方和系统总体来说 子系统实际上是不可见的 XY 平面 我们称为 系统功能 平面 这个平面将对系统的要求分解为系统功能 再 将系统功能分解为子系统功能去实现 自此 系统总体开始强化系统概念 历史地看 如 前所述 指标体系经历了自线向面的扩展 而有了 y 轴以后 指标体系便由 面 开始向 体 扩展 而 y 轴的出现 表明了系统概念的强化和指标体系的完善 这正是系统集成 方所必须进行的顶层设计的成就 也是自顶向下设计方法的必然结果 按照 z 轴的不同位置切出平行于 XY 平面的各个平面 这个平面上的各点对应了不同阶 段的指标情况 需要说明的是 不同阶段的指标可以是不同的 例如 方案设计阶段 应 对系统接口配置提出一些指标 如用格式和协议等等 这些指标虽然是系统指标 但是在 集成阶段的验收交付时是不需由用户验收的 它只是集成过程中的一个中间指标 是为了 保证系统功能和性能的实现 因此可不包含在系统规范的指标中 电磁