企业信息化绩效评价模型研究-柯健(精).doc

基金项目 :安徽财经大学青年科研重点项目 (编号 :ACKYQ0609ZD 。作者简介 :柯 健 , 女 , 1982年生 , 统计学硕士 , 讲师 , 研究方向为经济系统建模与分析、 企业信息化 ; 李 超 , 男 , 1980年生 , 统计学硕士 , 讲师 , 实 验中心主任 , 研究方向为综合评价、 数据挖掘。企业信息化绩效评价模型研究*Research on the Model of the Performance Evaluation of Enterprise Informatization柯 健 李 超(安徽财经大学信息工程学院 蚌埠 233041 (安徽财经大学统计与应用数学学院 蚌埠 233041摘 要 针对当前企业信息化绩效评价中存在的问题 , 提出运用系统 思想从投 入和产出角 度来综合 衡量企业信 息化 绩效的思路 , 并分别设计企业信息化系统的输入指 标体系和基于平衡记分卡的输出指标体系 , 介绍应用 数据包络分析 方法于企业信息化绩效评价中的操作步骤 , 以期通 过合理的企业信息 化绩效评 价思路和方 法正确衡 量企业信息 化效 果和持续发展能力 。关键词 企业信息化 绩效评价 平衡记分卡 数据包络分析 在汹涌的信息化浪潮中 , 很多企业都投入了大量的 人力、 物力、 财力 , 进行了信 息化所 要求的 各项配 套改革 , 并初 步实 现了信息化 。但信息 化战略 实施之 后 , 企 业依然 面临着 一些 问题 , 企业难以对信息化 应用效 果及信 息化为 企业带 来的绩 效进行充分的评估 , 企业 也无法 制订相 应的动 态的持 续改善 计划 , 切实提高信息化绩效1。因而 , 建立一套科学、 规范、 实用的企业信 息化绩效评价 指标体系 , 采 用合理 的方法 进行信 息化绩效评价 , 对于我国 企业信 息化的 顺利实 施和持 续改善 具有重要的理论和现实意义。1 企业信息化绩效评价的思路1. 1 信息化绩效评价中存在的问题a. 所谓的信息化绩效评价其实是着眼于投入角 度的信息 化水平评价 , 即从信息 化装备、 信息 化人员、 信息 资源开 发利 用等投入角度综合考察企业所处信息化的水平或阶段。但实 践中 , 却有这样一种现象 , 信息化建设投入高并不意味着企业 能够提高经 济效益和提升 竞争力 , 也即 企业信 息化的 绩效并 非与投入成 正比关系 , 以投 入为主 的 /水平 0评 价难以 全面和 正确衡量企业信息化的绩效。b. 企业信息化绩 效评价缺 乏系统 性 , 多从传 统的财 务角 度考察信息化 效果。企 业信 息化 是指 企业 以流 程重 组 为基 础 , 在生产和经营的各个环节推广和应用信息技术 , 深入开发 和利用企业 内外部的各种 信息资源 , 从 而提高 企业的 经济效 益和市场竞争力2。可以 看出 , 企业信 息化既 是一个 为生产和管理服务的过程 , 又强 调在这 个过程 中有效 配置信 息资源 后所取得的业务成果 , 因而 , 信息化绩效不是一种事后的结果 性的反映 , 它不仅与最终系统的功能 (提供的产品和服务的数 量 和成果 (有效满足预期使命目标的结果 的实现相关 , 而且包含信息化进程中蕴含 着的企业运营效能以及可持续性发展 的能力 3。而目前不少研究仅从财务角度衡量企业信息化的 成效 , 构建的指标体系缺乏系统性 , 难以做 到信息化过程和效 果评价的统一。1. 2 企业信息化绩效评 价的思 路 企 业信息 化是一 项复 杂的系统工程 , 仅从投入角度确定企业信息化水平 , 或仅从产 出角度确定企业信息 化的财 务绩效 , 都难 以全面 评价企 业信 息化的绩效。而对于这 个复杂 的系统 工程问 题 , 运 用系统 思 想从投入和产出的整体 角度研究绩效评价问题是一个较好的 思路。系统效率高 , 意味着 企业用 较少的信 息化投 入获得 较 大的信息化绩效 , 即可以将企业信息化投入作为系统的输入 , 将信息化绩效作为输 出 , 用 系统的 投入产 出有效 性来综 合衡 量企业信息化绩效。鉴 于此 , 本文 将分别从 投入和 产出角 度 设计输入输出评价指标 体系 , 应用 DEA 方法评价企业信 息化 绩效。2 企业信息化绩效评价指标体系2. 1 投入角度的评价指标体系 企业进行信息化建设 , 需 要投入基础设施 , 重视信息化战略规划 , 建 设一支可靠的信息 化人才队伍 , 并将前期投 入具体 应用到 生产、 经营、 管理活 动 中去 , 因 而 , 投入角 度的 评价 指标体 系包 括以下 4个 一级 指 标 , 每个一级指标下面又包含若干个二级指标。21111 信息化基础设施。包括 :信息化投入总额占 固定 资产投资比重 ; 信息设备及软件装备投入 ; 每百人计算机拥有 量 ; 企业基本通讯设施建 设投入 (包 括邮政、 电话、 传 真、 信 箱 等 ; 企业网络建设投入 ; 企业数据库建设投入 ; 信息化安全投 入。21112 信息化战略规划 。包括 :信 息部门 的组 织定位 ;情报杂志 2007年第 10期 Journ al of Information No. 10, 2007企业领导的重视程度 ; 信息主管的地位 ; 信息化规划和开发管 理投入。21113信息化应用状况。包括 :产品设计和研制的信息 化投入 ; 计算机辅助制 造投入 ; 生产 过程自 动控制 投入 ; 各种 管理信息系统应用投入 ; 企业营销信息化投入 。21114信息化人才建 设。包括 :信 息化 专业人 才比 例 ; 受信息化培训的职工比例 ; 专业信息技术人员队伍建设 费用 ; 职工信息化培训费用 ; 吸引信息化人才的专项资金投入 ; 奖励 信息化人才的专项资金投入。2. 2产出角度的评价 指标体 系 从 企业信 息化的 定义可 以看出 , 信息化带给企业的不仅仅是财务绩效 , 信息化过程中 很多非财务因素能给企业 带来短 期内难 以衡量的 潜在绩 效 , 因而 , 产出角度的绩效评 价应从 传统的 单纯评 价财务 结果转 向过程和结 果的统一 , 这 与企业 绩效评 价的相 关理论 不谋而 合。因此 , 企业绩效评价 的理论 和方法可 以作为 企业信 息化 绩效评价的指导。 其中 , 罗伯特 #卡普 兰和戴维 #诺顿 所提出 的平衡记分卡 (BSC 绩效评价体 系 4较好 地体现了 过程与结 果的统一。因此 , 可以借 鉴企业 绩效评价 中的平 衡记分 卡理 论 , 建立产出角度的评价指标体系。2. 2. 1平衡记分卡绩效评价体系。平衡记分卡从 财务、 客户、 内部业务流程、 学习与成长四个角度来综合评价企业绩 效 , 并在企业远景和战略 框架统 领下构 建系统 的评价 指标体 系。财务角度聚焦于 怎样满 足利益 相关者 的利益 , 主要 通过 过去经营管理活动所取得的可观察的财务成果来衡量。客户 角度主要考 虑为达到财务 目标 , 企业该 从哪些 方面努 力去构 建良好的客户关系 , 提高客户满意度 , 保持客户忠诚度。内部 业务流程主 要考核为了实 现财务目 标和满 足客户 需求 , 企业 在计划控制 、 生产制造、 售后 服务、 内部控 制等业 务流程 方面 所做的努力。企业要在迅速多变的市场环境中实现上述三项 目标并保持持续发展能力 , 就必须具备不断学习、 快速成长的 能力。因此 , 学习和成长 角度的 考核也 是必不 可少 的。可以 看出 , 这四类指标通过相 互驱动 的因果 关系构 成一个 完整的 绩效评价体系。2. 2. 2基 于 BSC 的 企 业信 息 化 产出 角 度评 价 指标 体 系。借鉴以上 平衡 记分 卡的 基本 分析 框架 , 本文 从财 务、 客 户、 内部业务流程、 学习和成长这四个方面构建产出角度的一 级企业信息化绩效评价指标 , 同样 , 各一级指标下面包含若干 个二级指标。a. 财务。财务绩效评价指标应能反映企业信息 化为企业 带来的直接效益 , 如成本最小化、 销售最大化、 利润最大 化、 库 存投资最小化、 投资收益最大化等。其次 , 企业信息化建设提 高了信息在系统中的传递速度 , 企业财务信息的收集、 整理和 分析的速度和准确性大 大提高 , 财务 决算速 度大大 加快。因 此 , 财务一级指标包括 以下 8个二级指 标 :净资产收 益率 ; 销 售收入增长率 ; 利润增长率 ; 成本费用利润率 ; 成本降低 率 ; 库 存资金占用率 ; 资金运转效率 ; 财务决算速度。b. 客户 。企业信 息化有助于 构建良 好的 客户关 系 , 满足 客户的个性化需求 , 从而为企业赢得竞争优势。因而 , 在一定 程度上 , 可以根据客户对产 品的满 意度和 市场占 有率的 实现 情况考察企业信息 化的绩 效。此外 , 企业信 息化的 一个重 要 成效就是可以对客户信息进行跟 踪记录 , 因此 , 有关信息系统 的客户跟踪能力也 待评价。客 户角度 的二级 指标有 :客户 满 意度 ; 客户保持度 ; 新 客户的 获得 ; 客户获 利能力 ; 市 场份额 ; 交货时间 ; 产品和服务的质量 ; 信 息系统的客户跟踪能力。 c. 内部业务流程。企业信息化建设 的过程伴随着业 务流 程乃至企业结构的重 组 , 从 而给企 业内部 业务流 程带来 深刻 变革。为了满足客户个性化需求 , 提高市场反映速度 , 企业需 要提高生产柔性 , 缩短新 产品生 产周期 , 加速 技术创 新速度 , 为客户提供个性化、 多样化的产品 , 并通过 有效的营销方式提 高客户的满意度。企业原有的塔 型的结构为精良、 敏捷、 具有 创新精神的扁平化 动态网 络结构 所取代。在 这种结 构中 , 计 算机系统将取代中层 监督和 控制部门 的大量 职能 , 信息 的纵 向传递速度和横向交流速度大大 提升。多 种决策工具的集成 和应用也极大地增强了 决策者的信息处理能力和方案评价选 择能力 , 增强了决策的科学性。因此 , 内部 业务流程角度的二 级指标有 :产品生产周期 ; 新产品 开发能力 ; 产品差别化程度 ; 技术创新能力 ; 流程柔性 程度 ; 有效的 网络营 销 ; 管 理层次 合 理度 ; 企业内信息传递或 交流速 度 ; 信 息系统 集成度 ; 决策 科 学化水平。d. 学习与成长。学习与成长角度主要反映企业如何 创造 一种支持企业信息化建设和持续 发展的氛围。学习与成长强 调员工能力的提高 , 强调 企业变 化、 创 新和成 长的总 体环境。 具体而言可用以下指标反映 :企业信息文化建设水平 ; 员工对 信息化建设的支持度 ; 员工满意程度 ; 企业 领导及信息主管的 信息文化素质与水平 ; 企业员工的信息文化素质与水平 ; 信息 共享率 ; 员工知识创新能力。3企业信息化绩效的 DEA 评价方法3. 1指标的量化 以上 指标体 系既包 含定量 指标也 包含 定性指标 , 进行综合评价前 , 需要 将定性指标定量化。对于需 要业内专家 进行 评定 的定 性指 标 , 比如 , 信 息部 门的 组织 定 位、 企业领导的重视程度、 信息 主管的 地位、 信息系 统的客 户 跟踪能力、 新产品开发能力、 产品 差别化程度、 技术创新能力、 流程柔性程度、 有效的网 络营销、 管理 层次合 理度、 信息系 统 集成度、 决策科学化水平、 企业 信息文 化建设 水平、 企业领 导 及信息主管的信息文 化素质 与水平、 企业 员工的 信息文 化素 质与水平、 信息共享率、 员工知 识创新 能力这 些指标 , 评价 主 体可以成立 专家 组打 分 :将每 个指 标设 定为 五个 等级 , 即 很 差、 较差、 一般、 较理想、 理想 , 分值分别为 1、 3、 5、 7、 9分 , 然后 由专家组给出某项 指标的 得分值。对 于客户 满意度、 产品 和 服务的质量这两个指标 可以采用问卷调查或在线调查的方式 让客户给出指标得 分值。对于 企业内 信息传 递或交 流速度、 员工对 信息化建 设的支持度、 员工 满意程度这 3个指标 可以 采用问卷调查的方式让员工给出 指标得分值。对于余下的定Journal of Information No. 10, 2007情报杂志 2007年第 10期量指标 , 评价时直接收集 相应的 数据或 根据数 据库中 存储的 数据计算整理即可 , 不过 , 各种信息化投入的范围需要较为清 楚地界定 , 避免重复或遗漏。3. 2指标的无量纲化 以上 评价指 标体系 既包含 正向指 标 , 也有逆向指标 , 并 且各指 标的量 纲也不 一致 , 从而造 成无 法直接比较方案优劣的 情形。因此 , 需要 先将各 指标值 无量 纲化和无极性化 , 以便使各指标的评价尺度统一 , 然后才能对 各评价对象的价值进行 分析和 评价。首先 , 对于 逆向指 标可 以按式 (1 进行极性变换 , 然后 对所有 指标按式 (2 进 行无量 纲化处理。X ij = min (x j x ij(1Z ij =X ij -min (X j max (X j -min (X j (2式中 , min (x j 为原 始数 据集 中每 一指 标下 评价 对 象的 最小值 , max (X j 和 min (X j 分别 为极性 变换后 每一指 标下 评价对象的最大值和最小值。3. 3各一级指标的综 合 企 业信息 化绩效 评价涉 及到众 多因素 , 需要衡量和比较的指标很多 , 是一系列复杂的思维活 动过程 , 而层次分析法是 对复杂 问题做 出决策 的一种 简易的 方法 , 它能将定性、 半 定性问 题转化 为定量 计算 , 能使人 们思 维过程层次化 , 逐层比较多种关联因素 , 特别适合用于难于完 全用定量进行分析的复杂问题 5。因此 , 笔者认为 , 相对各一 级指标而言 , 仿用层次分 析法中 建立判 断矩阵 的方法 来确定 其下属二级 指标的权重 , 进而用 多指标 综合法 求得各 一级指 标综合值是一种极好的 思路。其基 本操 作步骤 如下 :a. 构造 判断矩阵 :分别关于各一级指标 , 由专家组建立其下属指标重 要性两两比较的判断矩阵 A =(a ij n n , 其中 , a ij 0, a ij = 1/a j i , a ii =1, 相对重要性的程度可以分别用 19及其倒数 进行 标 度 ; b. 一 致性 检 验 :计算 各 判 断 矩阵 的 最 大 特征 值 K max , 再计算检验判断矩阵的一致性比率 CR =CI /RI , 其中 , CI =(K max -n /(n -1 为一致性指标 , n 为判断 矩阵的阶 数 , RI 为随机一致性指标 , 若 CR 0表示第 j 个决策单元 DM U j 的第 i 种类型输入的输入 量 ; y r j 0表示第 j 个决策单元 DM U j 的第 r 种类型输出的输 出 量 ; i =1, 2, , , m; r =1, 2, , , s ; j =1, 2, , , n; X 0= X j 0, Y 0=Y j 0, 分别为选定决策单元 DM U 0的输入和输出。 H 为该决策单元 DM U 0的有 效值 (指投 入相对 于产出 的 有效利用程度 ; K j 为相对于 DM U 0重新构 造一个有 效 DM U 组 合中 j 个决策单元 DM U j 的组合比例 ; S -, S +为松弛变量。 其经济含义分别为 :a. 当 H =1且 S -=S +=0时 , 称决 策 单元 DM U 0为 DEA 有效 , 即在这 n 个决策单元组成的系统 中 , 在原投入 X 0的基础上所获得的产出 Y 0已达 到最优 ; b. 当 H =1且 S -X 0或 S +X 0时 , 称 DM U 0为 DEA 弱有效 , 即在 这 n 个决策单元组成的系统中 , 对于投入 X 0可减少 S -而保 持原产出 Y 0不变 , 或在投入 X 0不变的情况下可将产出 提高 S +; c. 当 H 1时 , 则称 DM U 0为 DEA 无效 , 即在这 n 个决策 单元 组成的系统中 , 可通过组合将投入降至原投入 X 0的 H 比 例而保持原产出 Y 0不减。3. 4. 2规模收益值。 设 k =E K j /H , 则为 DM U 0的规模 收益 值。 a. 当 k =1, 表示 DM U 0的规模收益不变 , 此时 DM U 0达到最大产出 规模点 ; b. 当 k 1, 表示 规模收益递减 , 且 k 值越大规模递减趋势越大 , 表明在 DM U 0投入 X 0的基础上 , 即使 增加投入量也不可能带来更大比例的 产出 , 此时没有再增加决策单元投入的必要。3. 4. 3投入冗余率和 产出 不足 率。 将 决策 单元 中各 分 量的 S -ij 与对应指标分量 x ij 的比值定义为 投入冗余 率 , 记为A ij , 表示该分量指标 可节省的比例。 同样地设 B rj =S +rj /y rj , 则B rj 称为产出不足率。 比较 一个系 统中 不同年 份的 投入冗 余 率或产出不足率可动态 地反应该系统在哪些方面有所改善和 哪些方面还需要加强管理。还可分析同一 时期内相关系统间 的投入冗余率、 产出不足率 , 进行 横向比较 8。3. 5应用 C 2R 模型于企业信息化绩效 评价 根据以上分 析 , 可以将综合后的一级指标信息化基础设施、 信息化战略规 划、 信息化应用状况、 信 息化人 才建设 作为系 统的输 入变量 , 将综合后的财务、 客户、 内部业务 流程、 学习与 (下转第 35页 情报杂志 2007年第 10期 Journ al of Information No. 10, 2007表 319标度及其含义标度 含义1表示两个因素相比 , 具有同样重要性3表示两个因素相比 , 一个因素比另一个因素稍微重要5表示两个因素相比 , 一个因素比另一个因素明显重要7表示两个因素相比 , 一个因素比另一个因素特别重要9表示两个因素相比 , 一个因素比另一个因素极端重要2, 4, 6, 8上述两两相邻判断的中值倒数 因素 i 与 j 比较得判断 b ij , 则因素 j 与 i 比较的判断 b j i =1/b ij b. 数据统计、 分析、 计算。通过对调查问卷数据进行统计 , 得到各层次指标的判断矩阵 , 选择 菜单 Assessment-data, 输入 上述判断矩阵的值 , 得到各指标的权重如表 4所示。表 4文本分类系统影响因素综合评价表序号 分类系统影响因素 A 语料库 B1预处理 B2分类器 B30. 2590. 3430. 398合成权重X i总排序C11样本均衡性 0. 2670. 0698 C12样本代表性 0. 2000. 05211 C13样本数量 0. 2170. 05610 C14分类标准合理性 0. 3170. 0827 C21文本表示方法 0. 1810. 0629 C22权重计算方法 0. 2860. 0984 C23特征选择方法 0. 2710. 0935 C24特征提取方法 0. 2630. 0906 C31分类模型 0. 4880. 1941 C32类别的组织方法 0. 2630. 1052 C33分类测试方法 0. 2500. 0993 2. 3目标综合评 价 (Synthesis 选择 菜单 Synthesis-from Goal, 综合分析各评价因子对文本分类系统的综合权重 , 得到各 因子的合成权重及其总排序 , 如表 4所示。通过表 4的结果可以看出 :a. 分类器的各项因素是影响系 统性能的主要方面 , 其中分类模型的选 择是核心 , 一直以来也 是文本分类研究者的研究重点 , 目前公认的性能较好的分类模 型是 SVM 。 b. 分类预处理对系统的影响也不容忽视 , 尤其是权 重计算、 特征选 择和特征提取方法 的选择。由于方法 众多 , 特 别是中文文本的分类 , 各种方法的评 价仍待进行深入研究。 c. 语料库的选择。目 前用于文本分类的中 文语料库主 要有北京 大学语料库、 人民日报标 注语料库等 , 而 各领域的专 业文本的 语料却很少 , 因此 , 语料库建设仍是目前 文本分类甚 至中文信 息处理的一项重要的基础性工作。3结 语本文利用 Ex pert Choice 专家决策软件进行 AHP 文本分类 系统评价 , 避免了繁杂的计算 , 节省了大量的时间 , 方法简单有 效 , 结果清晰明了。由于不能对自然语言进行严格的形式化 , 因此对文本分类 系统的评价主要是通过实验结果进行的。对于二元分类问题 , 常用的评价 标准有 :准确率 /召回 率、 break-even 点、 F-mea -sure 、 11点平均、 精度 /错误率等。在多元分类问题中 , 为了对整 个分类系统进行评价 , 通常对单个分类器的分类指标进行宏平 均或微平均 6。但是仅 凭借实验结果并不 能客观真 实地反映 整个分类系统的性能 , 本 文应用层次分析法的 思想 , 得出了文 本分类系统的各项指标的权重 , 各指标权重表明了它对文本分 类系统性能的 影响程 度 , 从 而公正 客观地 评价不 同的分 类系 统。本文提出的评价指标体系 , 既为准确综合评价文本分类系 统奠定了基础 , 又为构建文本分类系统和制定分步实施策略提 供了一个参考。参 考 文 献1中文网页分类评测 . http:/www. c wirf. org/Evaluat i on/CCT. html. 2006 2李 恩科 , 徐 国华 . 层 次分 析法 在信 息系统 综合 评价 中的 应用 . 情报 学报 , 1998; (63孙建军 , 成 颖等 . 信息检索 技术 . 北京 :科学出版社 , 20044程 军 . 基于统计的文本分类技术研究 . 中国科学院博士学位论文 , 2003 5程泽凯 , 林士敏 . 文本分类器 准确性评估方法 . 情报学报 , 2004; (56薛德军 . 中文文本自动分类 中的关 键问题 研究 . 清华 大学 工学博 士学位 论 文 , 2004(责编 :阳王京 (上接第 32页 成长 4个指标作为系统的输出变量 , 应用 C 2R 模 型计算 (可使用软件 各决策