用友BQ商业智能平台技术白皮书

用友 BQ 商业智能平台 技术白皮书 提升 ERP应用价值 辅助企业管理决策 用 BI技术推动商业和社会进步 用友华表软件技术有限公司 2010 年 1 月 用 BI 技术推动社会和商业进步 2 目录 第一章 商业智能概述 . 4 1.1 商业智能概述 . 4 1.2 BI 发展趋势 . 4 第二章 用友 BQ 商业智能平台总体介绍 . 5 2.1 用友 BQ 商业智能平台概述 . 5 2.2 核心功能概述 . 7 2.3 BQ 技术架构图 . 8 2.4 BQ 系统特点 . 8 2.4.1 创新的对象概念 . 8 2.4.2 细致的对象管理 . 8 2.4.3 灵活的对象应用 . 9 2.4.4 科学的对象分区 . 9 2.4.5 个性化的定制平台 . 9 2.4.6 在线切换的操作流程 . 9 2.4.7 丰富的报表设计及种类 . 9 2.4.8 逐层递进的公式钻取 . 9 2.4.9 严谨的安全控制 . 10 2.4.10 多种语言环境 . 10 2.4.11 多样化的文 件输出 . 10 2.4.12 跨异构数据源支持 . 10 第三章 核心优势 . 10 3.1 数据处理层 . 10 3.1.1 强大的统一 UDE 引擎 . 10 3.1.2 超高速的 ETL 引擎 . 11 3.1.3 强大的信息域功能 . 11 3.1.4 ISP 智能表单平台 . 12 3.1.5 预测分析功能 . 12 3.2 报表与管理层 . 12 3.2.1 超强的智能查询 . 12 3.2.2 智能报表； . 13 3.2.4 多维报表 (OLAP). 14 3.2.5 智能报告 . 15 3.3 信息发布层 . 16 3.3.1 EIS 决策分析系统 . 16 3.3.2 CAT 图视化 . 17 3.3.3 独创的地图应用 . 18 第四章 报表设计与管理 . 18 4.1 报表设计模式 . 18 4.2 WEB 发布方式 . 20 4.2.1 Portal 方式 . 20 4.2.2 通过发布方式 . 20 4.3 报表管理中心 . 21 用 BI 技术推动社会和商业进步 3 4.3.1 通用的树型管理模式 . 21 4.3.2 齐全的安全管理功能 . 21 4.3.3 完善的任务调度功能 . 22 4.3.4 高效的全对象管理功能 . 22 第五章 部署与应用 . 23 5.1 报表应用部署方式 . 23 5.1.1 用友 BQ 商业智能平台内部部署 . 23 5.1.2 J2EE 部署 . 24 5.2 支持环境 . 25 第六章 性能指标控制 . 25 6.1 性能分析 . 25 6.2 实测指标 . 26 6.2.1 Super ETL 性能测试 . 26 6.2.2 海量数据技术对比测试 . 26 第七章 集成接口 . 27 7.1 数据源 . 28 7.2 前端接口 . 28 7.3 设计器接口 . 29 第八章 个性化开发平台 . 29 8.1 自定义函数 . 29 8.2 对象间传递参数 . 29 8.2.1 使用 Cookie 传递参数 . 29 8.2.2 共享变量 . 30 8.2.3 环境变量 . 30 8.2.4 参数 . 32 8.3 ETL 应用 . 32 8.3.1 数据抽取 . 32 8.3.2 数据转换 . 32 8.3.3 数据清洗 . 33 8.3.4 数据装载 . 34 8.3.5 ETL 任务计划 . 37 第九章 集成应用 . 37 9.1 BQ 与 SOA 结合 . 37 9.2 BQ 与 JAVA 集成应用 . 48 9.2.1 原理 . 48 9.2.2 BQ JServer 主要配置参数 . 48 9.2.3 BQ 设计器集成 . 50 9.2.4 运行界面集成 . 51 9.2.5 数据访问接口 -UdeConnPool . 51 9.2.6 安全控制接口 - SecurityController . 52 用 BI 技术推动社会和商业进步 4 第一章 商业智能概述 1.1 商业智能概述 商业智能，简称 BI，指通过对数据的收集、管理、分析以及转化，使数据成为可用的信息，从而获得必要的洞察力和理解力，更好地辅助决策和指导行动。 它是能够帮助用户对自身业务经营做出正确明智决策的工具； 利用企业积累的数据增进对业务情况的了解 ,帮助我们在业务管理及发展上 做出 及时、正确的判断 ,然后采用明智的行动。目前，商业智能产品及解决方案大致可分为数据仓库产品、 ETL 产品、 OLAP 和前端展示产品、数据挖掘产品 、元数据管理产品、集成以上几种产品针对某个应用的整体解决方案等。 1.2 BI发展趋势 企业信息化建设，特别是 ERP 的普及应用， 为企业构建的应用和事务处理系统 ，帮助企业逐步实现了对内、对外的整体资源的整合，实现了企业资源的有效利用。 传统 ERP 是联机事 务 处理系统，应用和事务涵盖了以下几项企业职能：财务管理，供应链管理，人力资源管理，采购管理，生产管理，库存管理，销售管理，客户关系管理等。是完成业务功能作业的。 ERP 对原始数据做高效率的实时运算加工，产生大量的实时的目标数据，用目标数据进行业务的计划和控制是 ERP 的根 本职能。 ERP 的计划和控制过程结束，有大量的过程数据留存在系统内。从数据利用的观点看， ERP 系统存留的数据除了“备查”、“跟踪”之外，没有被充分利用。 ERP 系统更大的潜力并没有发挥出来，而迅速增长的数据量甚至还成为系统的沉重负担。 从数据的全生命周期来看， ERP 系统里的数据记载着企业的生命轨迹和隐含着企业的“秘密”。但是 ERP没有手段来识别它。因此企业对 ERP 对巨大投资只回收了一部分， ERP 系统积累的数据形如一座未曾开发的金矿，而 ERP 本身没有发掘的手段，成为传统 ERP 的一大遗憾。 另外， ERP 数据库缺少对 历史数据的有效组织： ERP 的数据主要是实时的，缺少对历史数据的积累和便于分析访问的有效结构。从分析处理过程来看，分析一般需要多表操作、较长的运行时间，若直接利用 ERP业务系统的数据库中现有的数据进行决策的分析和推理、将影响 ERP 系统 OLTP 的效率，并造成繁忙的网络数据传输。在需要直接访问历史数据时更是困难。 ERP 厂商多年的经验表明， BI 的应用是不能跨过 OLTP 应用阶段的，否则就会形同空中楼阁，或者是无 用 BI 技术推动社会和商业进步 5 源之水。一般企业在 ERP 正常运行 2-3 年左右，在数据处理方面具备了较丰富的经验、在 ERP 系统中积累了足够的 业务数据以后，在这个基础上才能得到明显效果。当前中国的企业应用 ERP 的成功案例逐步增多，企业 IT 应用经验相对成熟，相继而来的是数据仓库、 OLAP 和业务智能应用的时机的到来。 第二章 用友 BQ商业智能平台 总体介绍 2.1 用友 BQ商业智能平台 概述 用友 BQ 商业智能平台 （简称： BQ）是用友华表 基于 20 多年 IT 软件业经验， 经过 7 年艰苦执着、不懈地努力研发而成的，当前最新版本 :第七代用友 BQ 商业智能平台 。 用友 BQ 商业智能平台是针对于企业报表以及各类统计分析遇到的诸多问题，经过多年发展，形成的新一代 满足 企业应用的 BI 系统。 BQ 是集企业多系统数据整合、报表中心、分析中心、控制中心于一体的全方位 BI 解决方案。帮助企业把各类数据进行整合，根据不同人员的需要，将信息进行展示，灵活快速地响应企业管理变化，为企业搭建一套完善的辅助决策分析体系。 具有如下几个方面的特点： 强大的展示分析功能： 用友 BQ 商业智能平台 ，是一套全球功能最完备的商业智能软件产品之一，它是集 智能 查询、 智能报表 、智能报告 、多维分析 (OLAP)、仪表盘经理 (Dashboard Manager)、 智能图示化分析 、数据整合及数据挖掘功能为一体的商业智能软件产品。 BQ 平台 从 “商业智能”提升到“开发平台”，除提供强大商业智功能外，还提供进一步的二次开发功能，让用户轻易定制、开发自己的特殊商业智能应用。 易用的整合接口： 有别于一般 BI 产品， BQ 多年的中国本土整合经验，发现整合往往是 BI 工具的致命点，所以 BQ 重点提供 1,800 多个 API 接口，便于快速整合不同系统或平台，更提供少于 20 行代码量安全整合 JSP, .NET 等 OA, BPM 平台，让用户享受单点登陆的乐趣。 为考虑到用户在转换、改变或更新，现有中国报表 (如快逸报表、润乾报表、如意报表、炎鼎报表等 )和国外 BI(Cognos、 BO、 Brio、 Crystal Report)系统所带来大量转换工作的烦恼， BQ 更提供管理其它 报表工具的功能，让开发人员不用重新再制作以往的报表，从而大大减轻 工作量。 完美的松散偶合设计 BQ 采用分层、组件化的设计技术，层与层之间、部件与部件之间以 XML 为粘合剂，是完全松散偶合的关系，甚至可随意装卸，实现软件的 Plug & Play。比如后台的安全管理模块，可以随时卸除（相当于没有安全管理），也可以挂接第三方的安全控制系统，或让系统集成商开发自己的安全控制系统。前端组件也可 用 BI 技术推动社会和商业进步 6 随意装卸，或挂接用户开发的新模块， 扩展系统功能。 创新的全对象概念 系统将一切用户可能需要操作的元素，包括数据源、表、字段、条件、参数、公式、函数、操作符、查询、报表、立方体等，经过提炼、封装、命名，成为可单独管理、重复使用、灵活组合的对象。对象重用有引用和复制两种方式，默认为引用，原对象改变，各引用对象自动更新，实现单点更新，更新一处，修改全部。 严密的安全机制 BQ 的安全控制很严密，包括用户的登录限制、密码长度和有效期限制、对象授权（读 /写 /删除）、功能授权、表约束（数据库记录级安全控制）。为便于管理用户，支持用户组；为便于授权，支持角 色定义。 兼容的错误处理机制 BQ 的错误处理机制，可正确处理 COM、 XML、 Windows API 和自定义的错误信息，并能捕获并显示动态的错误信息（如数据库执行 SQL 时的语法分析错误），支持动态错误信息的跨机器传送（如由 UDE 服务器传到客户端）。 高扩展的多语言方案 BQ 通过将各语言信息保存于一个文本文件中，配合一套支持多语言的基础界面组件，轻松实现了多语言支持，并且可随意扩展语言种类，程序无需做任何改变，而且无需多套界面资源库，可根据简体中文自动生成繁体中文语种，维护很方便。安装时，系统自动检查当前操作系 统的语言，默认配置为该语言，找不到对应语言时则默认使用英语。系统运行时，用户可在线切换语种。 零代码集成技术 可在没有业务系统的源代码，通过 API将 BI 软件与业务系统集成，将 BI 工具上制作客户资料报表在业务系统端直接调用。 个性化的定制平台 可以按照您的需要或喜好，定制系统的语言、屏幕背景、窗口布局、菜单、工具栏等，建造您最舒服的工作平台，达致最佳的视觉效果。 用友 BQ 商业智能平台 是满足企业用户对于数据的及时性、准确性要求，结合更加丰富展示方式的一款平台性软件。通过更好的互动操作方式，满足用户的多种个性化 需求，其应用可以实现门户、报表、文字报告、图示化分析、 KPI 分析、趋势分析等。 用 BI 技术推动社会和商业进步 7 2.2 核心功能概述 特别针对中国政府与企业复杂统计类型报表而设计的 智能报表 ，特别是基于表格式报表设计，能够与Excel 无缝集成 ； 智能报告 能 用 Microsoft Word 的环境制作报表 ， 优点为方便、快速 转变大量已完成的 Microsoft Word报表为动态周报、月报和年报； 独创数据录入平台（ ISP） , 扩展了商业智能没有的 数据录入、后台校验功能 、 分级 审批、流程管理 等 数据在线填报功能； 类 Brio EIS 仪表盘经理 , 用户能 采用第四代语言开发，优点为减少 90%以上的编程量，并能迅速掌握、了解整体状况，可达一眼纵观全局之效； 类 Data stage 的 Ultra Speed ETL， 支持从简单到高度复杂的数据结构中大量数据的收集、集成和转换，优点为 比 Microsoft DTS 转换数据快 10 倍 ,在后台循环取数比 Oracle JDBC 快 8 倍以上、比用原Excel 取数接口快 100 倍； Flash 样式的 互动展示平台 ， 使用简单的点击式界面导入 Excel 数据和公式， 提供 互动式视觉化分析、图表、图像、财务报表和商业计算器等等； 类 SAS 预测 分析 数据挖掘 功能， 39 种强大分析挖掘算法，包括 BP Tree、 DMTree、 K-Means、 Logistic等； 类 Crystal Report 动态报表 ， 优点为面向业务人员在制作报表中 90%以上不用编程； 类 Visual Source Safe 开发控制与 版本管理功能 ； 利用 VB 或自定义函数支持 JavaScript 编程扩充所需功能 ,并能整合于 J2EE,.net,VB,Deplhi 等系统； 在 BQ 开发环境支持访问任意 Web 站点，实现任意 Web 的登录验证，然后在 BQ 报表、脚本中使用任意后台提供的服务，无论是 .net 还是 Java 后台； 1,800 多个 API 接口，为将来的整合提供强大通用的设计； 特有的动态表达式函数，可自定义出求相关系数、标准差、 Fisher 等复杂的统计函数，适用在统计、考评 等需要复杂数学统计的地方 ； 动态报表支持 VML 矢量图和 GIF、 JPG、 BMP 等各种点阵图，支持多层透明叠加输出，轻松制作含不定数量、位置、类型的矢量和点阵符号的报表。 用 BI 技术推动社会和商业进步 8 2.3 BQ 技术架构图 2.4 BQ 系统特点 2.4.1 创新的对象概念 BQ 将一切用户可能需要操作的元素，包括数据源、表、字段、条件、参数、公式、函数、查询、 报表等，经过提炼、封装、命名，成为可单独管理、重复使用、灵活组合的对象 .对象这一全新的概念，为构建各种应用奠定了坚实的基础，大大提高信息利用率 。 2.4.2 细致的对象管理 系统提供一套科学的对象管理机制，将对象自动分门别类（如参数、条件、公式等）管理 .并支持用户自定义对象管理规则，实现对象的自动管理，极大地方便用户的使用 .BQ 对每一个对象可进行 版本回溯：可回顾对象的构造过程，并保存对象的每一个版本，各版本均可在需要时随意调用 。 授权：对对象进行嵌入式的安全管理，控制用户对对象的操作权限 。 派生：通过对对 象的修改、组合，衍生新的对象 用 BI 技术推动社会和商业进步 9 2.4.3 灵活的对象应用 对象以复制或引用两种方式实现重用 .对象可以复制，对原对象的修改不影响复制的结果；也可以引用，实现单点更新 修改一处，更新全部 .通过拖放将不同工作区的对象进行灵活组合，您可以迅速搭建查询、报表等多种应用 。 2.4.4 科学的对象分区 BQ 的分区管理概念，将对象按不同的共享范围分区放置，分别设有当前工作区、个人共享区、系统共享区等不同层次的工作区，对象可逐层或跨层提交，分类存放 .您既可将当前工作区的对象提交到个人共享区，方便其它应用，提高个人工作 效率；也可将当前工作区、个人共享区的对象提交到系统共享区，与其他人共享工作成果，实现团队的知识积累 。 2.4.5 个性化的定制平台 您可以按照您的需要或喜好，定制系统的语言、 屏幕背景、窗口布局、菜单、工具栏等，建造您最舒服的工作平台，达到 最佳的视觉效果 。 2.4.6 在线切换的操作流程 BQ 提供人性化的操作向导及 All In One 的一体化界面两种操作流程 .两者之间可交互操作，在线切换，为用户提供灵活的操作选择 . 2.4.7 丰富的报表设计及种类 列表、交叉表、主从表、分段统计、 Top N、链接报表 、固定报表 以及数十种编辑和图表选项，更有对数据的分组、排序、排名、汇总、过滤、示警、参数、求比、刷新、钻取、切片等不胜枚举的功能，使BQ 成为您值得信赖的报表制作和数据分析专家 . 2.4.8 逐层递进的公式钻取 对于由对象经过多次复合而生成的复杂公式，在其运算结果出现错误时，用户可以逐步深入，追本溯源，为用户的查错和排错带来极大的方便 . 用 BI 技术推动社会和商业进步 10 2.4.9 严谨的安全控制 系统共享区的对象和目录皆可由系统管理员进行安全控制，支持角色定义，可授权给用户或用户组 .此外，还提供对数据库到记录级的安全控制，为用户提供 更细致、更灵活的数据访问安全解决方案 . 2.4.10 多种语言环境 系统的多平台语言支持，使操作者可在不同的语言环境中随意切换， BQ 提供简体中文、繁体中文、英文 等多种语言平台，在未来，系统会持续增加更丰富的语言选择 . 2.4.11 多样化的文件输出 无论是查询、报表、分析文件，均以相互导入或导出，亦可输出为 PDF、 TXT、 HTML、 EXCEL 等多种文件格式 . 2.4.12 跨异构数据源支持 BQ 支持所有、 OLE DB 和 ODBC 驱动的数据库，并有专门开发的 Native Driver 连接特定的数据库 .系统并 支持同时访问两种以上的数据库 . 第三章 核心优势 3.1 数据处理层 3.1.1 强大的统一 UDE 引擎 所有客户端统一通过服务器上的统一数据库引擎（ UDE）访问数据库，避免在客户端直接连接数据库所导致的不安全因素，也免去了在每台客户端安装数据库前端软件，配置数据库连接的烦琐工作。 支持多数据源： UDE 引擎支持可处理整合和处理来自多个数据源的数据，在一张报表中融合多个同构或异构数据源的数据。 支持跨数据源： UDE 数据源管理器提供了十多个数据库访问接口，支持各种连接方式（ ODBC、 OLE DB、BDE、 Progress 等）和 Oracle, IBM DB2, Sybase, Microsoft SQL Server、 XML、 Excel、 Access 和文本文件等数据源。 连接缓冲池技术： 提供客户端接入速度，并节约数据库的连接。对于每个数据源，可设定允许的最大数 用 BI 技术推动社会和商业进步 11 据库连接数，以及自动释放数据库连接的空闲时间。 3.1.2 超高速的 ETL 引擎 今天一个商业智能产品 (BI)成功的关键，在于怎样将数据转换，不论数据在哪 ,不论什么格式。用友 BQ商业智能平台的超速 ETL 引擎提供给企业一个最强大的 ETL 数据整合平台。 通用 ETL 引擎： 自 2002 年开发至今，支持 Oracle、 SQL Server、 Informix、 DB2、 Sybase、 Progress等等各种关系型数据库后 超高速 ETL 引擎： 继之又耗时 3 年的研发时间开发了专为海量数据而设的 “ 用友 BQ 商业智能平台 - P”并于 2006 年 1 月份宣布正式推出市场！支持 Oracle 与 SQL Server，对 Oracle、 SQL Server 抽取与加载测试指标为 100 万行含 18 个各种类型字段的数据，比 Microsoft DTS 速度快 10 倍以上。 3.1.3 强大的信息域功能 可视化创建数据 库语义层，用类和对象重组、重构数据库结构，提供一个面向业务人员的智能查询环境； 语义层是 Business Object(BO)发明的，但 信息域与之相比，却有许多超越之处 ： 1）将数据库中的表及字段改为有意义的业务术语，使最终用户不需要依赖 IT 人员即可轻松构建查询和报表 ； 2）预建表关联（以后做查询、报表不必再建）； 3）将复杂统计表达式作为单个对象，象使用字段一样方便查询和做报表； 4）数据转换，把代码转为代码值 ； 用 BI 技术推动社会和商业进步 12 5）实现单点更新，修改一处，更新全部； 6）数据库信息分类管理（按用户的习惯分类） 。 7）简单的多语言语义层解决方案，对在港澳台、国外都有项目的 IT 公司有用。 3.1.4 ISP 智能表单平台 集 商业智能的所有功能 以及 数据录入功能 为一体，以单一平台完整覆盖数据录入、校验、查询、分析、统计。 能让跨地区的用户补充数据。 可以在系统平台进行手工录入或直接导入数据，手工补录的数据每天定时更新到数据库。 3.1.5 预测分析功能 以数据挖掘 Data mining 为核心技术 , 提供包括关联规则、序列模式、频繁序列、决策树分类、神经元网络、线性回归、 Logistic 回归、 K-Means 聚类、模糊聚类 、异常检测等多种数据挖掘算法，并提供了相应的数据挖掘模型可视化方法，帮助企业预测分析企业过去、现在及将来发展趋势。 3.2 报表与管理层 3.2.1 超强的智能查询 提供一个智能查询构造面板，以直观的拖放方式，做到复杂的查询； 样式： 用 BI 技术推动社会和商业进步