燕郊培训预发放参考ae20发版说明

1、大型企业与公共组织云平台目录. 2目录31.概述62.本版修订72.1.文件服务72.2.元数据管理72.3.数据集成7数据集成.3.2.数据集成72.3.3.实时数据集成92.4.数据仓库建模92.5.语义建模9建模.数据挖掘9特性103.3.1.文件服务103.2.元数据管理103.3.数据集成10数据集成.3.2.数据集成123大型企业与公共组织云平台3.3.3.实时数据集成123.3.4.数据镜像133.4.数据仓库建模133.4.1.数据仓库元数据133.5.语义建模143.5.1.语义模型143.5.2.语义关联153.6.分析建模

2、153.7.数据挖掘16范围174.主要功能185.5.1.文件服务185.2.元数据管理185.3.数据集成195.3.1.数据集成19数据集成.3.3.实时数据集成245.3.4.数据镜像265.4.数据仓库建模265.5.语义建模275.5.1.语义模型275.5.2.语义关联294大型企业与公共组织云平台5.6.分析建模295.6.1.分析主题30数据集30.7.数据挖掘325.8.平台配置管理325.8.1.数据源325.8.2.集群管理335.8.3.调度队列335.8.4.性能. 335.8.5.缓存管理345.8.6.物化视图管理345.8.7.

3、元数据驱动. 345大型企业与公共组织云平台1.概述数据处理平台 AE 是UAP 统一应用平台的有机组成部分，是企业级数据处理综合套件，它采用 JavaEE 架构，为企业提供涵盖建模、集成、数据质量、数据挖掘在内的的数据处理和管理解决方案。结合 UAP 平台的主数据管理、ESB 等，可为企业提供从数据管理到数据治理的全面综合解决方案。AE V2.0 主要包括五大部分：1. 文件存取服务：分布式的文件存取服务系统。2. 元数据管理：元数据管理包括元数据存取服务和前台管理功能，实现了分析元数据与 UAP 元数据的衔接，支持企业级统一元数据管理。3. 建模工具：AE 建模可建立数据仓库模型，语义模型

4、和分析模型，这些模型信息就是元数据。1) 数据仓库建模：用于建立数据仓库模型。目前数据仓库建模部分主要是数据仓库元数据的管理。2) 语义建模工具：用于建立语义模型，支持基于数据仓库和ERP 业务系统元数据建立语义模型。3)建模工具：用于建立分析模型。4. 数据集成工具：1) AE DI：是原数据集成（QDE） 的替代，实现传统 ETL/ELT 数据转换处理功能，可集成 RDI 实现实时数据集成。2) RDI：实时数据集成工具，基于日志分析技术实现业务系统到分析系统的实时数据同步，支持实时分析。5. 数据挖掘平台：实现一个完整的数据挖掘平台。包含训练、建模、模型分析、模型管理及对应的可视化展现。

5、预置了时间序列挖掘算法，如季节分析模型，差分自回归模型等。6大型企业与公共组织云平台2. 本版修订2.1.文件服务2.2.元数据管理元数据管理是本版全范管理的模块。2.3.数据集成2.3.1.数据集成数据集成（QDI）从本版开始不再进行更新，数据集成工具有新的数据集成工具 AEDI代替。从本版开始，数据集成（QDI）将不能再新建数据集成作业，但可进行原有作业包括转换的修改，同时，可以在新的数据集成工具（AEDI）中调用原有 QDI 创建的作业和转换。2.3.2.数据集成全新开发 AE DI，涵盖原 QDI 的全部能力，实现了实时数据集成能力，可调用原 QDI 的作业和转换。7改进点 1规范了元

6、数据管理体系。改进点 2规范了元数据存取服务，可提供：数据仓库、语义模型、模型的元数据存取服务。改进点 3提供了血缘分析和影响分析的元数据（数据源、仓库、语义、）相关服务。改进点 4实现了NC 业务元数据和分析元数据的基于分析需求的统一展现和调用。改进点 1分布式文件服务的搭建，支持高并发和负载均衡。改进点 2规范了配置界面，将服务器和客户端的配置界面。改进点 3改进了文件方式，不再生成物理文件，有效降低磁盘。改进点 4增加了删除校验，当删除最后一个文件时，删除物理文件。改进点 5增强了搜索功能，支持模块，创建/修改人，创建/修改时间，文件大小等搜索。大型企业与公共组织云平台8改进点 1数据源

7、支持：² 支持常用关系型数据库，包括 Oracle、Sql Server、Db2。² 支持 Excel，csv 文件格式。² 支持语义模型。目标支持：² 支持常用关系型数据库，包括 Oracle、Sql Server、Db2。² 支持 Excel，csv 文件格式。改进点 2支持作业、转换两级共 45 个转换器，涉及：² 数据连接（关联）² 表数据² 行列互转² 更新/数据、批量数据加载² 执行 SQL、执行过程² 支持调用 WebServices 服务² 日期生成、序列生成

8、（能保留最新值）² 派生公式计算项² 获取系统信息（如系统日期、时间等）² 空替换赋值等改进点 3作业级功能特性：² 支持作业嵌套调用（作业中嵌套另一作业）² 支持分支并行执行（并行分支能够并行执行）² 支持循环调度执行（作业中的任务节点可循环执行）² 支持条件任务分支执行（支持根据条件分支执行）² 支持参数设置和² 支持（按目标表和流）对象定义信息导出导入改进点 4集群管理相关² 集群可基于作业管理调度，实现负载均衡² 作业任务可指定集群节点运行² 可动态调整任务线程池&#

9、178; 可统一定时策略² 可实时查看集群的节点和作业运行状态² 可对集群节点和任务运行性能情况进行追踪改进点 5执行调度相关² 作业按一定周期定时运行执行² 可计划周期包括：月、周、天、间隔周期、即时执行、不间断循环执行² 计划调度的作业，可实时查看作业的当前运行状态和历史运行状态结果² 可对计划作业进行启动、暂停、停止操作² 可查看计划作业当前和历史运行详细日志信息² 支持对计划作业运行耗时和性能情况进行统计与分析大型企业与公共组织云平台2.3.3.实时数据集成实时数据集成（RDI）本版无更新。2.4.数据仓库

10、建模本版本数据仓库建模部分只包含上一版本的“语义元数据”模块。2.5.语义建模建模.数据挖掘是全新开发的模块。9改进点 1实现数据挖掘流程，训练模型，分析执行结果的管理功能节点。改进点 2提供模型训练，向导，及其对应的可视化展现。改进点 3预置时间序列挖掘算法，如季节分析模型，差分自回归模型等。改进点 4提供了分析结果的可视化组件，如仪表板中的时间序列图表组件。改进点 1按照元数据管理体系规范调整形态。改进点 2增加过滤器：1、可在模型上建立过滤器2、过滤器可被前端工具直接3、过滤器需支持宏变量4、过滤器可启用和停用改进点 3支持普通维度直接向导方式构建维度。改进点 4支持维度成

11、员预览。改进点 5支持雪花模型。改进点 1按照元数据管理体系规范调整形态。改进点 1支持数据源元数据类型用户自定义扩展。改进点 2增加过滤器：² 可在语义模型上建立过滤器² 过滤器可启用和停用。改进点 3支持数据源元数据类型用户自定义扩展。改进点 1按照元数据管理体系规范调整形态。大型企业与公共组织云平台3.特性3.1.文件服务1.支持分布式文件，支持横向扩展服务器。2.支持 REST 方式文件。3.支持按照模块文件。4.支持文件路径格式可扩展。5.增加文件服务配置管理。6.支持文件元数据以及扩展元数据的存取服务。7.支持按照不同维度，如修改人，模块，时间等进行文件检索。8

12、.优化了文件的剪切功能。9.增加了高级模式 FASTDFS。10.上传方式支持 FTP 协议。3.2.元数据管理1. 提供了数据仓库元数据存取服务。2. 提供了语义模型元数据存取服务。3. 提供了模型元数据存取服务。3.3.数据集成3.3.1.数据集成n任务10大型企业与公共组织云平台1.支持从数据集分批取数，并分批目标数据库。2.在一个任务中支持多个输入源，一个输出源。3.源数据源除支持语义模型，数据字典表外，还支持其他基本的输入类型，如Excel表，txt 文本等。4.目标数据源支持多种数据源类型（关系数据库Oracle,DB2,Gbase 等）。5.支持参数传递。6.目标表支持自定义删除

13、操作，即目标表可支持设置 Where 条件删除数据。7.任务支持启用禁用状态，在禁用状态下的任务调度不生效。8.支持注释/别名功能，包括：调用过程组件中支持注释，数据集成SQL转换器支持注释功能，SQL转换器支持字段名称中文别名。n作业1.作业中可以包含任意个任务，支持任务之间的关联设置，作业之间不嵌套。2.支持调度策略的设置，可以加入到现有的调度引擎。3.支持立即执行。4.支持任务之间传递参数及上下文信息。5.支持任务，在作业中可其他任务实现任务。n转换器1.支持过滤、合并、展平、唯一等。2. 数据转换器支持添加方式，可以根据具体需求动态添加。n其他特性1.支持集群调度。2.支持性能。11大

14、型企业与公共组织云平台3.3.2.数据集成1.作业，每个作业中可以包含多个转换，并设置转换之间的关联关系，作业支持嵌套。1)作业支持调度策略，包括月，周，天，可以配置周期性调度，并将调度任务加到现有的调度队列中。2)可以完成 Oracle 数据库到 Gbase 数据库的批量加载。3)支持文件的上传和。4)支持原有的 QDI 作业的执行和调度。5)支持立即运行，并对执行结果进行。6)支持两个库之间的表对比，并可以将对比 sql 输出到文件中。7)支持将调度执行结果，通过邮件通知。2.转换，可以支持 30 多种转换步骤1)支持数据的批量加载。2)支持调用过程。3)支持立即运行，并对执行结果进行。4

15、)支持数据质量，包括字段类型，数据长度等。3.其他特性1)支持离线设计。2)支持以项目为的导入和导出。3)支持集群调度管理。4)支持性能和日志。3.3.3.实时数据集成1. 支持实时数据同步。12大型企业与公共组织云平台2.支持列式（GBase ）和关系数据库（Oracle,PostgreSQL）的目标端。3.基于可靠的消息中间件技术。4.支持灵活的部署方式。5.支持生产引擎分发机制。6.支持源和目标端的数据库表对比。7.支持多语。8.全新的用户 UI。3.3.4.数据镜像1.支持跨数据库。2.提供 3 种执行策略。3.支持表名筛选。3.4.数据仓库建模3.4.1.数据仓库元数据1.支持跨数据

16、库。2.支持多数据源。3.表字段支持设置主键、非空等属性。4.支持批量修改数据源。5.支持导入物理表来生成元数据。6.支持导入 Excel 文件来生成元数据。7.支持根据元数据定义来重建物理表。8.支持元数据定义的导入导出。13大型企业与公共组织云平台9. 支持数据预览。3.5.语义建模3.5.1.语义模型1.支持 UAP 数据字典。2.支持 UAP 元数据。3.支持语义（基于 sql 的扩展）。4.支持语义模型的复合。5.支持语义元数据。6.支持数据（Java 代码开发的取数逻辑）。7.支持业务数据扩展 。8.支持全部连接类型（内连、外联等）。9.支持筛选、排序、分页、汇总 、排除重复等。1

17、0.支持语义模型上增加过滤器。11.支持参数。12.支持宏变量（全局宏变量、模型自身宏变量）。13.通过宏变量支持 UAP 公式。14.提供物化策略设置。15.支持 sql 优化。16.支持设置返回最大行数、最大时间。17.支持语义函数扩展 。18.支持业务数据提供者扩展。14大型企业与公共组织云平台19.支持业务规则扩展。20.支持跨数据库。21.支持多数据源。22.提供性能工具来问题、优化执行瓶颈。23.提供物化策略的集中管理。24.提供执行评估功能。25.提供数据预览。26.提供结构概览功能。27.提供导入导出功能。28.支持语义模型过滤器。3.5.2.语义关联1.自动引入 UAP 元数

18、据的关联关系。2.关联模型支持作用域：全局关联模型、领域关联模型。3.支持语义模型、语义元数据、UAP 数据字典、第数据库表等。4.支持关联模型的导入导出。3.6.分析建模1.支持时间维度的向导式创建。2.支持元定义（UAP 数据字典、语义模型、语义元数据、第数据表等）。3.预置了大量的分析函数。4.公式编辑支持辅助输入。5.支持标准维度、指标、层次、级别、计算成员等的定义。15大型企业与公共组织云平台6.支持模型的导入导出。7.支持批量修改执行数据源。8.支持事实表、维表关联结构的可视化。9.支持分析模型上创建过滤器。10.支持维度的成员预览。11.支持普通维度的向导创建方式。12.支持雪花

19、模型。3.7.数据挖掘1.增加了数据挖掘模型：流程模型，训练模型以及结果的管理。2.提供模型训练，模型的向导工具。3.预置时间序列算法：季节分析，差分自回归等模型。4.提供了仪表板的嵌入功能。16大型企业与公共组织云平台4.范围17领域模块数据处理平台文件服务元数据管理数据集成数据集成实时数据集成数据仓库建模语义建模分析建模数据挖掘大型企业与公共组织云平台5.主要功能5.1.文件服务文件服务支持以下功能：1.支持分布式文件，支持横向扩展服务器；2.支持 REST 方式文件；3.支持按照模块文件；4.支持文件路径格式可扩展；5.支持服务配置管理；6.支持文件元数据以及扩展元数据的存取服务；7.支

20、持按照不同维度，如修改人、模块、时间等进行文件检索；8.支持文件的剪切功能；9.支持高级模式 FASTDFS；10.上传方式支持 FTP 协议。5.2.元数据管理AE 的元数据不是广义元数据的概念，只包含：数据源系统的数据模型、数据仓库数据模型、语义模型和模型。AE 元数据管理包括以下几个部分：1. 元数据库：所有的元数据都保存在元数据库中，AE 和 BQ 元数据相关和工具在工作时与元数据库进行交互。2. 元数据存取服务：对上述四类元数据进行存取、管理、分析、集成等，统一调用AE 元数据存取服务进行管理、分析、展现、应用。18大型企业与公共组织云平台3. 建模工具产生元数据。4. 元数据管理按

21、照企业元数据管理的一般模式设计，遵循元数据管理规范，提供调用API，支持企业级统一的元数据管理需要。5.3.数据集成5.3.1.数据集成AE 数据集成（后面统一用 AEDI 代表）是一款通用的 ETL/ELT 工具。n、集成两种模式AEDI 连接到 AE 服务器,是 AE 数据处理平台的有机组成部分，同时有的客户端可独立运行。作为的客户端工具，它提供了 ETL/ELT 工具的所有功能。连接到 AE 服务器，可利用 UAP 平台的基本能力，实现跟 UAP 平台其他的无缝集成使用，同时，提供了调度、性能分析等企业级运行管理功能。n可使用 AE 元数据它可使用包括 AE 建模工具产生的元数据和数据源

22、系统元数据。简化数据集成工作过程。使用 AE 元数据，使得 AEDI 与 AE 建模工具、BQ 商业分析平台底层共享共同的元数据。通过应用 AE 元数据，将语义层的模型、表、数据字典都直接取出来作为供 DI 直接使用，AE 元数据共分为三类，语义模型，语义元数据和数据字典。各个类目下分别列出了了 DI 所连的服务上的所有语义模型，语义元数据的表和数据字典。n支持实时数据集成基于数据库日志分析技术，通过对源端数据库的日志挖掘，完成源端数据库到目标端数据库的实时数据同步。为实现实时分析奠定了基础。n 支持已有数据集成的复用AE DI 对已有数据集成的复用包括下面三个方面：19大型企业与公共组织云平

23、台1.可调用原有 QDI 的作业可复用原有用 QDI 建立的作业和任务，避免重复工作，保护客户的原有投资。2.可调用已有 AE 数据集成建立的作业和转换这样可最大的避免同样的工作重复进行，是一些底层公共基础数据集成作业和转换能被大家复用，提高效率，同时提高了可靠性。3.可导入导出作业信息用户的作业工程信息可通过导入导出功能实现在不同的上进行多次部署而不需要进行重复的开发。n功能²支持的源和目标数据类型1.支持的源数据类型1)支持常用数据库，包括 Oracle、SqlServer、Db2。2)支持第格式文件 Excel，csv。3)支持 BQ 语义模型。2.支持的目标数据类型1) 支持

24、常用数据库，包括 Oracle、SqlServer、Db2、Gbase。2) 支持第格式文件 Excel。²作业和转换一个典型的数据集成作业过程包括作业和转换两层，其中作业层主要实现流，转换层主要实现数据流。作业可以嵌套，可以复用已有的作业。作业由作业项，通过作业项间的连接，可以完成不同的业务处理流程。作业项包含 6 类 14 个，如下表所示：20分类步骤名称大型企业与公共组织云平台转换由转换步骤，通过转换步骤间的连接，可以完成不同的数据处理流程。转换步骤包含 10 类 31 个，如下表所示：21分类步骤名称输入Meta 输入CSV 输入Excel 输入生成系统信息表输入输出Meta

25、 输出Excel 输出删除更新表输出转换值列转行增加常量增加序列拆分字段行转列设置字段应用替换 NULL流程分支空操作过滤SQLMeta通用开始空操作作业设置变量转换邮件邮件SQL批量加载Oracle 到 Gbase应用终止作业QDI 作业表对比文件传输文件上传文件大型企业与公共组织云平台² 集群支持、计划调度、运行和分析1. 集群支持作业的执行支持集群，可实现负载均衡。作业任务可指定集群节点运行，可动态调整任务线程池。可实时查看集群的节点和作业运行状态，可对集群节点和任务运行性能情况进行追踪。2. 计划调度可统一定时策略。作业支持按一定周期运行，可计划周期包括：月、周、天、间隔周期

26、、即时执行、不间断循环执行。3. 运行和分析计划调度的作业，可实时查看作业的当前运行状态和历史运行状态结果，可对计划作业进行启动、暂停、停止操作。可查看计划作业当前和历史运行详细日志信息。支持对计划作业历史运行耗时和性能情况进行统计与分析。5.3.2.数据集成数据集成（Query Data Integration，DI）是一种基于结果集，对其进行和持久化的过程。可将来自不同数据源的结果数据按照定制的处理流程进行转换，并最终持久化到指定的目标数据源中，同时对目标数据提供基于元数据管理以及与其他业务模块的集成。一个典型的集成过程主要有集成任务和作业两部分实体组成。其中任务实体是集成过程中最小执行单

27、元，其所定义的是一次完整的 ETL(Extract，Transform，Load)过程；作业实体主要是以一系列逻辑相关的任务实体组成，其模型定义了任务之间的依赖关系，以及任务执行过程中的逻辑，在作业实体上，可以设置调度策略，其可被调度引擎调度执行。22DB检查表过程数据质量数据检验作业获取变量设置变量批量加载oracle 加载大型企业与公共组织云平台n任务一个数据集成任务（DI-Task）是一个完整的 ETL 过程：1.从不同来源的结果中取数；2.经过不同的数据转换器，对数据进行整理；3.把处理后的数据持久化到目标数据库；4、任务支持启用禁用状态，在禁用状态下的任务调度不生效。n作业在实际应用

28、中，一个数据集成任务往往依赖另一个任务的执行结果，需要从另一个任务的目标表中抽取数据。这样两个任务之间就有了依赖关系。任务的执行也常常需要定义一些条件，例如满足时间的限制或指定循环次数等。此外，在执行一种类型的抽取任务集时候，需要定义对出现的错误异常进行处理的策略。通过引入数据集成作业，可以对数据集成任务执行顺序进行排序，其运行逻辑。支持任务，在作业中可其他任务实现任务复制。n转换器如果说作业、任务是 DI 设计过程中对业务逻辑进行建模的话，那么转换器则是对执行过程中，每一步的数据处理逻辑进行建模。在任务中执行过程中，数据根据任务模型流经每一个转换器，在转换器中对数据进行、转换等操作。在标准中

29、预置了大多数常见的转换器，例如()、唯一、过滤、展平、合并等；同时对外提供了相应的接口，可以根据具体项目的需求，自定义开发转换器组件，并添加到设计器中。目前，已有转换器列表及其简要功能说明如下，其中转换器类型定义了转换器的输入和输出端个个数，例如“0:n”代表此转换器不接受输入，可以有任意数量的输出。23名称功能类型注意语义模型可以直接把语义模型作为数据来源0:nDW 元数据把 DI 的目标数据作为数据来源0:n日期生成根据指定的起始和结束日期，以及格式，生成之间的所有数据。0:n可以对输入的数据设置关联条件，并添加过滤筛选等条件n:n大型企业与公共组织云平台n调度管理与性能完成数据集成作业的

30、设计后，需要手动或者自动地按照定义的执行周期运行数据集成作业。同时，可以对作业在执行状态进行和。数据集成中的调度以及采用了基础服务中的“集群调度”和“性能”，并在数据集成中进行了功能整合。5.3.3.实时数据集成.应用配置向导系统安装以后，使用配置向导帮助用户快速配置和实现应用。通过应用配置向导，用户可以根据步骤提示，完成源端和目标端数据源的配置，完成源端和目标端数据库表之前的映射关系，完成生产引擎和消费引擎的配置以及最终的邮件通知。.数据源管理在此部分可以创建源端和目标端的数据源，也可以对已经创建好的数据源进行修改和删除。在完成数据源的配置之后，可以通过测试连接来

31、测试配置的数据库连接是否正确。在此也可以将一个已经部署好的数据源进行部署。如果数据库是 Oracle RAC 集群，则选中 RAC24合并多个输入的结果集纵向合并n:n即输入的结果集元数据必须相同，类似union 操作展平根据编码列和编码规则，对指定的列进行展平1:n常用于根据编码级次，生成维表唯一根据指定的列，对结果集数据进行唯一性过滤。1:n目标表用于目标表的表名，数据源等，可对目标表设置 Where 条件以删除符合条件的数据1:0目标表可以立即生成， 也可以通过元数 据的方式进行创建。过滤根据指定的规则对结果集进行过滤1:n序列提供自增序列，可指定步长，起始值等1:nSQL通过手工 SQ

32、L 来加载数据，同时SQL 转换器支持添加注释功能和使用中文别名0:nNC 元数据通过 nc 元数据加载数据0:n数据字典通过 nc 数据字典加载数据0:n大型企业与公共组织云平台后可以添加多个 IP 地址和端。.数据表关系配置配置源端数据库表和目的端数据库表的对应关系。用户可以用此关系在目的端创建相应的表以及从源表向其中导入原始数据。支持 Like、正则表达式、Start%和%End 等匹配关系。.邮件通知消息配置用于 RDI 系统在系统发生异常等情况下给用户邮件通知信息。多个接收方用逗号分隔。.生产引擎负责按照其属性配置从源端数据源分析日志，然后将

33、日志按照过滤器进行匹配然后到服务队列。在此模块可以于源端数据库设置一到多个过滤器，指定对源端数据库的哪些表进行过滤。生产引擎会用 EngineFilter 定义的规则去分析事物，然后根据过滤器定义的顺序依次进行匹配，并到与之对应的服务队列，如果一个事务可以匹配到多个过滤器的规则，那么后面的过滤器将被忽略。过滤器支持 EQUAL，LIKE（包含 BeginWith 和EndWith）语则，过滤器还支持正则表达式规则。生产引擎部署后就成为一个 SourceService。用户可以通过 RDI Console 开启/关闭、中断/恢复，以及Source Service 的运行状态。.消费

34、引擎消费引擎从消息中间件服务队列接收事务并且应用到目标端数据库。消费引擎和生产引擎的过滤器一一对应。在此模块可以完成对事务器的配置，以实现同步数据之外的额外工作，类似 AOP 功能，事务器也是依配置的次序执行。消费引擎部署并启动后就是一个 target service，它是运行的线程。用户可以通过 RDI Console 启动/停止，暂停/恢复，部署/解部署这个服务，还可以监视运行期的状态属性25大型企业与公共组织云平台.管理管理包括以下功能：1.添加、编辑和删除任务。2.任务的开启、关闭和。3.源和目标端的数据对比。4.日志管理。5.3.4.数据镜像在实际应用中常常会有多个不同

35、的业务数据源，这些数据源中可能是不同历史时期的数据备份，可能是不同业务系统如财务，CRM，PLM 等，可能是外部的第系统，在处理这些业务场景的时候，往往会有诸多限制，如不能直接，不能做修改等限制。通过数据镜像，可以把关系数据库中的数据表结构和数据同步到当前操作数据源上，业务操作可以基于镜像后的数据表再进行业务操作。数据镜像支持三种镜像策略：1.只执行不存在的表。2.如果有已经存在的物理表则不执行表。3.删除存在表，并执行表。5.4.数据仓库建模数据仓库建模产生数据仓库元数据。目前数据仓库建模部分提供数据仓库元数据管理功能，具体如下：1. 数据仓库元数据是对数据库数据模型的描述，通过此模块，可以

36、管理分析应用中使用的所有的数据库表。语义元数据支持跨数据库，支持多数据源，藉此了数据库的差异，方便业务集中精力于业务模型。2. 数据仓库元数据中的表名、列名均须符合数据库规范。26大型企业与公共组织云平台3.支持根据选中目录批量修改其下所有元数据的数据源（包括子目录）。4.支持从数据库中现有物理表直接导入生成元数据。5.支持导入 Excel 文件来创建元数据，并把 Excel 数据导入对应表中。6.支持物理表的重建，以保持模型的一致性。7.支持 WebServices 调用。8.元数据树支持过滤功能。5.5.语义建模5.5.1.语义模型AE 语义模型是在关系模型基础上增加全新的数据构造原语，用

37、来表达复杂的结构和丰富的语义的新的数据模型，是一种业务视图模型。相当于 SAP BO 的语义层。是对数据源中数据结构的面向业务的进一步抽象和是数据库的语义层它将用户同数据库及语言的技术细节开来，使用用户熟悉的业务用语重新管理、组织和命名企业的业务数据便于用户更快的捕捉数据库信息。 具体功能有：1. 支持向导建立语义模型主要由数据提供者、连接、元数据、描述器、首选项几部分。1)元数据、元定义是对执行语义模型后获取的二维数据的描述2)数据提供者负责把一类业务取数过程描述出来。3)描述器包括排序、筛选等数据操作。4)首选项包括三类数据：参数、宏变量、配置项。a) 参数和宏变量支持用户的动态输入。参数

38、在模型执行时支持用户输入值，宏变量由系统根据上下文计算值。b) 配置项支持语义模型的执行方式，如物化策略设置、启用 SQL 优化、最大执行时间、最大行数、业务规则等27大型企业与公共组织云平台2.支持对语义模型进行执行性能、执行物化策略、物化策略管理、结构概览、执行评估、业务扩展等。3.元定义明确数据业务含义，提供统一的数据接口，括语义元数据、语义模型、NC 数据字典等。4.支持基于语义模型进行数据权限管理。5.已有的数据提供者有：1)企业报表的报表数据提供者；2)HR 分析报表的薪资数据；3)库存管理：流水账（含明细）、现存量、单品现存量、可用量；4)收付管理：总账表、余额表、明细账、账龄、

39、账龄明细、收/付款（详细）、应收/付欠款（详细）分析、收款（详细）分析、应收收款情况、应付付款情况、单；5)薪资管理：薪资固定报表；6)责任会计：要素余额表、要素明细表、辅助余额表、辅助明细表、序时帐表、要素期初/末余额、要素发生额、要素净发生额、要素累计发生额；7)电子商务a)采购申请受理、采购申请受理-采购方案；b)采购方案：方案、中标供应商、评标、环节执行信息、中标结果；c)-供应链合同、-EC 合同、-EC 订单、-供应链订单；d)采购目录：采购组织、需求组织委托、范围；e)合同协议报价-执行情况汇总；f)采购计划受理、采购计划首次-采购方案、采购订单、采购协议合同；28大型企业与公共

40、组织云平台g)供应商关系：按分类查看供应商、按供应商查看分类、供应商资质；h)供应商投标情况、价格分析、价格分析-日/ 周/月报；i)寻源过程成本分析。6. 提供语义模型管理功能1) 支持二次开发，可新增、修改、删除自定义的语义模型；2) 各业务模块提供了已预置的语义模型，并被其预置的报表所。5.5.2.语义关联1. 语义关联负责元定义之间的关联关系。通常，用户使用该模块来定义事实表与维表之间的外键关联关系，以在即时分析中使用。2. 元定义是语义层的概念，是对业务数据的抽象描述。元定义通过驱动的方式来挂接不同类型的业务数据，NC 系统，主要有以下三种：1)语义元数据、语义模型、NC 数据字典。

41、2)另外，分析平台提供了通用的数据库驱动来支持第的数据库。业务部门可以通过扩展驱动的方式来支持的业务数据。3)NC 数据字典，关联建模会自动把 NC 元数据的关联关系带出，不需要再次定义，同时根据应用需要，可以覆盖 NC 元数据的关联关系。分析建模5.6.分析建模就是原 BAP63 中的分析主题模块。分析建模部分主要完成 AE建模和模型相关管理功能。是建立由多个维度和指标组成的数据分析模型，通过分析模型，可在展现层进行可视化分析。建模工具进行分析模型的创建和管理，可以对数据分析模型进行设置，主要功能包括创建并管理分析主题目录、进行模型创建、设置和管理。29大型企业与公共组织云平台AE分析模型采

42、用 ROLP 的技术，模型定义分析模型结构并建立和数据仓库模型中的事实表和维表的关联关系，在前段分析展现应用运行时，通过分析引擎对数据仓库数据进行分析和展现。5.6.1.分析主题分析主题是对业务内容相似的多个分析模型的统称，由一组数据集和共享维度组成。可对异常分析主题（schema）打开和修改，可对分析主题下的对象的xml进行修改。分析主题主要包含对分析主题及其目录的创建修改等功能。5.6.2.数据集数据集是分析引擎的数据模型，是由多个维度的立方体架构，维度的交叉就是指标或计算成员。数据集是一种结构，包括原始事实数据、聚合数据，这些数据聚合用户快速进行复杂。数据集的数据来源由两个部分组成，一是

43、维度的数据，二是事实发生的数据。一般称为维表和事实表。本部分的主要功能是在分析主题下创建数据集，并设定对应的数据仓库事实表。. 维度维度是（dimension）用于从不同角度描述事物特征的，一般维都会有多层（Level），每个 Level 都会包含一些共有的或特有的属性（Attribute）。在数据仓库中，存放维度数据的表称为维表，存放分析指标数据的表成为事实表，而维表和事实表又通过 “外键”关联。AE 中维度的类型分为普通维度和共享维度，普通维度所属一个数据集，共享维度所属一个分析主题，多个数据集可以同一个共享维度。AE模型定义过程中，维度定义部分的功能主要有定义维度及其层系、

44、级别和级别属性，并设定他们与数据仓库中维表的对应关系。n层次OLAP 需要支持级别的自上而下的钻取，或者自下而上的聚合，所以维度使用层次（Hierarchy）来定义这种上下层级关系。每个维度可以包含一个或多个层次，层次是对级30大型企业与公共组织云平台别的分类。一般情况下，一个维度设定一个层次即可。在 AE 中，定义维度时默认创建一个层系，并设置对应的数据仓库维表。n级别级别（level）是维度在细节程度不同的各个描述方面，比如客户这个维度可以包括姓名，方式，教育程度等等。可以定义一种特殊的级别，“汇总”级别，处于别。级别的属性“列”是维表中的一列，用于关联到维表。“显示列”用于在中显示内容，

45、如果不设置，默认显示“列”的内容。“父项列”指在父子维度中，当前级别的是其父成员的列。“空的父项列”指在父子维度中，当前级别的顶级成员。“排序列”定义级别成员的显示顺序。“唯一成员”用于优化产生的 SQL ，如果可以确定这个级别和其父级别交叉后的值或者是维度表中给定的级别所有的值是唯一的，那么就可以设置该值为 true ，否则为false ，别一直都应该设置为 true ，因为没有父级别。级别类型”指级别的类型，如果级别所属维度是标准维度，则级别类型为“标准”，如果是时间维度，则需要指定该级别的类型（通常为年、月、日等）。可根据级次编码动态生成维度级别。n属性表示级别的属性，每个级别可以有多个属性。属性“业务类型”是指标特定场景的属性，其中，“一元计算符”是指标在聚合过程中选择的方式，比如可以是加、减、乘等等；“显示变号”是指标在显示时是否变符号，比些值是负的，但在需要显示成正值。n时间维度时间维度是指级别表示时间段(如