数据中心建设方案简版

技术建议书第 1 页 共 52 页企业数据中心系统平台技术方案建议书技术建议书i技术建议书第 2 页共 52 页第 1 章 总体建设方案1.1总体建设思路图、数据中心构建思路图按照对数据中心的理解，完整的数据中心应该具备 IT 基础设施（主机、存储、网络） 、企业级 ETL 平台、数据存储中心、数据共享服务、应用层、统一门户、数据管控平台。技术建议书第 3 页共 52 页1.2功能框架图、功能框架系统功能框架分为企业级 ETL 平台、存储与计算中心、服务层、应用层、统一门户、统一平台管控。企业级 ETL 平台：负责企业数据中心数据采集、加工、汇总、分发的过程，完成企业级数据标准化、集中化，实现数据脉络化、关系化，实现统一的数据处理加工，包括：非实时数据处理和实时数据处理，提供数据抽取、数据转换、数据加载、数据汇总、数据分发、数据挖掘等能力。存储与计算中心：建立统一的数据中心数据模型，以及统一的数据存储与计算，具体提供关系数据库、分布式非关系数据库、分布式文件、分布式计算，实现统一的数据存储与计算。技术建议书第 4 页共 52 页数据共享服务：通过数据服务标准化开放访问，帮助企业 IT 建设中，应用和数据分离，引入更多的应用开发商，促进应用的百花齐放和应用的专业性；基于标准化接口，实现对标签、客户视图、指标等数据查询 API 封装，实现与周边系统实时互动，体现数据价值，减少数据冗余，保证数据安全，保证数据的一致性。应用层：应用层的应用使用服务层提供的各种数据服务。本期应用层包括：经分应用、流量运营、ESOP 应用、 VGOP 应用、指标库、流量运营战略地图、掌上分析、自助业务分析、区域洞察、渠道运营、自助分析、客户标签库、实时营销、LTE 互联网管控策略。统一门户：提供统一域名分配、负载均衡、鉴权管理、统一管控平台接入、应用注册、应用发布、应用访问数据信息等功能，同时提供数据中心被应用访问的频次，被应用访问的数据范围，提供数据资产的评估，为应用上下线和数据开放提供依据。统一平台管控：面向开发人员、运维人员实现数据、应用、资源的统一管控，包括：数据资产管控、开发管理、监控管理、调度管理、系统管理、安全管理。1.3技术架构技术建议书第 5 页共 52 页图、技术架构系统技术架构分为数据采集、计算存储服务、数据共享服务、平台管控。采用 Hadoop云技术，可以满足计算能力线性扩展、多租户能力、数据汇总能力；批处理场景采取Hadoop 的 Map/Reduce、Hive 或者 Spark 来完成；流式数据处理，采用 Esper 计算引擎实现。数据采集：采用 Flume 计算框架，实现文件和消息采集与解析；采用流式爬虫、中文分词、图片识别技术，实现互联网网页信息实时采集；采用 FTP 文件方式实现对数据文件的采集；采用 Socket 消息方式实现对消息数据的采集；采用 sqoop 方式实现将数据库数据装载到HDFS 文件系统。计算存储服务：采用 Hadoop 中 HDFS 文件系统提供统一的大数据数据存储，满足全量数据留存；基于 Yarn 提供跨平台的资源管理，满足资源的统一调度与管理；采用 Hadoop 实现非实时ETL，实现海量数据的批处理，主要处理 ODS 层-DWD 层-DW 层-ST 层的数据处理；视业务数据情况部分 DW 层-ST 层的数据处理采用 Spark 计算框架实现；采用 Esper 和rabbitmq 支撑流数据处理与复杂事件处理；利旧 DB2 提供 ST 层数据的存储与计算，支持高并发的指标级数据共享。数据共享：数据开放共享采用基于 HTTP 协议 REST 风格的 OpenAPI 完成同步处理与基于消息队列（MQ ）完成异步处理，实现类 SOA 面向服务的架构体系。支持 OAuth 提供一个安全的、开放而又简易的授权协议。数据共享服务部署在集群环境中以应对高并发的访问请求，并实现集群的负载均衡。统一平台管控：采用 Java EE 技术，通过 MVC 模式（Model View Controller，是模型视图控制器）把业务逻辑、数据、界面显示分离的方法组织代码，将业务逻辑聚集到一个部件里面，在改进和个性化定制界面及用户交互的同时，不需要重新编写业务逻辑。技术建议书第 6 页共 52 页1.4数据流图Mc 信令（实时）数据通过 Socket 消息适配模块接入至 Esper 计算引擎进行实时处理，向应用提供事件 API 服务，支撑实时营销应用；后期如 Gn 信令、LTE 信令也提供实时数据，可满足基于 Gn 信令、LTE 信令的实时处理。除 Mc 信令（实时）数据外， Gn 信令、Mc 信令、自有业务订购与使用行为等数据通过非实时 ETL 方式装载到 Hadoop 的 HDFS 文件系统，实现全量数据留存；由 Hive 承担主库的职能，实现海量数据的批处理，承载 ODS-DWD-DW-ST 各层数据处理，其中 DW层部分数据提供给 Spark，由 Spark 完成数据处理工作。对外数据服务可以由不同种类的 API 来完成：1、 针对诸如客户统一视图、客户标签库的数据探索查询服务：将数据加载到 Spark的 RDD 中，通过 API 将数据共享出去；2、 针对诸如客户标签信息查询、客户详单查询类的数据查询服务（特点是通过一个Key 来查询数据）：将数据加载到 Hbase 中，通过 API 将数据共享出去；3、 针对诸如指标数据查询、KPI 数据查询服务（特点是高并发、多维度的数据查询）：将数据加载到 DB2 数据库（利旧）中，通过 API 将数据共享出去；4、 针对多租户的数据共享服务，详见 5.3 章节；技术建议书第 7 页共 52 页第 2 章 企业 ETL 数据处理平台2.1功能框架根据数据中心的建设需求，企业级的 ETL 平台实现统一的数据采集、转换、加载、处理以及统一调度、管控等功能。这里的 ETL 指的是广义的 ETL，具备以下的特点： 统一数据获取接入，支持 B 域数据、M 域数据、O 域数据或其他外部数据统一接入数据中心平台。 支持结构化和非结构化数据采集、加工；对非结构化数据要实现从非结构化到结构化的处理过程。 支持数据采集、转换、加载等关键 ,.数据处理过程，实现企业数据的标准。 从周期上，支持批量的数据采集，实时的数据采集 满足数据中心数据加工，处理以及对外提供数据分发、同步 支持全过程的数据稽核。包括事前、事中、事后的稽核方式。以及灵活的稽核规则管理，算法管理 全过程的可视化开发配置管理。通过可视化的开发配置，测试和部署上线。 全过程元数据管理。重点要实现事前的元数据管理。管理的内容包括：支持数据模型、数据流程、转换规则、数据关系和转换映射规则。企业级的 ETL 平台产品 DACP 可以很好支持上述的关键功能特点。技术建议书第 8 页共 52 页第 3 章 数据存储层3.1总体概述Mc 信令（实时）数据通过 Socket 消息适配模块接入至 Esper 计算引擎进行实时处理，向应用提供事件 API 服务，支撑实时营销应用；后期如 Gn 信令、LTE 信令也提供实时数据，可满足基于 Gn 信令、LTE 信令的实时处理。除 Mc 信令（实时）数据外， Gn 信令、Mc 信令、自有业务订购与使用行为等数据通过非实时 ETL 方式装载到 Hadoop 的 HDFS 文件系统，实现全量数据留存；由 Hive 承担主库的职能，实现海量数据的批处理，承载 ODS-DWD-DW-ST 各层数据处理，其中 DW层部分数据提供给 Spark，由 Spark 完成数据处理工作。3.2存储规划Hive Hbase db2ODS 层 3+1 月 3+1 月 -技术建议书第 9 页共 52 页DWD 层 6+1 月 - -DW 层 12+1 月 - -ST 层 36 月 - 36 月客户标签/视图 3 月 12+1 月 -指标 3+1 月 - 永久3.3模型设计数据模型设计按照层次，主题的数据模型设计的思路。系统根据模型设计会自动转成hadoop 上存储。层次、主题映射到相应的目录。3.4模型规范化管理3.4.1分层规范依 据 数 据 仓 库 建 模 理 论 ， 结 合 实 际 经 验 ， 数 据 计 算 平 台 承 载 数 据 模 型 分 为 四 层 ：ODS、 DWD、 DW 和 ST， 即 接 口 层 、 存 储 层 、 汇 总 层 、 应 用 层 。模型分层说明：接 口 层 ： ODS 模 型 的 数 据 结 构 与 业 务 系 统 接 口 文 件 结 构 保 持 一 致 ， 接 口 层 的 数技术建议书第 10 页共 52 页据 在 数 据 计 算 平 台 进 行 暂 存 。存 储 层 ： 即 明 细 数 据 层 ， 是 数 据 计 算 核 心 层 数 据 模 型 之 一 ， 用 于 存 放 由 清 洗 、 转换 层 来 的 数 据 或 者 接 口 层 直 接 来 的 数 据 ， 其 设 计 目 标 是 为 后 续 的 汇 总 数 据 层 和 信 息 子层 提 供 数 据 基 础 。汇 总 层 ： 即 轻 度 汇 总 数 据 层 ， 也 是 数 据 计 算 核 心 层 数 据 模 型 之 一 ， 该 层 实 现 对 主题 内 的 数 据 做 轻 量 汇 总 。 设 计 目 标 是 为 应 用 层 提 供 足 够 灵 活 、 方 便 的 基 础 数 据 ， 并保 证 从 该 层 获 取 数 据 是 性 能 最 优 。应 用 层 ： 在 汇 总 数 据 层 之 上 ， 数 据 按 照 应 用 需 求 做 数 据 聚 合 ， 生 成 相 关 应 用 所 需数 据 的 数 据 层 。 应 用 数 据 层 是 面 向 应 用 的 ， 但 是 也 不 是 每 个 应 用 都 在 应 用 数 据 层 对 应一 个 表 ， 对 应 用 要 在 数 据 应 用 层 中 进 行 整 合 。3.4.2表命名规范OMG 标准化组织建议，采用 5 分段的命名规范：如下3.4.3字段命名规范建立字段的命名规范，并固化为 domain 类型，指导模型设计字段命名。当有变更，可以做到跨平台的统一建模。技术建议书第 11 页共 52 页3.4.4模型版本管理技术建议书第 12 页共 52 页第 4 章 数据开放服务层4.1建设目标 通过数据服务标准化开放访问，帮助企业 IT 建设中，应用和数据分离，引入更多的应用开发商，促进应用的百花齐放和应用的专业性。 基于标准化接口，实现对标签、客户视图、指标等数据查询 API 封装，实现与周边系统实时互动，体现数据价值，减少数据冗余，保证数据安全，保证数据的一致性。 对于详单级数据，支持通过文件或授权的方式共享给周边系统。 通过统一的技术平台框架，制定企业数据标准体系规范，基础数据采集处理，加工汇总，可以引入多家厂商或多租户进行标准化开发。要实现上述目标，需要解决的关键问题：1） 需要什么样平台功能？2） 开放的对象。给谁开放？3） 开放什么内容。包含两部分，基础数据的集成开发的开放和应用访问层数据开放。4） 开放的安全保障机制5） 如何保证开放对象开发提交的结果的规范化、质量。6） 开放平台运营的组织结构和流程制度。4.2概述要满足建设目标的要求，数据服务开放的整个功能框架如下：技术建议书第 13 页共 52 页4.2.1开放对象示例说明如下开放对象 说明 使用形式 相关数据多租户 通过授权的机制，给租户开放通过 sql 查询数据能力，租户可以在此基础上汇总加工自己私有的数据SQL，进行数据处理在保障数据安全性、数据可控性的前提下，将Hive 仓库的ODS、DWD、DW 各层的开放授权给数据处理开放给租户。 ESOP， VGOP通过文件接口将数据分发给对端系统，满足其数据分析需求文件 客户视图，汇总模型等手机经分 通过在线同步 API 调用的方式获取数据开放 API 指标类数据实时营销 客户端通过事件注册的方式监听服务接口，当服务满足触发条件是主动通知监听客户端消息服务 信令位置信息等4.2.2开放共享方式共享方式 说明 应用场景示例1、boss 的互动接口文件接口 数据中心将数据主动导出文件，发送给数据需求方2、即席查询临时周期性生成数据技术建议书第 14 页共 52 页通过 API 查询获取结果数据，即查即用，不落地。按查询数据对象粒度分为三类：1）ST 表查询 1、通过对发布的数据模型发起 LSQL 进行查询获取数据2）指标类查询 2、如手机经分查询指标，原来是通过接口表导入数据，可以通过 API 来查询数据开放 API3）单用户清单信息查询 API数据分发将数据中心的数据分发到目标数据库。需求方提出申请审批通过后，系统通过分发平台定期将数据分发到目标库定期数据同步。如将用户行为汇总数据定期同步到经营分析系统即席查询业务分析人员通过封装好的数据模型和提供在线即席查询分析工具，进行查询分析获取数据临时统计，临时取数消息服务 通过消息传递数据。适合于系统之间的实时协助，如用户事件信息。需求方作为消息的消费者，同时传递消息事件和内容4.3多租户管理4.3.1概述采用多租户的思路，将数据能力和数据平台数据处理能力按需、可控的进行开放，在保障数据安全性、数据可控性的前提下，通过标准化封装的数据操作，可视化开发工具开放给业务运营部门，由其自行进行数据操作开发。 使用企业级数据中心提供统一开发平台来实现多租户数据开发，其功能结构如下图： 技术建议书第 15 页共 52 页系统包括两部分：开发管控和技术平台。通过这两部分互相配合实现系统开发能力的开放。这种模式下需要解决的关键问题包括如下：如何进行资源控制，数据权限管理，跨系统之间的数据交互，自动调度运行，元数据管理。4.3.2角色功能系统管理员：对开发团队进行管理，数据权限和系统资源的分配、审批。1、设置开发团队使用资源和账号2、对开发团队提出的数据权限申请进行审批授权3、表的敏感级别和敏感字段。不同团队对同一数据安全级别可以不一样4、对开发团队上线进行审批。检查性能，开发规范的满足情况，调度申请周期是否合理5、对开发团队数据导出安全进行审计租户开发：使用统一的技术架构和开发工具，在可以使用的数据的基础，加工出私有数据1、查看详细的数据结构2、新申请数据权限，如果需要新的数据，可以进行申请，由管理员审批后就可以使用3、数据加工开发，进行数据汇总、关联查询，数据导出等类型数据数据加工开发4、临时上线、正式上线。技术建议书第 16 页共 52 页5、对其所开发的程序数据运行情况监控。4.3.3统一开发平台技术详解租户用户管理 租户与系统用户映射通过映射开发管理平台帐号及执行平台帐号，以租户的方式实现用户及用户组管理，以达到资源管控及数据权限控制的目的。如下图,在管控平台进行开发团队的管理和对应账号的设置，在数据平台完成对租户的资源、权限进行控制。每个开发团队根据需要指定其在 hadoop 或关系数据库上的执行账号。在数据平台上实现账号的权限、资源的控制。在查询或运行某个数据处理任务时，用其对应的账号进行执行。从而实现对开发团队开发运行的任务资源、权限的控制。在管理平台新建租户的账号或数据权限变更时，管理平台根据配置参数，实时调用OCDC 的相关 API 自动进行授权、修改、创建账号。系统计算资源分配控制在管控平台统一对租户进行计算资源的分配，分配完的参数部署到 hadoop 或关系数据库，实现控制。实现资源控制，包括两部分： hadoop 上的资源分配和关系数据库的资源分配（DB2） 。 Hadoop 计算资源控制技术建议书第 17 页共 52 页要实现计算资源的控制，hadoop 需要 OCHadoop3.2 以上，安装安全组件（sentry ）计算资源控制原理资源池跟系统的账号相关。一个系统账号只能属于一个资源池，YARN 支持采用资源池方式对系统用户进行 CPU，内存的运行控制。资源池控制参数：独占资源：最小分配的资源。系统确保此用户有最小的资源。共享资源：系统空闲时可以使用的最大资源其中单位：虚拟的 cpu 核和内存单位。如何设置租户的资源参数，是一个需要不断根据运行情况进行优化的过程。注：Spark 同 hadoop 的资源管理 DB2 资源控制要实现 DB2 的资源控制，要求：DB2 9.5 版本。目前 db2 的版本已经满足，需要开通WLM 的生效参数。在 DB2 9.5 版本推出了工作负载管理 WLM(参考附录，不用额外收费), 但只能限制CPU 数量。控制参数如下：参数名 说明min 分配给某个服务类的最小资源百分比。缺省值为 0。softmax 在有冲突的情况下（这里可以理解为资源紧张时） ，服务类可获得的最少资源比例。在没有冲突的情况下，服务类可获得的资源可以超过该值设定的比例。缺省值 100hardmax 在没有冲突的情况下，服务类可获得的最大资源比例。缺省值为 100系统存储资源分配Hadoop 存储资源控制，每个租户独立一个文件跟目录，设置文件目录大小；db2 的存储资源控制，对每个租户独立一个表空间，设置表空间大小；说明：hadoop 存储控制采用的是操作系统的目录大小的控制。缺陷是无法高度自动共享可用空间。即一个目录大小分配出去之后，意味其就占有了这个空间。因此一般做法是由小到大慢慢分配空间。技术建议书第 18 页共 52 页数据权限分配与控制在开发管理平台进行对数据权限的分配。根据分配的结果在数据平台进行授权、回收等操作。数据权限的控制包括：表级权限控制和字段级的权限控制： 表级权限分配：系统根据分配的结果，产生授权或权限回收的脚本到db2，hadoop 进行执行完成权限控制。注：在管理平台分配的是逻辑模板表，数据平台控制的是实际的表。因此有一个模块专门按模板表的权限规则转换为物理表的授权脚本执行。 字段级权限分配：在表级授权的基础上，对表的字段的权限进行授权分配。由于目前 db2，hadoop 不能直接实现对字段级的权限控制。所以我们采用两种方式实现这个功能：方式 1：建立视图，过滤掉没有权限的字段，然后将视图授权给相关账号。实现字段级的权限控制。方式 2：通过应用级的控制。通过开发人员编写的 sql 语句解析，分析其查询中所用到的字段，如果字段超出权限范围，则给出提示，不允许执行。资源控制手段列表：控制项目 db2 hadoop表级权限 通过 db2 的权限管理，通过脚本实现数据权限的分配 通过 kerbors 的权限管理，通过脚本实现数据权限的分配字段级权限 通过视图 通过视图资源-CPU 通过 wlm 进行设置 通过 YARN 资源池进行控制资源-内存 无法实现 通过 YARN 资源池进行控制资源-存储 每个租户独立一个表空间，设置表空间大小 每个租户独立一个文件跟目录，设置文件目录大小系统文件目录 每个租户在数据主机上建立文件目录，存放源代码，可执行程序 每个租户在数据主机上建立文件目录，存放源代码，可执行程序租户的数据开发过程1. 查看数据字典开发人员可以查看到所有的数据字典。查看内容包括数据表名，中文名称，描述信息，存储位置、数据结构。通过调用基础平台的元数据实现数据字典查看。技术建议书第 19 页共 52 页2. 开发界面通过开发平台配置数据处理流程，可支持库内与库外、云平台与关系数据库的混搭数据处理，示例如下：上述的处理流程实现：在 hadoop 上对 ods_cdr 通过 sql 脚本汇总 dw_cdr，再通过数据分发到 db2 上的 dw_cdr_yyyymmdd 表上。开发人员需要对输出表 dw_cdr 设置表结构，sql 处理汇总处编写 sql 脚本。在一个处理的任务流程中，节点包括数据节点，数据函数节点拼接起来的一个处理流程。其中数据处理函数节点包括：Sql，tcl，java，shell，数据分发，数据加载，数据导出，ftp、创建表，删除表等。3. 测试在界面上可以立即执行某个节点或整个处理流程，执行过程和日志信息会实时输出到前台界面进行查看。如下示意图：4. 上线开发人员在界面上直接提交上线。包括临时上线和正式上线两种。临时上线需要开发人员填写生效的开始日期，结束日期，调度周期。正式上线，系统管理管理员会进行审批。审批的项目包括：程序名称，表名是否规范，字段名称和中文信息是否完整。在上线时，系统会自动将程序代码、数据结构从开发环境的配置信息部署到生产环境下。5. 运行技术建议书第 20 页共 52 页程序上线后，调度平台就会根据程序数据依赖关系自动进行调度。如果是临时上线的只有调度运行在有效期内的程序才会被调度执行。程序开发人员可以申请延长有效期或申请固定上线。调度执行多租户调度使用平台提供的统一调度功能，实现过程如下：1. 调度运行依据输入表关系，根据数据关系实现正确调度依赖运行。对租户的临时程序调度时，只会调度在有效期的程序才会调度。2. SQL 脚本执行开发人员开发好的 SQL 脚本，可以到多个数据平台上运行，系统需要进行正确选择投入到相应的数据平台运行。a) 开发人员可以指定节点运行的数据库，如下图b) 系统会对开发人员的编写的 sql 进行解析，获取其依赖的输入表和输出表。再跟元数据进行对比自动选择相应数据库。选择策略如下：所有输入表都在同一个库 则选择那个库技术建议书第 21 页共 52 页输入表分布在两个库 系统给出错误提示。建议其采用数据同步再进行开发。如果涉及到的表涉及到两个库都存在如果有关联表，则跟着关联表同个库，否则优先选择大数据平台。3. 跨数据平台命令的运行比如：如何实现在 hadoop 平台执行汇总数据，导入到 db2，在进行汇总。Server 端在读取这个一个处理任务时，将命令发送汇总命令给 hadoop Agent 执行，然后在发送命令给 hadoop Agent 进行分发到 db2，然后在发送命令给 db2 agent 进行数据处理。技术建议书第 22 页共 52 页第 5 章 应用开发与部署5.1应用开发流程应用层的所有业务应用具备与底层数据松耦合特性，通过接口层提供的各种数据接口，向业务人员或第三方厂商提供开放 API 服务。根据不同的应用场景，通过对相应的 API 进行选择和组合，从而快速生成所需要的业务应用，以满足对应用的快速开发、部署、上线的能力。对于应用的开发可通过两种方式进行实现：1、 数据中心平台内应用开发：通过数据中心提供的应用开发平台直接进行应用开发，开发平台提供高效的可视化开发界面，包括对各类 API 可以追根溯源，展现详细API 元数据信息等。同时对应用设计、应用开发、应用测试、应用上线、应用下线进行全流程、全生命周期的开发管控。此类开发场景主要适用于不具备硬件资源的用户（如业务部门开发人员）进行应用开发。2、 数据中心平台外应用开发：通过 Http 协议数据服务接口，直接调用数据中心服务层中的各类 API 服务，通过开发编写相应的计算过程形成对应的业务应用。此类开发场景主要适用于具备硬件资源（如第三方厂商）的用户进行应用开发。5.2应用部署建议本期从外部系统接入 8 类数据源，所有清单数据在企业数据中心进行基础汇总，提供数据、存储和 API 接口服务能力，供 14 类应用调用。技术建议书第 23 页共 52 页标签库应用：所有标签数据计算、存储在数据中心，标签结果数据在 HIVE 和 HBASE分别存储一份数据，HIVE 上存储的数据通过 Spark 的 RDD 对外提供“根据标签查用户群”API，HBASE 上存储的数据对外提供“根据号码查标签信息”API。指标库：所有指标计算、存储在数据中心，结果数据存储在 RDB，通过“KPI 查询”API 对外提供服务。掌上经分应用支撑：掌上经分需要的 KPI 由经分提供，改为由数据中心“KPI 查询”API 提供。实时营销支撑：将 MC 位置信令事件集成到数据中心，由数据中心提供消息事件给实时营销平台。LTE 互联网管控策略（PCC） 、自有业务分析平台、区域价值洞察：对于这些规划中的系统，建议采用多租户的方式，在企业数据中心完成数据处理和存储都在数据中心，应用通过调用 API 获取数据。经分系统一经接口、MIS 接口、财务报表、ESOP 、VGOP、战略地图、渠道运营平台、所需的数据源，统一由数据中心将 DWD、DW 层数据分发文件给各系统，由应用系统自行进行数据加工及展现。经分其他应用（除去一经接口、MIS 接口、财务报表）：数据处理和存储都在数据中心，ST 层数据保存在 db2。技术建议书第 24 页共 52 页第 6 章 统一门户6.1概述企业数据中心统一门户的建设是为了降低系统使用人员访问数据中心的难度，提高系统的易用性，并且实现数据中心的资源有机整合和统筹管理。1. 数据开放服务门户：对于数据开放服务提供开发者门户，含有数据服务授权申请、开发者帮助文档、服务注册、创建、注销等。2. 管控平台门户：对整个数据中心管控平台使用者门户，系统管理、运维调度、质量监控等。3. 应用使用门户：对于应用使用者的门户，支持多租户应用、第三方应用的集成统一呈现。6.2门户功能框架统一门户功能框架如下图所示门户功能框架包括门户接入、门户功能两部分；通过功能适配到角色工作台形成不同的角色视图。 门户接入：主要负责企业数据中心用户访问渠道的接入管理；接入应用的日志管理、负载均衡与访问授权。 门户功能：包括角色工作台、认证管理、权限管理、用户管理、流程审批、数据开发、应用开发、数据授权、运维监控、多租户管理等界面。技术建议书第 25 页共 52 页第 7 章 管控平台7.1概述7.2元数据管理7.2.1功能框架元数据管理是需要将各系统的信息、设计工具信息、生产平台信息，进行收集管理，统一管理。提供一个视图，以帮助使用人员了解系统的数据分布、数据关系、业务规则、指标口径等。元数据包括：系统类元数据、技术类元数、管理类元数据。总体功能框架图技术建议书第 26 页共 52 页针对数据中心的要求，元数据管理需要具备的关键的特性如下：1） 要求提供标准化的应用开发工具，满足在不同平台上的开发需求2） 100%的 ETL 开发、数据模型开发、应用开发能基于开发工具实现3） 95%以上的元数据能自动采集、解析与管理，元数据的范围包括但不局限于数据结构、数据词典、字段维度、程序映射逻辑、数据生命周期等4） 多租户的统一元数据管理7.2.2基于元数据的应用开发工具提供统一的应用开发工具，完成高效应用的开发，并可以自动完成应用元数据的采集。提供诸如数据展示包括报表工具，仪表盘分析等工具如1、 支持常见的各种报表样式2、 支持常见各种分析图，同时支持图表组合分析3、 支持各种数据源方式技术建议书第 27 页共