数据架构设计方案指导书

1、数据架构设计指导书（版本号V1.0）LonShine朗新科技（中国）有限公司2013年06月更改履历版本号修改编号更改时间更改的图表和章节号更改简要描述更改人批准人V1.02013-6-15王全义郑德炳注：更改人除形成初稿，以后每次修改在未批准确认前均需采用修订的方式进行修改。目录1 编写目的32 适用范围33 数据架构设计原则34 数据架构设计34.1 企业业务数据分类 44.1.1 按数据格式划分 44.1.2 按数据参照程度划分44.1.3 按数据采集频道划分44.1.4 按使用性质划分 44.2 数据主题域54.2.1 数据主题域视图 54.2.2 数据主题域关系视图 54.3 概念数

2、据模型概念数据模型主要由最佳实践和业务需求作为驱动因素高阶的数据模型，定义了重要的业务领域概念（即数据主题域）和彼此的关 系，由核心的数据实体或其集合，以及实体间的关联关系组成。概念数据模型独立于信息系统存在，不涉及信息在系统中的表示。 74.3.1 概念模型视图74.3.2 数据流转视图 84.4 逻辑数据模型84.4.1 逻辑数据模型视图 84.4.2 数据分布视图 94.5 物理数据模型 104.5.1 物理模型视图104.6 数据库详细设计114.6.1 数据基础设计 114.6.2 常用参数114.6.3 主要模式114.6.4 表空间规划及存储容量估算 124.6.5 历史表124

3、.6.6 表分区134.6.7 DBLINK 144.6.8 同义词144.6.9 主键144610 索弓 I 154611 约束154.6.12 修改标志时间戳 154.6.13 LOB 字段154.6.14 冗余字段设计151编写目的为了提高数据架构设计能力、规范软件设计流程、加强架构管控力度，提高 软件安全特制定本规范。此文档描述了数据架构设计等。2适用范围适用于数据架构设计人员。3数据架构设计原则数据资产化原则：将数据作为公司具有价值的无形资产来管理，统一认识， 加强数据资产认责管理，保障数据资产的价值发挥。数据共享性原则：避免数据孤岛的建设和数据私有化， 加强数据在公司各级 单位、各

4、个业务领域间的共享。营造及时、准确的共享数据环境，完善数据管控 机制，确保数据共享符合信息安全要求。数据可用性原则：建立标准化、多样化的数据资产获取渠道和访问方式。 加 强数据质量管理，增强用户使用数据的信心，有效支撑各类分析应用建设。数据认责原则：针对不同的数据资产指定权威的数据拥有者、质量责任者、 日常管理维护者等角色，建立配套的数据管控机制和评价考核体系， 确保数据认 责工作的有效开展。数据标准化原则：在公司全局范围内建立通用的数据标准， 包括业务数据标 准，主数据标准，元数据标准等，避免数据的二义性，促进数据共享和利用。数据安全性原则：定义数据安全级别，建立数据安全控制过程，保证数据被

5、 合理的访问、共享和发布，避免未经授权的数据操作，满足监管单位和公司业务 经营对数据安全的要求。4数据架构设计数据架构设计主要解决：存在哪些数据资源、如何管理数据资源、解析业务 信息的数据模型是什么、面向交易、交换和分析的数据模型是什么、 信息在流程 间、数据在功能间如何流转等问题。数据架构设计主要内容：数据主题域设计、概念数据模型设计、逻辑数据模型设计、物理数据模型设计等。4.1 企业业务数据分类4.1.1 按数据格式划分结构化数据：方便用数据库的二维表结构来逻辑表达实现的数据，数据结构字段含义确定，清晰。例如：客户信息、用电记录等。是挖掘数据价值的主要对 象。非结构化数据：很难按照一个概念

6、去处理的无结构性的数据。例如文本、多 媒体数据等。其数据利用技术相对于结构化数据起步晚，是未来数据应用的一个发展方向。4.1.2 按数据参照程度划分主数据：用于描述企业核心业务实体/对象的基本业务数据，它在企业内长 期存在并且被重复应用于多个业务部门和信息系统，是最容易产生数据一致性问 题的一类数据，需要单独的管控机制对其进行管理。非主数据：相对于主数据，其它的参照度低的、存在周期短的非核心实体/对象数据可认为是非主数据。4.1.3 按数据采集频道划分非实时数据：相对于实时数据，其它的企业经营过程中产生的，由业务人员 通过应用系统输入的数据都可认为是非实时数据实时数据：主要是由一些传感器设备以

7、自动化的方式采集的秒级、毫秒级的数据，例如电网运行数据、设备状态数据等。这些数据的特点是数据内容简单， 但数据量很大。4.1.4 按使用性质划分分析性数据：用于支持日常报表、查询、分析等决策需求的数据。共享数据：来自某个业务系统，在业务部门之间、业务系统之间重复使用的 数据4.2数据主题域数据主题域由业务信息按照其业务耦合程度聚合而成的高阶数据主题群, 般与业务域有着紧密的对应关系。例如：财务、物资、生产等。数据主题域通过数据主题域视图和数据主题域关系视图来体现。4.2.1数据主题域视图展现数据域和数据主题，并定义数据主题对业务域的支撑关系。例图如下:rm士口Jill£4.2.2 数

8、据主题域关系视图展现数据主题域之间的逻辑关系。一般分为一级数据主题域关系视图和二级 数据主题域关系视图，二级是一级的细化。一级数据主题域关系视图如下：市场电丹闻出和输人电刚出陶>客户产品安全乜刚通过电力 衣坊交拯电塑炖件晋宝廉用 顶目成卒控制資产卜EJ二级数据主题域关系视图如下:人员踐【电讐1现充值卡配送/ir费用查询重要客户服营销账务客尸档案充值卡电动汽车服务f 物资 物资配送FJ、 重要客户" 服务能效服彳能效管理电能产品心 J 产品 丿 a资产台账a 资产/x电动汽车运营V)服务跟踪?客户服务HHiV电池管理网站服务:互动服务客户4.3概念数据模型概念数据模型主要由最佳实

9、践和业务需求作为驱动因素高阶的数据模型，定义了重要的业务领域概念（即数据主题域）和彼此的关系，由核心的数据实体或 其集合，以及实体间的关联关系组成。概念数据模型独立于信息系统存在， 不涉 及信息在系统中的表示。概念模型应该抓住一个重点，即表达重要业务概念及业务概念之间的关系；解决并只解决需要在全国范围内统一规范的核心的业务问题；只是反映了业务对数据的需求，包容多种物理实现方式，除非该种物理实现方式不满足业务的需求。概念数据模型一般由概念数据模型视图和数据流转视图组成。4.3.1 概念模型视图展现数据主题域之下的数据实体，并展现数据实体之间的关联关系iC'匚悴罩单虫C腔卅1戸L_JJrJ

10、1LL-_JiX.ME昶ifi古奇匸>>u虫耽仙JJe 1rLaa.DvWh432数据流转视图展现数据实体所分布到的应用，并展示数据在应用间的流转例图如下:公司总部第三方系统总部客服.查询库总部客服扌报表库二 -公司总部 客服系统V95598智能互动网站.J4.4 逻辑数据模型逻辑数据模型对概念数据模型的进一步分解和细化，描述实体、属性以及实 体关系，通用的字段类型、长度和主外键关系等做了定义，设计时一般遵从“第 三范式”以达到最小的数据冗余。逻辑模型的设计由最佳实践和业务需求、 数据 资源规划、现有业务应用数据模型等作为驱动因素逻辑数据模型由逻辑数据模型视图和数据分布视图组成4.

11、4.1 逻辑数据模型视图对数据实体的分解细化，对数据实体的属性、属性类型、长度和主外键关系 等做了定义，遵从“第三范式”以达到最小的数据冗余。LijTF L0：电prszieBH : BigjGcrrs SrpIVO! BIlXKlTiH4 prrjp.ctMd sring 島 pr亡jcsjhi斗 Stf W prcjeer-pe : BlgC Kingi 住u. 31尹HEal些 PLjfeCAtftL* CM 护 耳 由: 号匚re口 丁空fir b PrfijeoAjort . Bgoecmai ¥ Pr<MJ«AUdit ； E IcCwtnH Sf k P

12、rql&dF-目叮DecElGsm&MiEriKty fe; : String t-nDsie. DatefllOjyCnGOpte 詩毋毒 G prcjecXJDi-eUatE DatE 骨 prcjtOCpt HD血Sr przlEctCperErKlDatE Dh-e& prej*t3Enoc»&!McSrarl-Da« 口ats flr tlcE.ncf!a£a : E 氐 鸟 lilt Em : atrirRg 金iai 斗mnE sl ing pLJbUHlLTQ. 3 和粤 iSrcrgccmpaiy - Strnj

13、5rfex : Srlnc &WTill| - Str fifli 4詛古= Sirfc-g ft ana Flic k 3 gOAorr4 coTvnarF leld : 5 Dectnal 日z-rilvt?4el .日gDn_ li isl 务wrmfqnw” 離 iTioEHtau : BlgCedmal fr caiftaitt! fllgMcrnai & nt=GatE : Ela£>=-dni3i fiMTeai&Jseic BIQgmz 4 ercjsaAd ； Csna 禺 LpdataLlBerldi 日世 EeolrnaJ A- k

14、pJeLdt - D bLe + oo ii(wiyic : EKpeoni a s&第rtTi&nifl EeD&ans-i Erwdlt 我 EthcDteinai442 数据分布视图展现数据实体所分布到的功能，并定义在功能中的操作（CRUD结构化数据存储CL.J非结构化数据存储中间数据存储区业务数据存储区公司总部95598流程数据评价数据第三方调查数据各类文本式报告/报表分析指标数据轻度汇总数据因子数据指标数据分析数据各类知识类文档省（市）公司流程数据（95598、业扩）分析指标轻度汇总数据数据评价数据 第三方调查数据k_J因子数据 指标数据=广分析数据各类文本式

15、报告/报表各类知识类文档数据分布视图如下:CRU创下:数据实体应用/C应用/R应用/U应用/D可信数捌数据应01应用*ERP-PM应用2用标准化作生产借理产骨理住产管理生产辔理生产骨理应业范木应ni应RLERF-PM应用应屈备品备件ERP生产管理应MhERP-PM生产管锂生产伶理应用ERP物料需求申请单ERP牛严普理应用：ERPPH牛产管理应用十严俗-理应用ERP4.5 物理数据模型物理数据模型描述数据模型的细节， 需要考虑所使用的数据库产品、对应的 字段类型、长度、索引等因素，并对数据冗余与性能进行平衡，必须确定数据库 平台和应用程序的架构。物理数据模型的设计由数据库/数据仓库系统平台和性能

16、调整优化要求作为驱动因素。4.5.1 物理模型视图描述数据模型的细节，需要考虑所使用的数据库产品、 对应的字段类型、长 度、索引等因素，并对数据冗余与性能进行平衡。物理模型视图例图如下：IQSFZDFK R=CIVER CDKTEVT MOiXJLilO IhSERTTIME jjJsEA fZ.Fl nHJUIBER5Vft«ChAH7(?D；VARCHA«3(70)VARCMArt2255)VARCHAR22flVARCHAR2(M；K理厲士匚氓椁丘丟SlUWflEP.iai炉ANUMBEp UARCHAH2(20Q- NUMBER KJ NUMB£R(1B

17、Nukmnris)SS KXSEDD 京工 u 二.牛？尹、<f«2>凯握牛十'vSMS 8CXS£MDINC :峙戈址芒宅安二<=首覆*一暑二 -5! *(pmJk3ER(tbm 讲血翩 IDNUMB9K1»> 乂虫？宅 WI。 M.jMRf« VAROAR2t» WWCHAIW) VAIOiAR2(2M| VAJRCHA«?；2W) NUM&R；1)Lil iilIE-EE 1 «>QSEMDCR 尺ECE VEi OWTiNT MOOULEJD WERTT" &#

18、39;.TTZTlMC生¥苗旦 VARCHAR2tM VARCHAR2S) VARCMAR2(2») VARCKAR2(2OJ VARCHAR2PV) WgLj Oil m5EHDER nECEIV=R COMT1ENT SE N DTI M EINSERLIME,ftTD¥TVARCHAR2(2O VARCHArLZ29- VARCHAH2W)VARCHARX20：VARCHAR2(7Q!WlMtl4.6 数据库详细设计4.6.1 数据基础设计数据库类型：Oracle数据库版本：1120.3或1120.4数据库 SID： sqadb1、sqadb2数据库名：sq

19、ldb语言：AMERICAN_AMERICA数据库字符集(NLS_CHARACTERSETUTF8国家区域字符集(NLS_NCHAR_CHARACTERSU)F84.6.2 常用参数NLS_LENGTH_SEMANTICS = CHAR说明：此参数需要设置后重启方可生效。4.6.3 主要模式设计规划数据库schemas主要用于客户端或外部系统访问数据库。具体设计例子如下:模式名英文内容描述权限需求对象类型默认空间默认索引表 空间工作流用户sotower用于保存工作流数据由普华提供由普华提供DATA_SOTOWEIR IDX_SOTOWER权限、组织bpm用于保存权限组织由普华提供由普华提供DA

20、TA_BMPIDX_BPM464表空间规划及存储容量估算根据业务情况与各物理表设计字段长度，评估运行周期1年内产生的数据量数据域数据表空间容量估算(GB)索引表空间容量估算(GB)客户档案DATA_CUS70280IDX_CUS105-420服务体系/用能分 析/营销市场/系统 支持DATA_EESMP40IDX_ EESMP60用能采集DATA_EIC7300IDX_EIC14600工作流DATA_SOTOWER0.5IDX_SOTOWER0.5组织、权限DATA_BPM0.5IDX_BPM0.5接口用户DATA_API0.5IDX_API0.5465 历史表所有非档案数据表在系统设计之初就

21、需要考滤历史数据的使用。历史表设计必须在需求分析阶段确定下来，并在数据模型设计得以体现。在线数据保留在在线系统中的当前表中，保留业务经常使用的数据。历史数 据保留在历史系统中的历史表中，保留当前业务不被使用的数据，将这部数据从 在线系统中迁出可以在线系统库维持在稳定的大小，提高在线库的性能和可靠性， 提高当前表中的查询速度。对于有时间特征的流水业务数据必须进行归档， 归档周期由具体业务需求决 定。如果数据量巨大，可根据业务需求缩短归档时间周期。 对于没有明显时间特 征的旧数据，可按业务需要标准进行判断之后加以归档，如果数据状态、标识等， 归档实体表中尽可能增加时间属性。本系统中对于流程已走完的

22、工单数据，在呼叫接入平台、呼叫服务业务支持 系统数据库中，咨询、报修类数据保留 3个月，其它数据保留6个月，咨询、报 修类数据保留3个月以前的数据和其它6个月以前的数据将迁移历史库中。呼叫接入平台与呼叫服务业务支持系统共用同一个历史库。历史表结构必须为时间分区结构（特殊情况除外），字段结构与在线表相同, 历史表名与在线表名保持一致。序号主题域历史表实体名称历史表表名（与 基表表名相同）历史表分区方案历史表数模变更需求466表分区尽可能不采用二级分区；每个分区的记录数应对于数据量较大的表， 为提高系统性能，方便业务数据 管理必须进行相应的分区处理，分区策略可选择一级、二级分区，分区字段由相 应的

23、数据分布特征或业务需求来定。1. 分区的依据记录数超过2000万的表需要考滤为该表做分区；2分区字段的选择分区字段优先考滤最有可能作为查询条件的字段；尽可能不要使用TIMESTAMP类型的字段，这在我们当前的营销业务的其它 系统中最常出现，并且已经被证明，非常影响性能，如果需要这类字段作为分区 条件，那么需要在表中添加一个新的字段，作为前面的TIMESTAMP类型的字段的冗余，字段类型为varchar2型，并以这个新的字段作为分区字段；3分区数量的考滤表的分区数据不宜太多，以住在营销系统中我们常采用二级分区的方法，导致表的分区数据太多，一保持在100-500万之间；4. 禁止使用pmax分区在

24、创建分区表时不可以创建 pmax分区，创建pmax分区将导致后续分区扩 展变得非常困难，在营销系统中我们吃尽了这方面的苦头，不能再犯这类的错；5. 数据归档或迁移的考滤表分区的创建还要充份考滤便于后续数据的归档和迁移，如某张表在线数据 只保留6个月，归档表只保留6个月前至1年前之间的数据，历史表保留1年以 前的数据。那么在表分区规划时就要考滤这张表的数据归档迁移方式， 要能以最快速度，最小代价，最低影响在线系统的方式将数据归当、迁移出去。6. 对于数据量巨大且无明显数据分布特征可采用HASH分区。7. 制定分区表需要开发设计与开发 DBA共同讨论，分区命名遵循P+分区值 的原则。子分区遵循P+

25、主分区值+ _' +P+子分区值的原则。女口：单位分区P3340101、 年月分区 P201001、 单位年月组合分区P3340101_ P201001注意：范围分区时分区名应大于分区值上界。在总部系统中由于数据较小暂不考虑分区。4.6.7 DBLINK由于目标客户使用的硬件资源各不相同， 要求我们在设计之时，不得不考虑 未来多种部署模式，多种部署模式中，有存在跨数据库访问的情况，因此规划数据链。注意：尽量不要使用 DBLINK来访问外部数据库主库目标库数据库链名用途属主连接帐 号权限说明95598服务业务系统库95598服务业务系统历史库DL_TO_EESMPH_AFI历史数据迁移EESMPAPI待定4.6.8 同义词引入同义词是为了解决程序部署灵活性的要求。将开发人员程序调整工作量降到最低的情况下，来满足程序的灵活部署。同意义与表同名同义词类型同义词命名规则源端(for)目标