NMCC经分20系统总体设计说明书-数据质量

1、.：.；内蒙古挪动运营分析系统2.0集团客户系统总体设计阐明书2021年10月本文档及其所含信息为资料并且由中国挪动集团公司和NCR中国共同拥有。本文档中的任何部分未经中国挪动集团和NCR中国书面授权，不得将资料泄露给第三方,也不得以任何手段、任何方式进展复制与传播Copyright 2006 NCR版权保管一切的权益目 录s TOC o 1-3 h z HYPERLINK l _Toc212004220 1综述3 HYPERLINK l _Toc212004221 1.1编写目的3 HYPERLINK l _Toc212004222 1.2读者对象3 HYPERLINK l _Toc2120

2、04223 1.3参考资料3 TOC o 1-3 h z HYPERLINK l _Toc212004220 2系统总体架构4 HYPERLINK l _Toc212004221 2.1数据集市数据质量管理方案4 HYPERLINK l _Toc212004222 2.2其他模块阐明4 HYPERLINK l _Toc212004223 2.3数据质量的交互方式4 HYPERLINK l _Toc212004223 2.4FTP的轮询方式5 HYPERLINK l _Toc212004220 3系统软硬件总体构造 PAGEREF _Toc212004220 h 5 HYPERLINK l _T

3、oc212004221 3.1硬件技术构造 PAGEREF _Toc212004221 h 5 HYPERLINK l _Toc212004222 3.2软件技术构造 PAGEREF _Toc212004222 h 6 TOC o 1-3 h z HYPERLINK l _Toc212004220 4技术设计 PAGEREF _Toc212004220 h 5 HYPERLINK l _Toc212004221 4.1术语阐明 PAGEREF _Toc212004221 h 5 HYPERLINK l _Toc212004222 4.2普通构造10 HYPERLINK l _Toc212004

4、223 4.3建议的构造11 HYPERLINK l _Toc212004220 5数据质量检查互交格式定义14 HYPERLINK l _Toc212004220 6平台设计14 HYPERLINK l _Toc212004221 6.1设计原那么1 PAGEREF _Toc212004221 h 5 HYPERLINK l _Toc212004222 6.2系统数据接口15 HYPERLINK l _Toc212004223 6.3数据转换17 HYPERLINK l _Toc212004223 6.4数据加载17 HYPERLINK l _Toc212004220 7数据模型17 HYP

5、ERLINK l _Toc212004221 7.1逻辑数据模型17 HYPERLINK l _Toc212004222 7.2物理数据模型17 HYPERLINK l _Toc212004223 7.3数据模型管理18综述编写目的编写本功能规格阐明书的目的，主要是对内蒙挪动数据质量管理系统建立工程的总体设计思想、功能的明确论述；运用户和软件开发者双方对数据质量管理系统的功能点有一个共同的了解，为开展数据质量管理系统的开发任务提供指点，保证系统功能满足集团要求和用户需求。读者对象本文档适宜于以下人员阅读和参考：开发、测试人员。业务开发人员。系统分析师。系统架构师。参考资料系统总体架构数据集市数

6、据质量管理方案其他模块阐明数据接口：是为了保证数据的构造、意义、编码、坚持一致。数据质量管理：确保从数据源抽取的数据质量。数据模型：包括逻辑数据模型和物理数据模型。数据质量的交互方式交互的频率准时时提供交互的方式Ftp文件轮询交互的格式交互的格式为XML，详细的格式和阐明由Teradata提供FTP轮询方式系统软硬件总体构造硬件总体构造产品型号产品称号配置数量厂家及阐明NCR5450数据仓库效力器92TB裸盘16节点NCR/消费系统NCR5380数据仓库效力器12TB裸盘5节点NCR/消费系统NCR5350数据仓库效力器9TB裸盘3节点NCR/消费系统小计：103TB热备22节点NCR/消费系

7、统L700磁带库8个LTO1驱动器1台NCR-LibrarySL500磁带库18个LTO3驱动器1台NCR-LibraryIBM P460ETL效力器4CPU,8GRAM,2*73GB2台IBMHP DL630运用效力器2颗Inter CPU 1.4GHz，2G内存2台HPHP rx4640WEB效力器4颗Inter CPU 1.4GHz，4G内存，2块36G SCSI硬盘2台HP-PCServer软件总体构造NCR 5450/5380/5350 Teradata数据仓库效力器操作系统：NCR UNIX SVR4 MP-RAS数据库系统：NCR Teradata海量并行处置数据库管理系统工具：

8、NCR Teradata公用程序MultiLoadFastLoadBteqFastExportArcmainNCR A16数据仓库系统管理任务站操作系统：NCR UNIX SVR4 MP-RAS任务站管理软件ETL效力器操作系统：IBM AIX5.0工具：NCR Teradata公用程序MultiLoadFastLoadBteqFastExportPerlETL AutomationOLAP效力器操作系统：HP Unix工具：ESSBASE多维分析效力器版本工具：NCR Teradata公用程序MultiLoadFastLoadBteqFastExportPerlETL AutomationW

9、EB效力器操作系统：HP Unix & Windows2000 Server工具：Hyperion Brio Client版本与BEA WEBLogic技术设计内蒙经分系统关键技术设计是依托Teradata数据库的PI及PARTITION等技术，Teradata是Relational Database Management SystemRDBMS,可用于UNIX，WINDOWS NT，对应于工业化ANSI规范,Teradata用于大型数据库效力器，支持并发访问,并发操作恳求使其有才干处置海量数据,可在单节点或者多节点上运转,是企业级数据库的首选处理方案.术语阐明下表阐明所运用的专有名词：称号定

10、义数据库(Database)数据库(database)是一个区域，其上可建立对象，例如表、视图及宏。表是数据储存的地方，而经由视图及宏可控制数据的存取才干。数据库有配置磁盘空间。数据库构造是层次性式架构(hierarchical)，子数据库(child databases) 建立在母数据库(parent databases)之下。数据库DBC是一种特殊的数据库，它在系统定义时即已存在，且为分类及字典表(catalogue and dictionary tables)的预设区域。DBC亦为数据库层次构造的顶层。PI数据分布的机制，数据分布能否均匀，直接影响到查询的效率。PARTITIONPart

11、itioned Primary Index，分区索引，经过建立分区主索引PPI，从而更好的利用Teradata的强大并行才干，使我们可以在主表里同时储存历史数据和当前数据，也不会降低效能，并降低查询的复杂性。用户(User)用户(user)是一种可登入至系统的特殊的数据库。 每一位用户皆被配置一个严厉限制的永久空间，让用户储存个人资料。永久空间(Permanent Space)永久空间 (perm或perm space) 为系统中可用以包容数据库表的磁盘空间总合。永久空间系配置给数据库以便储存数据之用。只在一数据库所属于的母数据库(parent database)目前有剩余可用空间时才干配置永

12、久空间给该数据库。一开场，Teradata数据库中的一切空间皆为特殊数据库DBC所拥有。Spool空间(Spool Space)Spool空间(spool)是数据库系统(DBMS)需求提供应表用以在执行SQL陈说指令期间暂时储存中间结果的储存量总合。 预设作为spool的空间大小是，最小必需有25%的可用空间或最大资料表的1.3倍，两者取较大者。应将此首要规那么视为最低要求，且可视处置程序而改动。在没有Spool空间的情况下，查询无法执行 。 通常Spool空间是配置给用户而不是数据库。Spool的配置并非根据其直接母体(immediate parent) 的可用空间，而是一恣意总量，用以限制

13、一位运用者所可以执行的任务量。没有spool的运用者无法执行任何任务，而具有很大spool的运用者几乎可以执行任何复杂的SQL任务。 帐号字符串(Account Strings)帐号字符串用以识别用户组及用户的系统优先权，它们通常与个别用户组相关而非特定用户，但可以为特定用户建立它们。宏(Macro)宏是一组执行一项任务的SQL，类似预存程序(stored procedure)，但完全是SQL程序代码，不包含其它程序代码言语。 宏储存在数据库中且由用户利用SQL命令执行。Teradata数据仓库所在的数据库系统。普通构造一个称作DBC的数据库是Teradata数据库中的最高层次。它拥有系统中一

14、切的资源。DBC数据库中存在有各种系统及目录对象(dictionary objects)。没有任何用户对DBC有拥有权。DBC具有其它各种在系统产生时自动建立的数据库，且这些数据库与特定的工程义务及系统维护义务相关联，例如SystemFE及Crashdump数据库。对数据库及对象的拥有权是层次性的架构，且承继至其下层之子对象。对较高层或旁系阶层之数据库、视图或宏的存取必需单独给予不同的权益。在内蒙挪动，在DBC用户下建立了一个 NMCCDW数据库，其下包含了一切关于数据的数据库， 包括数据、视图、宏与用户。NMCCDW将是内蒙挪动数据库管理员的管理员ID(administrator id)，并

15、且拥有NMCCDW之下的一切对象。利用这种方式，管理员DBC可独立出来且不用要每天对它作管理任务。这样就可以保证DBC用户的平安性并可以防止未经答应即对DBC目录 (catalog) 及其它系统表改动。DBC及NMCCDW这两种用户都必需设定特定的权益。数据库管理员(DBAs)应该运用不同的身份登录数据库并用不同的ID来执行数据库的管理。建议的构造数据库层次的最顶层为DBC，如以下图： 称号阐明$NETVAULT_CATALOGBakBone NETVAULT备份工具CATALOG库CrashDumpsCrashDumps数据库是系统重新激活时，系统内存倾泻(system memory dum

16、ps)之储存区域。如此可查看系统重新激活时发生的情况，而且对于NCR实验室而言是处理问题时很有用的工具。此数据库必需可以保管3个CrashDumps。DBCMngrSysAdminSys_CalendarDefaultAllConsolePublicTDPUser这些全部都是体系构造的用户。 普通而言，这些用户ID不会指定给特定人员，但是会由担任的 DBA保管，用它建立用户并授予他们存取权。DbqmTeradata Query Management工具运用库NETVAULTNETVAULT工具数据库恢复用户，用户可以自行创建SystemFE这个数据库存有NCR的数据库执行维护和监视各项活动所需

17、求的各种视图NMCCDW获得DBC的大部分存储资源，存放运营分析系统根底数据、汇总数据、视图、宏、日志、用户信息等。MMART专题分析数据库NMART运用数据库PData这是根本数据(base production data)的存放位置。 同时也是数据模型的资料表的存放位置 表是在LDM及PDM中的资料表。 只需DBA才有权益在这个数据库中建立新表在某种情况下，也可以删除、更改数据库中数据SDATA数据暂时区，也称缓冲区PMART中间层汇总数据库及运用层数据库Temp在测试任务中所产生的暂时资料表在这里产生建立数据库管理员在数据库中建立和删除表，在系统正常运转后仅运用这些表。在这个数据库中也可

18、以保管衍生的数据和汇总表，这些表不是LDM/PDM的一部分，而是根据系统实践需求产生的。PView在这个数据库中保管系统正式运转后的一切的视图。这些是根本视图，数据的视图为普通执行系统作业时执行PView 对PData有 Select的权益。只需DBA才可以在此数据库中建立对象。ETL在这个数据库中包含一切可以执行数据转换、备份任务的用户的ID 每个作业/脚本都应该有独一的用户ID 这些用户ID并不分配给特定的人员，而是分配给特定作业和脚本。应该只对这又这些用户ID才可以对正式运转的数据，有Pdata及PView，的更新的权限DBODB深度运营平台数据库MARTDB数据集市数据库数据质量检查交

19、互格式定义发送xml： rule-id :检查规那么ID,由TD提供 instance-id :检查实例ID,由TD提供 rule-code :检查规那么类型,由TD提供 should-exectime :应该提交执行的时间,由TD提供 data-date :数据日期,由TD提供 script-sql :检查sql 接纳xml： rule-id :检查规那么ID,由TD提供,直接前往即可 instance-id :检查实例ID,由TD提供,直接前往即可 rule-code :检查规那么类型,由TD提供,直接前往即可 should-exectime :应该提交执行的时间,由TD提供,直接前往即可

20、 data-date :数据日期,由TD提供,直接前往即可 result-code :执行结果代码，00执行失败，01执行胜利 result-value :执行结果详细数值 result-desc :执行信息假设失败，报错信息 平台设计数据管理体系构造的根本概念是针对各数据集市的数据质量管理，采用一致配置，分布执行，一致管理的方式。 为了获得最正确效果，需在不同的效力器之间分配任务负荷，工具也相应地放置于最适宜的效力器之内。整个数据管理系统体系构造图如以下图所示：设计原那么对数据集市数据质量的管理只在经分建立一套数据质量管理系统，对个数据集市开发一致数据质量规那么接口 一致在经分数据质量管理系

21、统中定义数据集市各自的数据质量检测规那么， 经分定时传送规那么给集市，详细执行在各个数据集市上面完成。 集市将执行的结果前往给经分的数据质量管理系统，进展一致判别、告警、管理和报告系统数据接口目前有六种数据来源：BOSS系统: 属于内蒙挪动的BOSS系统，其中包括了计费和营帐系统与处置帐务及客户资料的系统。计费系统以HP 9000为平台，营帐系统同样以HP 9000为平台。BOSS系统的计费系统BOSS系统的营帐系统商务分公司的短信业务和挪动梦网系统数据分公司的上网直通车业务客户效力中心的大客户效力业务客户效力系统：属于客户效力中心的客户效力系统1860，以HP Unix为平台，建立在Orac

22、le数据库上的华为客服系统。MISC系统：由卓望公司实施。彩铃平台系统：由华为公司实施。话务网管系统：由亿阳公司实施。中央音乐平台：由集团一致下发接口。对于客户资料应将进展汇总整合，以利数据之一致性并防止反复。在总体设计上，目前是各个业务系统将数据经过接口或者文件方式传送给BOSS系统作处置，NCR建议由BOSS系统经过处置后一致传送给内蒙挪动运营分析系统。我们方案以上的数据来源的的传送机制都经由ASCII文件。在BOSS系统中经过FTP的方法，传送给ETL加载效力器，再由ETL加载效力器装载入NCR的数据仓库效力器中。对于新添加部分和数据更新部分，经双方共同确认后，由内蒙挪动BOSS系统，将

23、新添加部分和更新部分按数据传送规范，以FTP方式传送给NCR的ETL数据加载效力器。数据加载将会自动化进展，采用程序轮询的处置方法。能及时发现源系统曾经传送了新的数据资料，这些数据文件将置于ETL加载效力器上的指定目录。程序将在ETL加载效力器上执行。它们会寻觅这些档案，假设能获得这些档案，程序就会获取这些档案，并传送到转换效力器。程序会进展完好性检查，以确保档案的传送与接纳都正确。数据转换这项操作一部分将于ETL加载效力器上进展。如有需求，可撰写一些Perl程序，转换程序将于第7章详细阐明。另一部分在入库后，利用数据库强大性能的支撑下由SQL脚本实现。这两部分程序都将会自动化运转。数据加载这项操作将于ETL加载效力器上进展，以包括FastLoad、MultiLoad、Bteq等等高效的Teradata加载公用程序来执行。这部分程序将会自动化运转。我们将会开发增量加载程序，这是针对大数据量的数据单元，我们将运用增量更新，而非全量更新。数据模型逻辑数据模型化经过图形技术，来阐明对于Entity (称为实体) 具有重要性的对象的相关商业规那么；其中包括实体以为重要的对象的属性或特性，以及不同对象之间的关系。我们运用逻辑一词，由于强调的重点是了解资料的根本逻辑构造，而非产生这份资料如何建立到详细档案或数据库之内