EMC GP 成功案例 -- 广西交警.pptx_第1页
EMC GP 成功案例 -- 广西交警.pptx_第2页
EMC GP 成功案例 -- 广西交警.pptx_第3页
EMC GP 成功案例 -- 广西交警.pptx_第4页
EMC GP 成功案例 -- 广西交警.pptx_第5页
免费预览已结束，剩余2页可下载查看

下载本文档

版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领

文档简介

广西交警Greenplum数据平台案例介绍,项目背景,广西省交警总队的数据平台情况省总队数据平台存放广西全省的驾驶员、驾考、交通执法信息、交通违法数据等。数据平台不但是各个省级交警系统的基础数据平台，同时还为各市支队提供信息。数据平台接入系统、用户很多，数据变化量巨大。原数据平台数据库是Oracle。项目目标减轻Oracle数据库的查询访问压力，利用GreenplumDB强大的数据处理能力，更好的为各个系统、各市支队提供查询服务。项目规划搭建省级、市级的Greenplum平台，实现与省级Oracle数据库的准实时同步，并且对外提供查询服务。数据量省总队库内数据量1.5TB（无压缩表）日变更数据量：4060GB数据同步时延：1530分钟,广西交警系统为何选择Greenplum,广西交警应用功能架构,数据源,变更日志数据抽取,FileServer,数据转载同步,数据平台,数据平台正式上线前，按照某一时间点从源库全量数据同步到目标数据平台从全量同步时间点之后，启动GOLDENGATE，捕捉源数据库数据变更日志GOLDENGATE把变更日志落地成变更日志文件变更日志文件包含：原表所有字段信息、操作类型（增删改）、操作时间、顺序号等EMC数据调度程序：提取变更日志文件，通过并行装载技术批量装载到数据平台中根据变更操作类型（增删改），批量同步目标表的数据文件、目标表、主键等关系通过参数配置，目标表结构变更不修改调度程序调度容错处理定期统计目标表的表记录总数，存在差异则需要针对问题表进行全量同步,Greenplum系统架构,Greenplum部署情况：2+4节点（Dell710：6Core*2/48GB/600GBSAS*12）2台万兆交换机Master和StandbyMaster之间配置HA第三方软件：GoldenGate，Greenplum的ECPG编程,项目取得的成就,使用情况广西省交警总队Greenplum系统上线以来运行稳定，无重大故障出现。目前已支撑全省信息查询接入。柳州和南宁市支队已经搭建好地市级别的Greenplum，由于平台配置简单，省交警总队的技术人员已经可以自行配置整套流程。性能目前省总队核心系统与Greenplum平台之间准实时同步时延为1530分钟之间目前省总队核心系统可与多套Greenplum平台对接，执行相同的准实时同步突破本项目实现了与Goldengate的接口对接，
人人文库> 全部分类> 应用文书 > 项目管理

温馨提示

  • 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论