数据服务总线DSB方案介绍

1、数据服务总线DSB方案介绍打造数据开放平台背景介绍数据开放平台数据服务总线简介数据对外应用门户简介应用案例背景介绍 目前移动存在着各种各样的小型应用系统，很多小系统为自身建设需要直接从底层明细数据开始加工。这种烟囱式的开发模式导致数据重复加工、最佳实践难以复制、数据安全缺乏统一管控和指标口径不一致，数据质量无法保障等问题。诸如地市平台这种最佳实践在全省推广过程中，会遇到因为各系统环境不一致、数据结构不一致等问题，造成最佳实践难以复制或者复制成本非常高，只能集中建设。问题2：烟囱式的开发导致最佳实践难以复制问题3：烟囱式的开发导致数据安全缺乏统一管理诸如各个地市平台等应用系统都是从省公司获取明细

2、数据，自行进行数据处理。对相同数据进行重复加工，造成了系统的重复建设、资源的浪费。问题1：烟囱式的开发模式造成资源浪费各小系统中数据处理的业务处理逻辑不完全一致，导致各系统中相同指标的数值差异，造成频繁的与省公司进行指标口径确认。问题4：烟囱式的开发导致指标不一致，数据质量无法保障各种各样的小系统用户隐私数据分散在各个小系统中，对小系统缺乏统一安全管控，带来了严重的数据安全隐患。传统烟囱式的应用建设模式基于数据服务的应用建设模式轻平台，重应用重平台，轻应用烟囱型应用： 每个应用都从底层数据源开始独立进行数据处理和访问。存在问题：数据缺乏统一安全管理、数据重复处理、资源浪费、指标口径差异数据应用

3、建设应该向”重平台,轻应用”方向发展经分数据仓库存量维系所需明细数据存量维系模型存量维系系统位置类应用所需明细数据位置类数据模型位置专题系统集中化平台所需明细数据各类挖掘算法合肥集中化应用明细数据大数据基础平台（数据集中存储）数据开放平台（数据的集中开放访问）公共数据处理存量维系模型位置类数据模型各类挖掘算法数据开放集市存量维系系统位置专题系统合肥集中化应用系统A系统B系统C数据服务型应用：大数据平台集中数据加工，数据开放集市进行数据模型处理，将数据结果通过数据封装提供给各应用平台，实现数据和应用的解耦。通过引入数据开放平台，实现数据能力的统一输出 通过引入数据开放平台，将数据封装并以服务方式

4、统一对外输出：充分实现数据共享，改变过去烟囱式的系统建设方式，防止系统重复建设。 实现数据和应用解耦，将数据整合平台与应用平台分离，确保用户隐私数据的安全。通过标准化的数据服务，实现指标口径的统一、实现了最佳实践快速复制推广能力。企业数据中心数据服务管理数据服务总线数据服务开放平台：通过数据服务总线对数据服务进行统一对外输出，并对数据服务进行统一管理，包括数据服务管理、服务监控、服务安全、服务开发、提供者视图和消费者视图等功能。数据服务开放平台旅游管理局VGOP指标个性化应用客服征信平台服务管理服务监控服务安全服务开发提供者视图消费者视图对数据开放平台的愿景定位制定企业标准数据服务接口，把大数

5、据平台数据融合中心数据分层封装，以服务形式开放给数据使用者，满足不同用户的数据需求。目标对内-不同业务单元数据互通、共享，把部门数据变为公司数据。对外-链接企业与企业、企业与个人，打造数据应用生态链，实现数据增值；数据开放平台的价值：促进数据运营能力提升、数据服务能力提升、数据价值提升与业务创新能力提升通过有效封装内部数据处理逻辑，提供标准化的对外服务接口，降低应用与具体数据结构的依赖，保障数据安全，提升应用的可扩展性和可重用性；通过开放，数据服务能力可以更好的嵌入业务流程及与其他能力集成，提供融合支撑，提升运营商服务能力。用户自我业务定制，满足个性化需求用户参与业务提供，降低业务成本，缩小业

6、务周期数据服务能力共享，效益最大化通过数据开放平台，吸收来自业务伙伴&业务部门的业务创新，鼓励应用开发者，促进数据服务能力变现与应用创新。2341实现应用与数据解耦提供长尾数据业务实现服务能力提升促进数据应用创新数据开放平台总体架构 对传统数据请求进行封装，采用数据应用的方式为企业内外部用户的多样性数据服务支撑，降低数据使用成本，提升数据开发能力。数据服务总线数据开放平台应用开放门户企业数据中心应用开发工具采用数据封装，构建SOA架构的企业统一数据服务支撑企业数据应用快速开发工具包业务部门 内部用户市分公司集成商/开发者政企 外部用户银行保险移动经分客户经理助手位置运营客户偏好自助数据分析数据

7、服务总线：采用数据封装技术，标准化地把数据转换为数据服务，实现应用与数据的解耦，满足内外部数据开放的需求。应用开发工具：提供数据可视化、高效能的开发工具集，帮助数据使用者快速进行基于数据服务的应用开发。开放应用商店：作为数据开放产品的统一发布平台，实现对数据产品的分类管理、生命周期管理、交易管理、定价管理和结算管理等。戏台道具票房数据开放平台针对不同业务需求，提供四种开放模式透明传输不加工产品构建统一的访问入口和出口融合数据产品合作方数据同运营商数据融合，构建新的数据产品Open API运营商数据直接开放给第三方使用，如景区客源数据服务计算能力开放大数据平台计算能力开放给移动的业务部门、厂商、

8、合作伙伴标准数据产品运营商自有数据构建应用：如商铺选址助手、营销指南针数据提取价值提取能力提取数据融合中心HDFSHbaseMPPDB2MysqlTachyonRedis能力开放中心数据共享信息开放服务开放适用行业政府、金融等行业客户移动内部系统第三方合作伙伴企业客户对各种数据进行不同程度封装，通过各种服务方式向不同应用系统提供数据服务，满足企业内外部用户的多样性数据请求。建立数据服务请求和数据之间标准化的访问接口，提升与内外部系统的互动和信息共享能力。服务构建数据开放原则：“标准化、集中化、安全化”自助分析服务文件，视图，数据流数据开放标准化提供标准化的数据订阅、数据访问接口；对数据质量、数

9、据安全管理制定标准，数据提供方和使用方遵循标准；集中化所有需要向外提供的数据和服务都必须通过“开放平台”进行，访问入口集中化，开放接口管理集中化；安全化对敏感数据与应用访问应有完善的安全管理措施和机制，确保信息在传输和应用过程中的安全。交互原则交互过程服务开放信息开放数据开放用户在界面进行自定义参数输入，向数据开放平台直接获取结果进行展现外部系统向数据开放平台订阅相应数据/信息，开放平台按照订阅提供数据文件/数据流异步/同步交互同步交互数据中心现有应用平台现状地市应用省份数据中心数据中心应用数据库数据结果数据应用明细数据 结果数据好处：1、省IT部门工作量小，无需应用建设，对系统稳定性影响小2

10、、应用建设者开发灵活方便，能够快速响应开发需求，并实现复杂逻辑需求。存在的问题：1、省IT部门将沦为数据提供者，而非价值提供者，核心能力外流2、全省各平台各自进行数据加工，造成资源浪费。3、用户明细数据，分散在各子系统平台中，存在严重的安全隐患应用开发现状：各个部门应用直接从IT部门数据中心获取用户详单数据、结果数据，并在此基础上进行数据应用开发，存在着严重的安全隐患。推荐度建议方案1：需求方提交业务需求，IT部门实现数据中心数据应用数据开放集市需求沟通数据服务总线优点：1、所有数据都在IT部门内部，确保数据安全性2、数据使用的核心能力仍在IT部门缺点：1、需要较多的需求开发人员，需要增加应用

11、开发预算2、复杂需求需要进行反复沟通3、难以支撑业务复杂、需求频繁变动、及时性高的需求支撑服务开发应用开发推荐度应用开发地市应用省份数据中心数据中心管理者应用建设者 应用建设者提交服务开发需求，省公司IT部门按照需求内容进行数据服务开发，将数据结果以服务的方式提供给应用平台，应用平台在此上进行后续数据应用开发。数据开放平台建议方案2：应用建设方直连数据库进行开发优点：1、所有数据都在IT部门内部，确保数据的相对安全性2、应用建设者自行开发，可实现业务逻辑复杂、响应速度快的需求缺点：1、开发者可接触到明细数据，存在安全风险2、开发过程和开发质量不可控，低质量开发可能会严重影响系统性能推荐度 省公

12、司将“数据开放集市”直接开放给应用建设者，应用建设者自行进行数据服务开发，将数据结果以服务的方式提供给应用平台，应用平台在此上进行后续数据应用开发。数据中心数据应用数据开放集市服务开发数据服务总线应用开发应用开发地市应用省份数据中心应用建设者数据开放平台优点：1、开发人员与真实数据隔离，确保了数据的绝对安全性2、应用建设者根据应用需求自行开发，可实现业务逻辑复杂、响应速度快的需求缺点：1、在测试库进行应用开发，需要审批才能上线，无法立即进行数据准确性验证2、需要IT部门建设“开发者IDE”工具建议方案3：应用建设方直连数据库进行开发推荐度 省公司提供测试环境、开发者IDE工具，应用建设者此基础

13、上进行数据服务开发，上线需经过省公司IT部门审核，结果数据以服务的方式提供给应用平台，应用平台在此上进行后续数据应用开发。数据中心数据应用数据开放集市服务开发数据服务总线应用开发应用开发地市应用省份数据中心应用建设者数据开放平台开发库数据服务总线测试环境上线审批开发者IDE背景介绍数据开放平台数据服务总线简介数据对外应用门户简介应用案例数据开放平台架构数据开放门户应用开发工具数据服务总线服务输出服务开发运行监控数据开放集市服务监控流程监控集群监控执行引擎服务开发服务测试消息路由消息转换服务编排协议转换消息机制资源分配超时机制重试机制异常处理服务管理服务查找服务注册生命周期管理基础服务扩展机制仪

14、表盘多维分析运营管理日志管理计费结算关联计算汇总计算自助数据分析自助服务开发数据能力开放位置类应用个人客户偏好.数据应用产品数据安全地图组建企业数据中心Open API客户信用度服务用户满意度服务客户偏好标签.用户位置服务服务上线服务下线数据开放集市：作为数据加工、数据封装的数据存储集市，实现了跨库的数据融合与个性化服务加工。服务开发：在测试环境中，利用服务开发工具进行服务开发，开发完后进行服务测试、服务上下线管理。执行引擎：根据服务调用请求，自动完成消息路由、协议转化等过程，最终响应服务结果给服务调用者。运行监控：监控正在运行的数据服务的响应情况、数据流程的监控、系统集群的监控。运营管理：对

15、服务调用结果进行日常运营分析、并对收费服务进行计费结算。服务管理：执行对数据服务的注册、数据安全等管理，并协助进行服务查找、服务生命周期管理。数据服务提供应用上架数据服务开发数据应用开发应用订购及使用数据拥有者数据结果封装数据服务发布公共数据模型开发应用开发能力封装&共享数据服务订阅数据应用开发数据应用开发应用开发工具包数据应用打包应用消费者查看及试用数据应用数据开放门户订购数据应用支付及使用数据开放平台全流程示例数据服务调用场景数据服务开放平台企业数据中心服务查询认证鉴权数据源内部系统个性化应用客服请求通过通过鉴权？响应交互方式适配：同步响应、异步响应、服务订阅服务类型适配：批量文件、Web

16、Service、消息（MQ）服务响应响应请求响应数据开放集市数据同步映射外部系统旅游人流监控商铺选址应用响应电渠数据服务开放平台业务场景：“重量级的平台，轻量级的应用”的建设模式应用开发官方开发移动合作开发厂商开发数据资源池跟移动共享数据进行关联共性数据服务开发个性数据服务开发资产开放管理数据资产管理标准数据产品开发数据应用资源多租户管理开发执行服务总线数据开放视图统一调度和作业管理租户管理应用开发应用建设者开发者IDE服务开发上线审批背景介绍数据开放平台数据服务总线简介数据对外应用门户简介应用案例数据共享层(数据服务层)数据服务总线功能架构数据服务开放平台数据服务总线服务查找服务路由服务鉴权

17、数据服务管理服务管理服务监控服务安全提供者视图使用者视图服务开发服务注册服务发布服务管理服务监控服务打包在线开发服务发布服务上下线证书管理秘钥管理鉴权认证权限管理目标服务监控服务监控预警规则日志服务负载服务列表协议转换访问控制用户注册服务订购API说明在线问答可视化的服务开发管理降低开发难度用户可以通过界面配置数据源，并自定义数据封装SQL语句。提供数据模型全景图，易于理解和使用数据提高开发效率实现数据服务的在线开发与测试提供开发过程版本管理，支持迭代开发提供数据的管理接口实现透明访问提供场景开发模板，提高应用开发速度开放服务管理全程监控服务运行过程，为服务运维和优化提供支撑通过服务统计模块，

18、可以直观的监控服务运行情况，保障开放平台的稳定、提升系统维护的体验感知。服务调用时长监控系统告警&日志管控服务访问情况服务响应情况服务运行监控数据服务管理页面展示数据服务监控页面展示提供统一服务监控工具，对总线中各服务运行情况进行监控。对其中重要服务进行短信告警。提供图形化监控界面。支持对服务的监控信息汇总与统计，产生分析统计报告。访问安全控制用户名+密码IP地址+端口黑白名单电子令牌对请求调用端的多种鉴权认证方式服务阶段下线阶段订阅阶段注册阶段数据服务的管理流程账号注册账号审核服务订阅服务注册服务发布订阅审核数据使用方服务运营方(管理)数据提供方服务运营方（分析）用户分析订阅分析服务监控获取

19、服务获取可订阅的服务列表获取订阅相关权限根据订阅详情进行服务质量监控服务质量分析服务热度分析下线提醒下线申请取消订阅确认下线服务下线下线影响分析数据源质量分析监控规则设置评估结算数据开放平台特点数据开放平台进行统一开发管理，提供数据可视化、服务可视化、应用开发可视化等全流程可视化应用开发工具并通过完善的数据安全保障支撑无忧对外开放。应用开发简单易用统一开发管理数据可视化操作提供丰富的图形展示组件和模板可视化应用开发无需学习数据库即可完成服务及应用开发开放应用开发环境提供统一的跨平台开发框架提供验证测试工具支持在线部署配置管理工具数据安全有保障权限管控数据脱敏身份认证日志监控开放的数据服务接口提

20、供标准化数据接口提供多协议支持提供完善的API文档支持订阅、推送支持多平台无缝接入背景介绍数据开放平台数据服务总线简介数据对外应用门户简介应用案例大数据对外应用门户的功能架构能力开放平台 .潜在游客识别模型特定餐厅潜在用户模型游客识别模型应用层数据模型交通行业行业旅游行业教育行业金融行业政府行业零售行业其它行业.居住地识别模型区域价值模型客流趋势模型.客流结构模型工作地识别模型交通监控模型精确选址模型人流洞察应用客户画像模型精确选址数据服务数据能力层人流洞察数据服务对外门户商铺选址智能引流大型活动专题其它应用户外广告投放其它应用旅游游客分析饮食类偏好分析精确选址应用人流洞察应用客户画像应用数据

21、应用分析报告数据服务内容发布用户权限分享评价展现形式管理功能客户画像数据服务能力沉淀计费结算应用上下架交易支付景区热度指数交通监控其它应用电商类偏好分析数据产品的上下架管理概览：交易过程的数据产品管理，主要包含了产品的上架、下架、审核、更新等步骤及操作流程说明。（图：产品展示效果示意图）数据开放门户等待审核数据产品提供商上传/更新产品填写信息/定价上架审核应用上架提交下架申请终止发布发现盗版、侵权、重大BUG等上传/更新应用数据产品提供商产品下架下架审核数据产品的计费与支付按会员收费：按产品会员或平台会员，一次性收费后可使用多项子产品，适用于有较多子产品的产品。按次收费：按用户购买次数收费，可

22、一次性结算完整，该定价模式适用于系统性较强的产品。按流量收费：按流量使用的多少，统计后按周期收费，该定价模式灵活方便。其他：其他的支付平台或方法的提供，有利于多样性用户的扩展，例如paypal等。接入网银平台：最稳妥的方式之一，可以直接入账，方便用户的即时买卖。接入支付宝等第三方支付平台：使用使用人数较高且有一定安全性的第三方平台，提高平台的交易效率。交易流程：数据购买方直接购买支付开通数据产品使用权限评价注册升级高级会员采用扁平化设计（flat design）风格。 该设计以用户为中心，一切从用户操作使用出发，不为做设计而设计，不让复杂的视觉设计成为用户使用的障碍。通过大的色块进行层次区分，

23、没有多余的视觉元素，可以是用户更多的聚焦于数据和业务。Windows 8iOS 7践行扁平化设计理念门户采用扁平化、互联网的设计理念对外门户首页页面效果门户展示数据分析报告对外应用门户提供行业分析报告展示，吸引用户阅读、下载和分享。一键下载一键分享网友评论门户展示数据应用产品教育开放式学习先进教室零售竞品分析热卖产品视图精细营销医疗健康医疗分析疾病传染控制交通物流路线监控商品位置监控快递员交往圈分析金融投资APP推荐股票关注度排行政务智慧城市信息惠民游戏相关游戏推荐好友交往圈雷达旅游景区流量预测路况实时监控景点路线实时监控房产楼盘选址楼盘用户挖掘电商运营位优化商品推荐商户商品投放大数据开放门户运营商企业精准营销信用评估 精确选址舆情舆情分析事件溯源追踪对外应用门户为各行业提供了标准化的大数据应用产品，方便用户直接使用数据应用产品。门户展示标准的数据服务对外应用门户展示了对外提供的数据服务，用户可按照服务调用说明进行数据服务的调用。终端行业APP类数据服务基础属性人流位置APP用户量排名某一APP用户特征某一APP用户量趋势.某一位置客流趋势热点区域客流排行某一位置客流特征.终端品牌排名及比例终端型号排名及比例某终端型号趋势.年龄段分布及比例各地市性别比例各区域消费能力查询.背景介绍数据开放平台数据服务