基于大数据的能力开放平台解决方案精编版

#的业务开发及数据测试。通过元数据的数据模型抽象，逐步将Hadoop、DB2的后台数据资源高效、安全并可控可管的开放给前端进行访问。数据共享：大数据平台将用户标签、营销目标、用户套餐剩余量等信息通过统一的数据服务方式开放给其他系统或者在线使用，确保数据的唯一性和数据响应的及时性。3.2方案内容及亮点图为基于大数据的能力开放体系架构，我们在原有大数据平台上进行整合使得大数据的成果能够有效的被外部系统调用，并具备标准的服务能力供后续的系统对接。能力开放平台由统一调度、统一开发、数据共享三大平台组成：统一调度平台将原大数据平台、经分数据仓库、VGOP平台等关联度高的独立应用系统的任务进行统一管理、执行调度及监控，提升整体的执行效率并简化运维。统一开发平台搭建于统一调度的基础之上，开发者可以通过IDE使用封装后的函数，以SQL脚本进行图形化的数据处理程序设计及开发。通过多租户的方式，对开发者分配独立的大数据平台及数据仓库的存储、计算资源，确保开发者在共享数据、系统能力的同时，不影响生产系统的正常运行。数据共享平台提供标准API封装，提供给外部系统进行数据查询和调用，实现经分系统对外数据服务标准化，同时保障数据安全性并降低外部系统数据存储压力。3.2.1统一调度统一调度由控制中心和AGENT两部分组成，如下图所示：1）控制中心:控制中心接收来自内部的消息，通过规则引擎判断任务是否满足触发条件并分发给Agent进行处理，并对任务执行情况进行监控及消息生成。消息接收：支持各种事件触发消息，如文件到达、接口装载、表生成；规则引擎：根据人工定义、系统资源情况、租户定义等设置制定任务的执行条件及前后依赖关系；任务触发：根据消息总线传递的消息，判断任务是否具备执行条件，并将满足触发条件的任务分发至各平台Agent端执行；任务监控：接收来自Agent的程序执行状态及资源状态并产生新的消息。(2)AGENT:部署到参与调度的执行平台，负责任务执行及系统资源、任务状态收集报告。任务监听：轮询扫描控制中心发出的任务；任务执行：支持tel、shell、python、java等程序，可以手工设置各个执行平台进程数，支持多进程并发处理；资源状态及心跳报告：支持分钟级和主动资源收集报告，将资源信息进行反馈。控制中心实时监控Agent运行状态，并进行短信告警，防止Agent挂死。3.2.2统一开发统一开发提供图形化的开发能力以及统一元数据管理：(1)IDE图形化的开发界面及统一封装函数库的集成，如下图所示：❸测试0上线affi国国□国itmlteKiSQLmubiao_nui4-GD00:8080/dacp-me-web/core/deviDgr/WizCreETL.h51?TEAM_C0DE二YZ_TEST&USERROLE二开发人员&0BJNAME=county_call_inonitorHH吞lc盲回QQHelvetica12BzUA/<_—么凸0❸测试0上线affi国国□国itmlteKiSQLmubiao_nui4-GD00:8080/dacp-me-web/core/deviDgr/WizCreETL.h51?TEAM_C0DE二YZ_TEST&USERROLE二开发人员&0BJNAME=county_call_inonitorHH吞lc盲回QQHelvetica12BzUA/<_—么凸0♦■口比保存>►测试$上銭GeriErwl0.常用密数1.输心据3.表对最操作冈一变量赋值渚空表0基本信息❷处理曲骤4.字段操作4.妳操作5.数组&变盘纯辑6.FTP操作6如妞7.功戦作HL语句目标分公司的通话次数st_tef.t_kpi冒F赛删除一张表创建X时表循环0上一歩下一歩*满足业务部门自助开发的需求，集成图形化的开发界面，通过拖拽的方式实现快速数据处理逻辑设计及开发；通过JAVA包对SQL命令、Hadoop、DB2执行平台的系统命令、时间函数、字符串函数、聚合函数等基础函数库进行统一封装，屏蔽底层执行平台的系统差异，实现类SQL开发语言支持，降低系统的技术门槛;>前台提供图形化开发界面、拖拽式开发方式、统一封装的函数库、灵活的脚本编辑能力对开发过程进行支撑。包含以下功能：查看元数据、数据模型注册、数据模型导入、设计、开发、测试、上线、优化；数据处理过程API分为7大类：数据输入(Reader)、数据输出(Writer)、行集处理(Process)、字段级处理、流程控制类、数据检查类、数据交换类，并提供了一套可扩展的机制；>函数编排支持条件分支、循环、异常控制等，支持变量读取、定义，能够实现复杂场景下的开发；数据同步采用开源的Sqoop来实现大数据平台和DB2、HBASE的高效数据同步。(2)统一的元数据开放共享与实时更新为实现公司内部模型及数据的复用，并实现数据资产的编目管理、共享及分级存储，同时实现数据安全的可控可管，能力开放平台搭建了元数据管理模块。包含全局数据字典、程序逻辑等元数据，提供元数据维护、权限控制等工具实现元数据整个生命周期的管理。元数据的管理界面如下图所示：元数据的自动更新:通过统一开发平台开发的程序，相关元数据（表、字段、数据流图、触发条件）将自动纳入元数据管理，实现元数据的自动更新，并为统一调度平台提供程序调度触发消息；元数据的可控开放：为了保障开放数据的安全性，安全管理员要对即将开放的基础元数据进行逐个审批，只有得到安全管理员审批的基础数据才能对外开放，从而保障开放数据的安全性。3.2.3数据共享为发挥大数据的价值，通过标准API封装的方式为企业内各种实时的业务运营提供信息支撑，并对外部系统提供统一的数据调用接口，具有实时、动态的信息交互能力。标准的数据开放接口实现数据和应用的解耦、应用和UI的解耦，有利于各应用系统功能集成。数据共S数据共S开放API谓用（1）数据层为实现快速的数据查询，数据共享平台采用了HBASE及Redis作为数据层。HBASE:作为分布式的、面向列的开源数据库，HBASE在Hadoop之上提供了大数据的存储和快速查询能力。Redis：作为基于内存亦可持久化的日志型、Key-Value数据库，并提供多种语言的API。其查询速度比HBASE更高。（2）封装层基于Restful架构实现API封装，使用Nginx的代理功能，整合后端多个Tomcat服务器，实现高并发的查询能力。内部结构如下：数据菲亭丿F放API服务注册服务安全管理数据查询响应SOAP/HTTP服务服务管理服务査找及蹄由服务发布数据菲亭丿F放API服务注册服务安全管理数据查询响应SOAP/HTTP服务服务管理服务査找及蹄由服务发布＞服务注册：服务属性配置：如服务标识、服务名称、服务描述、服务发布地址等信息的配置；服务参数配置：包括输入参数、输出参数、输出内容等配置。＞服务安全管理:服务认证鉴权是用于鉴别服务请求方是否有服务调用权限；数据交换安全是用于保证服务请求-响应过程中的数据安全；权限管理是用于确定服务请求方可调用的服务权限。＞认证鉴权:确定服务请求方是否有访问服务提供方提供的具体服务的功能权限；对于有功能权限的服务请求方，还需要再确定其可访问的具体服务的数据范围权限。＞服务运维:服务监控对数据服务的运行状况提供实时的监控和分析,帮助运维人员及时了解数据服务的健康情况。＞查询响应：负责处理数据和各类数据源进行交互，获取查询结果。数据获取处理主要包含:连接相应的数据源，执行经过模型映射解析的可执行SQL语句，获取结果数据。＞通信协议：通信协议采用全球公认的WEBSERVICE标准协议。需求方更容易安全接入系统。3.3方案效果统一调度方案效果：统一调度集中整合了运营商经分系统、大数据平台、集团集市、VGOP等应用系统的调度管理，提高了各个平台程序的并发度，减少重复建设，节约成本近百万；统一开发方案效果：目前互联网中心和信安部已经开始进行客户体验工作，统一开发平台上线之后，需求的开发速度由原来的数十天量级提升到小时内量级实现，数据变现能力得到数倍的增强；数据共享方案效果：目前某省运营商已部署基于Redis的“用户剩余流量”实时查询系统，采用Redis内存数据库作为内存存储单元；每天分流500万以上的查询需求，同步数据达到秒级；扫描用户流量档次变化达到分钟级，单机支持并发查询量由原有BOSS系统的300次每秒提高到5000次每秒，并支持水平扩展。