数据治理平台解决方案

／口ꢀ或平台解决方数据资产•兼收并蓄各类数据来源，丰富数据资产，实现优势互补，打通数据流向。数据质量•

通过多源融合、多路择优、自主计算、网络爬虫等技术手段，大幅提升资讯数据及时性、准确性、全面性。数据服务•

构建灵活多样的数据服务体系，满足下游系统多种数据需求，支持不同业务场景。数据生态•

针对共性需求、热点需求，打造资讯业务专题，使资讯触手可及统一

资讯数据模型与标准避免

重复的数据资源投入打通

内外部各系统数据流提升

数据质量监控与择优有效解决资讯数据繁杂难用20%节约

以上资源重复投入充分融合和挖掘数据价值主动发现和优化数据错误避免因数据源变化影响业务降低

对单一数据源的依赖丰富

数据服务形式与能力打造

自主品牌的资讯终端全面支持各类业务系统需求建立可持续的资讯数据资产第三代数据中心平台FinDig年之前(2007年)第一代数据中心库(2010年)第二代数据中心平台(2

0

1

8年)最闻科技2007采集和融合各种渠道和形态的数据来源，打造统一模型标准和质量监控机制的数据仓库体系。数据应用：建立灵活高效的数据发布服务管理系统，打造自主品牌和高可控的资讯数据服务终端平台。数据源支持广泛分布式调度平台数据处理流式化数据加工套件库完整的产品体系增加大数据特性融合大数据平台•••真正的分布式调度集群架构实现服务集群和任务分片2层维度分解支持对作业进行CPU\内存资源细粒度控制,确保高效稳定高可用分布式

集群架构支持批量数据定时处理高时效•支持增量数据实时跟踪处理通过CDC技术实现数据源变动的零延时监控••批流一体模式结构化数据和非结构化数据、厂商数据和自产数据、传统关系型数据、海量大数据多种形式数据处理网站、邮件、文件(PDF)、图片、终端、接口智能化采集处理能力多形式•••结构化\非结构化数据库跟踪、服务器状态、作业运行与负载压力监控数据质量跟踪校验预警监控多源融合比对择优异常提醒与运维监控全监控•••数据库\作业\血缘某著名企业金融资讯数据不适合于类似框架大数据集群框架•

金融资讯数据有二进制文件、文本等大字段，这些大字段不适合推送到Kafka等消息总线•

Flink•

Beam•

金融资讯数据的处理经常需要用到关联查询，如果采用纯流式，每条数据在处理时需要单独去查询，这样效率非常低。框架主要能力•

同样，数据处理完成后需要写入到数据库时，也需要批量插入这样效率最高•

数据的批\流处理能力•

资讯数据模型众多，数据清洗逻辑复杂，运维易操作要求高，大量硬编码模式，可操作性低•

具备实时窗口统计能力基于Apache开源框架•

Mesos•

ElasticJob分布式弹性资源管理•

Mesos-master•

Mesos-sle分布式作业调度管理•

JobSchduler•

JobExecutorMesos:分布式资源管理框架ElasticJob

分布式作业调度框架集群资源弹性扩容作业服务器动态分配作业资源按需配置作业失败自动重试多分片高并发模式业务数据顺序保证大幅提升处理效率充分利用集群资源1

、CDC服务监听数据源变动2、变动数据推入kafka对应topic3、转换作业监听kafka对应Topic变动数据记录4、转换作业执行数据清洗逻辑5、转换作业推送每条数据成功/失败状态到Kafka6、数据处理结果回写到Mysql数据库,提供管理支持金融资讯数据特点•资讯数据除了新增,还有大量更新和删除操作•同一一条记录的多次变动，处理过程要保持顺序。•多次执行，结果冥等(多次执行结果一致)ETL并行处理的批模式•每一行记录的处理都是并行的，不是串行的，不需要等待•一行记录处理完成，会通过putRow方法，直接送到下一个处理组件•整个处理过程中，不需要序列化，不需要内存复制，没有效率损失•所有执行过程是可重复执行ETL业务逻辑的图形化设计工具•金融资讯数据转换过程中，业务逻辑复杂，如果纯编码方式进行处理，开发效率低，测试，成本高。需要图形化工具来设计转换业务逻辑。一个ETL任务数据流程模式的应用•对于ETL任务的运行，DSTREAM平台使用了KETTLE的组件模型，但是接管了任务所有其它工作。DSTREAM提供了大量ETL组件•DSTREAM基于KETTLE的组件模式，定制开发适用于金融数据处理的组件。提供了提高处理效率的组件。•DSTREAM还优化了部分KETTLE原生组件。⚫1000万条数据初始化完成清洗转换8分钟完成⚫

单个作业平均数据吞吐量可以达到120万条/分钟100万增量数据变动-10个分片并发,每秒处理1500~2000条数据-10分钟左右完成整个数据清洗处理数据应用分析数据库表同步推送金融数据模型设计筛选和确定数据源启动数据源清洗转换开发实施制定中长期方向明确中短期目标金融资讯数据中心启动多源数据比对策略配置发布资讯数据中心技术平台建立数据接口数据模型设计数据源梳理•厂商数据库ETL设计与运行数据校验比对应用服务运营分析•流量分析•业务分类•数据编码•逻辑关联•数据冗余•数据扩展•设计工具•源数据跟踪•作业调度•数据转换•数据校验•多源比对•异常预警•运维管理•搜索引擎•业务库•行业网站•文件文档•电子邮件•数据终端•插件终端•专题服务•指标服务•文件服务•数据推送•业务分类•多维统计投顾平台系统

产品中心优理宝App

审计平台系统

财务核算系统业务PC终端App某著名企业端

小程序固定收益系统

基金评价系统

信用评级系统

资管风控系统

大投行系统服务数据表同步服务数据清洗系统数据接口服务数据校验数据订阅推送服务非结构化数据解析中心库采集服务数据静态化集成OCR识别分布式存储数据源数据外部数据产品中心基金发行研究报告万得数据聚源数据巨潮数据天天基金港澳短信交网站支持各种资讯源接入兼容银行文件接口规范支持多应用灵活接入高效稳定的技术平台宏观行业新三板基础数据行情数据资讯公司数据股东和管理层研究报告财务数据宏观经济行业数据港

美

新

公股

股

闻

告基本资料行

财情

务证券分类金融机构国内舆情理财产品资金流

高频数向

据新闻分

公告类

盈利预类信息变

行业与

股本与

财务附更记录

板块

限售

注产业上下游股票基金债券银行证券公募保险Level2标签正负面别测关系型数据库•

oracle•

ms

SQL

server•

mysql•

postressql•

...分布式数据库•

greenplum各种数据库•oracle•

ms

SQL

server•

mysql•

postressql•

greenplum•

...大数据平台•

hadoop/

hdfs/

mongo/

redis/

kafaka•

...文件类•

xml/

json/文本•

pdf/

word/

图片各种应用服务接口•网站服务接口•excel插件/终端接口等数据binlog方式•

mysql数据库CDC方式•

oracle•

mssql

server•

。。。数据库自有日志跟踪•

万得金融数据库•

聚源金融数据库•

。。。表扫描方式•

各类型数据库Excel插件数据采集Bloomberg数据采集图形化拖拽式设计系统网络爬虫组件自然语言组件OCR组件大数据处理组件满足行业数据处理的定制化组件Redis缓存编码对照转换数据库加速编码对照转换抓取验证码识别验证码事后校验•

单源数据量校验•

双源数据量校验•

单源数据内容校验•

多源数据内容校验事前校验•

单源数据验证•

多源交叉验证•

黄金拷贝数据校验任务可以的配置丰富•

校验•

校验后控制•

资源配置•

检验目标•

检验规则支持入库优先级策略支持数据选举算法策略支持数据源权重策略支持数据值浮动偏差策略支持字段单一来源策略支持整表单一来源策略支持人工运营处理支持差异高亮提醒支持一键切换来源支持手工修改数据所有操作留痕可追溯中心库模型对象的建立与管理数据分类数据展示的定义与管理指标与统计报表管理系统各种常量的管理系统应用服务的管理•

高效的数据模型设计工具，接数据服务口的开发和上线发布S

C

A

N数据中心库•

基于微服务架构体系，，随时调整服务承载能力E

S•设计，大幅提高数据服务效率，减小体系，从业务和功能接口实现分功能服务，快速提供全文搜索服M

ONG

OHTTPSOCKET对数据存储层的压力Redis账户中心•

全面级和隔离应用库BAS

JOB(

基础数据服务数据源、专题、资讯、检索)令牌验证•Redis务能力AccountCenter用户、产品、权限、支付采用浏览器风格，用户体验更好采用QT/C+

+开发，性能更好大数据、人工智能新技术支持特色和独家的数据开放式终端•

支持基于CDC实时跟踪来源数据库增量变化•

实时跟踪数据插入、更新、删除•

实时跟踪数据库表结构变动OracleMysqlMssqlPostgres•

支持异构数据库同步(Oracle、

Mysql、

Mssql、Postgres)•

支持1对多个目标库的数据并发同步DStream数据库同步程序来源库•

支持不同目标库，同步不同表•

支持异常自动提醒和故障恢复能力•

无人值守、故障自动恢复•

断点续传•

使用配置简单方便，资源占用少文件服务器•

支实时的数据分发功能，数据量多新频率为每分钟。扫描程序•

支持各种流行的数据库：数据文件中心数据库oracle,sqlserver,postgressql,mysql等WEB服务器ISAPI通讯服务•

支持历史数据修补，保证数据完整性URL列表•

数据采用二进制的压缩方式传输，效率某省市带宽通讯机客户端通讯程序数据文件目标数据数据还原MongoDB•中心库••ElasticSearchRedisHTTP接

口

服

务

(

PULL数

据

)通过配置化的方式，即可将SQL脚本配置为http接口，

返回json格式数据。应用场景：

ap