数据中台技术路线

技术路线分布式大数据平台分布式大数据平台(TBDS)是可靠、安全、易用的一站式大数据处理平台，提供了多种高性能分析引擎方便应对实时流数据处理、离线批数据分析、实时多维分析等场景的海量数据分析挑战。此外，还提供了全链路的数据开发以及数据治理服务帮助提升大数据开发效率。面对数据仓库、用户画像、精准推荐、风险管控等应用场景挑战，TBDS提供一体化大数据应用解决方案。分布式HTAP数据库提供分布式HTAP数据库TBase采用无共享的集群架构，提供监控、安全、审计等全套解决方案，适用于GB〜PB级海量HTAP场景。高效的OLTP/OLAP能力，分布式HTAP数据库TBase支持千万级的TPS事务处理能力，具有全局sequence功能。TPC-DS性能测试结果业界领先，采用高效的压缩算法，压缩比超过400:1。强大的数据治理能力，分布式HTAP数据库TBase提供弹性在线扩容能力。同时提供数据的冷热分离解决方案以及数据防倾斜的解决方案。数据汇聚数据汇聚采用前后端分离模式部署，前端采用静态页面的形式提高用户的并发访问，后端采用springboot框架编写业务框架。抽取数据部分采用python脚本的方式，仅消耗本机内存。后端api服务以及汇聚执行器均可分布式部署。任务调度采用quartz自带的调度任务锁的形式，保持高可用和防止重复调度出现。汇聚执行器采用多机器部署的方式，在汇聚开始时，根据当前各个节点分布的任务情况，选择可用的任务少的节点开始任务。数据标准化数据标准化从技术架构上引入了LUCENE、HANLP、CAFFENIE、SPARK、SPRINGEL等先进技术，在数据对标、数据处理。使数据标准化平台可以极大的提高对标效率与数据计算处理后端api服务以及标准执行器均可分布式部署。任务调度采用quartz自带的调度任务锁的形式，保持高可用和防止重复调度出现。标准执行器采用多机器部署的方式，在标准化开始时，根据当前各个节点分布的任务情况，选择可用的任务少的节点开始任务。元数据管理平台可以采集FTP、Postgresql、Oracle>Mysql、Hbase、KAFKA、Hive等元数据并拥有采集Postgresql、Oracle>Mysql、Hive等样例数据的能力。数据加工数据加工平台基于C/S架构进行系统开发，平台主服务采用JAVA语言编写，客户端使用JavaSwing技术进行图形化界面开发，客户端与服务端通过RMI协议接口进行通信。具有良好的跨平台性，服务端可部署在Linux系统、Windows主机上，客户端可以运行在Windows、Linux图形界面下。平台具备横向扩展能力，任务代理器可按需在平台上进行可视化分布式部署。任务代理器负责具体的任务运行，具备Fail-over（失效转移）的保障机制，代理器发生故障时，由平台主服务自动将任务分配给其他代理器进行处理。平台具备完整API，开发人员可基于API接口进行功能的二次开发和可视化服务平台界面定制化开发，以满足易用性和灵活性要求。数据资源目录数据资源目录，把数据资源与目录的形式展示，包括对数据资源目录的新增、变更、保存草稿、增加标签、类别、目录纠错、纠错反馈等。新增、变更的目录需要经审核员审核通过才上线。方便用户查看数据资源。数据需求管理数据需求管理，通过提出、分析、审核、完善、实施需求工单，对提出的需求单给予有效管理，帮助相关工作人员清晰地知道自己所需要处理的需求业务，让需求从提出到实施的所属责任更分明，通过需求统计帮助管理者掌握了解需求需要协调和推进的情况的效果。数据共享服务数据共享服务是对数据资源的扩展使用，同时也是数据资源的主要应用方式。数据共享服务平台将通过数据服务，提供服务注册、自动挂接、配置与运行的管理、服务监控、日志审计等能力，实现服务的展示、使用全流程等。通过数据沙箱，用户可以直接对数据进行下载、处理、发布等操作。同时提供资助取数功能。数据沙箱数据沙箱旨在给业务分析师或各类ISV（独立软件供应商）提供一种数据分析探索的途径，可以从各层级的资源采集数据进来，进行数据的汇聚。汇聚的结果可以定时增量的持续生成。数据可以在沙箱里生成，销毁，并不影响原始的资源数据。并且，数据只能在有条件的情况下，在数据风险许可下，经过数据脱敏处理才能展出离开沙箱，以免造成数据泄露。让用户及外部程序只能运行在特定的空间里，不能操作这个空间之外的程序和数据。数据分析数据分析平台采用统一部署的方式，前后端集成。对于报表使用的计算，库找寻出最优化的计算方案，继而把所有开销较大的、昂贵的计算都移动到数据存储的地方直接计算，按需内存计算，采用冷热数据交替算法，加载常用的数据至内存中，再次降低硬件成本。项目所使用的数据集市技术中，MapReduce架构是一个通用处理并行计算的架构，利用多节点的并行计算提高计算效率，按照前端展示要求，自动缓存中间及结果数据，并在后台自动更新，再次提高展示性能且降低计算资源消耗，大幅压缩数据，减少磁盘IO，降低内存及CPU开销。知识图谱知识图谱涉及的技术领域包括：自然语言理解、知识抽取、链接数据、图数据库、图分析等。数据大脑知识图谱构建技术主要使用的是智能化知识抽取技术。智能化知识抽取引擎将政务中各类数据，汇总融合成为人、事、地、物、组织、虚拟身份等六大类实体。根据其中的属性联系、时空联系、语义联系、特征联系等，建立相互的关系。最终形成由人事地物组织构成的政务知识图谱。关系网根据数据的接入可自动更新。1、大规模知识图谱数据的存储技术使用图数据库是实现知识图谱存储的核心方法。图数据库的基本含义是以“图”这种数据结构存储和查询数据。图数据库的基本存储单元为：实体、关系、属性。将不同数据源整合到统一的图数据库，重新定义数据的结构，不同于以往关系型数据库的存储，而是将所有数据以实体关系属性的形式存储，这种形式最直观的展示了数据以及数据背后的关联，真正做到了“所见即所得”。图数据库在多层关系挖掘分析方面比传统关系型数据库有着质的优势。传统关系型数据库的数据是按照实体来保存的，在两个表之间关联时需要遍历整个表格。当然索引的技术或优化这种关联规则，但整体来向，多层关系分析的耗时是呈现指数级增长的。其表现就是，基于传统数据库的方案能很方便地找出一阶或二阶的关系，但在海量数据中创建或寻找多对多关系，或者连续进行34阶的扩展就会变得极其难以实现。而图数据库的基本逻辑于此完全不同，其关系挖掘实际上是沿着边的