数据脱敏大数据架构设计

1、数据脱敏大数据架构设计紫金新闻发布于2019-03-28需求背景系统有数据识别、数据脱敏逻辑，支持可配置规则，自定义等，需要进行异构数据同步，大数据量。现在针对以下几个需求进行讲解1、支持冗余设计2、支持任务自动分发，支持自动负载均衡3、支持随时扩容节点而无需关停原有的系统和业务架构和模块架构图谥取韻抠同岁曲务罂指版进戦数据同歩阪劳逗行培興握吿脱敏扩展性架构图五核心模块及其主要功能调度平台使用Nginx方式来调用数据中心，通过注册中心获取数据中心的服务列表可以合理的根据数据同步的情况，去调用服务；比如数据同步可能存在的顺序性，执行延时；读取控制台DB的配置信息，定时执行数据同步任务对数据同步的

2、调用，可以按照简单的轮询方式，也可以根据数据同步服务器的性能情况，进行负载均衡数据同步负责执行数据库异构数据同步任务，可支持增量，全量模式，用DataX框架来实现服务于调度平台的调用会存储数据同步的执行结果，供控制台进行展示会上报服务器的性能指标到数据同步DB，以供调度平台参考控制台配置管理界面，服务于用户进行数据同步任务的配置信息，并存储到控制台DB中；数据识别负责针对数据库的数据进行数据识别任务数据脱敏按照内置规则、自定义配置，负责脱敏数据可提前进行数据脱敏，以供数据同步转换环节调用三个辅助服务发现模块注册中心用于服务发现和注册数据同步注册实例并定期报心跳可以用zookeerper来实现调

3、度平台通过域名访问注册中心获取数据同步的地址列表Nginx和域名系统配合，协助调度平台访问注册中心获取数据同步地址列表和域名系统配合，协助用户访问控制台进行配置管理可用性分析高可用通过Nginx、注册中心来实现，可以支持动态扩容。每个主要模块都是以无状态集群方式部署的，各自模块都可以通过注册中心来实现服务注册，模块之间的调用服务发现来获取，并以域名方式实现。考虑到扩展，所以设想的方案是尽可能的做到每个服务职责单一。这样的拆分，也是考量到每个环节的瓶颈都不一样，目前预估不是很精确，这样可以为后续扩展提供方便性。数据脱敏、数据识别需要单独独立出来，原因：本身的服务不在数据同步中，可能提前预处理进行

4、。通过集群部署方式，支持冗余设计。调度平台、Nginx集群通过数据同步性能情况，实现任务自动分发，支持自动负载均衡。可用性分析可用性表格分析场景影响降级原因某台数据同步下歩无影响教据冋步无状态调痘干甘重连其他的数据同步服努所有数据同步T统调度平台无法执行数据同步任务控制台lh常运行;调度平台把数据同步任务放入执行钦列，等待执行某个Ngirrx下尢影响多Ngiri工部書数据完全同步注册中心、控制台域名iiiSSLB自动切换到其他存活的NgiriJt控制台DB宕机调度中心无影响控制台无法更新配置调度平台开启配菁缓存后（对配置的读取不受数据库宕机影响某台数据识别、数据脱敏卞无影响数擔识剔、数据脱敏无状态”数据同步重连其他的数据识别.数据脱敏同步服务全部数据识别、数括脱敏下数据同步可执行会彫响任务时长无彩晌结论数据同步、控制台、调度平台、数据识别、数据脱敏是数据脱敏的几大核心微服务模块，相互协作完成配置中心业务功能，Nginx、注册中心是辅助