大数据安全战略全景规划与蓝图设计方案

大数据安全战略全景规划与蓝图设计方案目录CONTENTS大数据安全风险分析01大数据安全战略全景规划02数据全生命周期安全管理03大数据安全蓝图设计方案04大数据安全风险分析01HDFS资源池数据源系统镜像采集FTPserver集群A省HDFS资源池B省HDFS资源池c省HDFS资源池31省HDFS资源池HDFS资源池开放作业管理收入管理集中集客集中渠道集中生产应用XX公司MPP面向深度关联及进一步加工的数据Oracle面向深度关联应用的数据MySQl面向临时结果应用的数据Hbase面向查询的数据开放式应用平台数据服务基于工具的直接应用定制化开发应用数据层应用层加工层服务支撑层调度管理平台部分个性化省分处理集群，如针对事件触发信令处理业务办理人员合作伙伴人员第三方开发运维外部合作伙伴1外部合作伙伴2……数据全生命周期安全风险内外部人员的安全管理风险Hadoop等大数据组件的安全风险数据中心目前主要包括的安全风险点：数据全生命周期的安全管理，内外部人员的行为管控，Hadoop组件、安全管理支撑方面的安全风险。大数据中心安全风险分析数据全生命周期风险分析固网用户数据固网网络数据移网用户数据移网网络数据数据存储层数据处理层数据应用层第三方接入应用层数据采集数据采集数据源数据消费数据消费第三方数据数据挖掘数据建模数据加工数据封装操作维护算法升级合作伙伴分享MPPOracleMySQlHbaseHDFS数据分布不清晰，哪些是需要重点保护的数据不明确数据明文存储，包括30%的非结构化文本文件和70%的结构化关系型数据数据在应用系统不分用户权限明文展现数据泄露后，无法溯源和追责。泄露途径难以及时发现和弥补数据导出到人员终端后，可通过网络和终端外设外发数据后台维护明文展示数据分享的文档服务器随意连接，对端数据访问主体缺乏管理生产环境导出到开发测试环境的数据未经处理，存在泄露风险数据输出的合法性没有审核标准，缺乏有效合法性审核第三方人员安全风险分析HDFS资源池A节点HDFS资源池B节点HDFS资源池c省HDFS资源池31省HDFS资源池HDFS资源池开放作业管理MPP面向深度关联及进一步加工的数据RMDB面向深度关联应用的数据MySQl面向临时结果应用的数据Hbase面向查询的数据开放式应用平台数据服务数据层加工层服务支撑层调度管理平台业务办理人员合作伙伴人员第三方开发运维合伙伙伴专区平台租户界限划分不清晰。合作伙伴非法盗取、使用数据第三方人员进入生产环境的流程不明确。存在绕过监管手段进入系统访问的风险第三方人员生产过程中的操作命令、脚本上传、数据导出需要严格监控，核心数据相关操作重点管理第三方人员的终端准入条件需要进行加强，防止终端病毒、木马传入内网Hadoop及相应组件安全风险分析Hadoop权限模型≈Linux权限模型新文件/目录默认权限：755rwxr-xr-xhadoopfs-chmod只有研发能看懂的语言，无法让普通管理者一目了然看懂日志，无法有效审计。大数据系统帐号=主机帐号帐号≠自然人帐号共享帐号问题权限问题审计问题认证问题2023-07-1918:04:10,527INFO个人身份信息(PII)企业关键业务数据Hadoop平台核心安全问题Hadoop大数据平台认证依赖操作系统认证，自身组件支持keboros三方认证，但是大数据平台未开启。平台认证强度总体薄弱数据中心风险点风险感知。缺乏数据中心风险趋势感知能力；缺乏舆情感知和安全情报更新能力政策和规范落地。缺乏对监管部门安全政策的管理和分析能力，缺乏公司安全规范的落地监督能力数据使用流程安全管控敏感数据存储分布不清晰应用系统、主机文件、数据库访问敏感数据明文使用非报备连接文件服务器获取数据管理触角无法到达终端，存在拷贝、外发等数据泄露风险对外数据合作缺乏流程支撑，出现问题无法审计缺乏数据外泄后的溯源能力安全监控基础设备分布、位置、归属状况不明设备漏洞、补丁、健康度、合规性不明缺乏安全流程和运维自动化能力安全支撑。人多，系统杂，用户身份、应用系统、组织机构、职责角色等信息不统一，存在重复调研、难以对接、用户帐号重复申请/冒用等诸多跑冒滴漏风险。12.33.63.53.43.352数据数据数据数据3.23.14.14.24.3基础设施数据产生、使用、传播流程仍存在风险点，安全管理支撑体系仍需持续完善和加强。大数据安全管理支撑风险分析大数据平台——安全防护需求大数据平台层定位防护需求应用层基于大数据平台能力为第三方提供服务的应用系统层1、避免非法用户访问应用系统

2、避免未授权用户访问应用系统

3、避免授权用户越权访问

4、避免由于应用自身漏洞造成的数据泄露

5、避免由于业务逻辑漏洞造成的数据泄露服务层DAAS（数据即服务）、PASS（平台即服务）开放模式层1、避免DAAS模式下非法用户应用通过API获取数据（口令猜测、认证漏洞等）

2、避免DAAS模式下未授权用户、应用通过API获取数据（函数猜测）

3、避免DAAS模式下已授权用户、应用越权访问API获取数据（函数猜测、参数注入等）

4、避免通过监听API访问获取重要、敏感数据

5、避免PASS模式下非法用户获取平台能力

6、避免PAAS模式下未授权用户获取平台能力

7、避免PASS模式下授权用户越权获取平台能力

8、避免服务平台自身漏洞、业务逻辑漏洞造成的数据泄露数据处理层基于小型集群、Hadoop、MPP、内存计算集群、流处理计算集群对外提供数据挖掘服务层1、避免非法用户、应用访问该层获取数据处理能力

2、避免非授权用户访问该层获取数据处理能力

3、避免授权用户越权获取数据处理能力数据存储层基于关系型数据、Hadoop存储、MPP存储构成的数据存储1、避免不同租户间数据互访

2、避免重要数据或敏感数据的泄露

3、避免由于非结构化数据的冗余和分散性带来的数据泄露

4、避免由于NoSQL自身缺乏访问控制造成的数据泄露采集层各类离线采集、实时采集等采集系统1、避免由数海量数据的分布式采集和存储造成数据泄露和数据窃取的安全威胁。

2、避免采集到的源数据中包含敏感信息的泄露基础平台层由系统资源服务器、网络设备、关系型数据库组成的大数据基础平台1、避免基础平台所采用的开源组件自身的漏洞、缺陷等问题带来的数据泄露

2、避免由于虚拟化技术漏洞造成的数据泄露

3、避免未经授权访问网络或计算机资源大数据平台——安全防护内容（一）大数据平台层安全防护需求——威胁安全防护内容——怎么做领域管理防护审计应用层1、避免非法用户访问应用系统用户安全1、应用用户帐号统一管理

2、用户访问策略统一管理1、用户访问强认证

2、访问认证策略的验证与阻断非法用户访问审计网络安全1、网络访问策略的控制（面向特定用户群）

2、避免未授权用户访问应用系统用户安全1、用户权限的统一管理1、用户权限的细粒度控制1、未授权访问审计越权访问审计

2、用户权限稽核、用户角色稽核、用户岗位稽核应用安全1、加强权限模型设计与评审

2、上线前权限模型的测试验证、风险评估1、应用鉴权控制、防止越权绕行防绕行审计3、避免由于应用自身漏洞造成的数据泄露应用安全1、建立安全编码规范

2、上线前的安全测试及漏洞的修复

3、加强零天漏洞的跟踪处理1、根据编码要求编写安全代码

2、敏感数据访问的金库访问控制定期开展应用的安全风险评估及源代码审计4、避免由于业务逻辑漏洞造成的数据泄露应用安全1、关键业务逻辑的规则管理

2、应用测试的安全管理1、敏感数据访问的金库访问控制

5、避免数据传输过程中由于监听造成的数据泄露数据安全1、敏感、重要数据的识别、定义、分级管理1、敏感重要数据加密或脱敏传输数据传输合规审计大数据平台——安全防护内容（二）大数据平台层安全防护需求——威胁安全防护内容——怎么做领域管理防护审计服务层1、避免DAAS模式下非法用户、应用通过API获取数据（口令猜测、认证漏洞等）用户安全1、DAAS运营用户与第三方用户的统一管理

2、DAAD运营用户与第三方用户访问策略的统一管理1、用户访问强认证

2、访问认证策略的验证与阻断非法用户访问审计网络安全1、网络访问策略的控制

数据安全1、第三方应用系统信息的统一管理

2、第三方应用访问API的访问策略统一管理1、第三方应用访问API的接入强认证

2、第三方应用访问认证策略的检查与阻断非法应用访问审计2、避免DAAS模式下未授权用户、应用通过API获取数据（函数猜测）用户安全1、DAAS平台运营用户权限的统一管理1、运营用户权限的细粒度控制1、用户未授权访问审计

2、应用未授权访问审计

3、用户权限稽核、用户角色稽核、用户岗位稽核应用安全1、加强权限模型（用户权限模型与应用权限模型）设计与评审

2、上线前权限模型的测试验证、风险评估1、应用鉴权控制、防止越权绕行防绕行审计数据安全1、第三方应用信息的统一管理

2、第三方应用与API授权关系的统一管理

3、接口上线前安全测试与漏洞修复1、第三方应用访问API的接入认证非授权应用访问审计3、避免DAAS模式下已授权用户应用越权访问API获取数据（函数猜测、参数注入等）数据安全1、建立接口安全编程规范

2、加强API接口安全设计与评审

3、接口上线前安全测试与漏洞修复1、根据编码要求进行接口的开发越权访问数据审计4、避免通过监听API访问获取重要、敏感数据数据安全1、敏感、重要数据的识别、定义、分级管理1、敏感重要数据加密或脱敏传输数据传输合规审计5、避免PAAS模式下非法用户获取平台能力用户安全1、PAAS用户与运营者帐号的统一管理

2、帐号访问策略的统一制定1、用户访问强认证

2、访问认证策略的检查与阻断非法用户访问审计网络安全1、网络访问策略的控制管理

6、避免PAAS模式下未授权用户获取平台能力用户安全1、帐号与平台能力（包括：数据资源、工具资源、开发环境等）授权管理的统一管理

未授权用户获取能力审计应用安全1、加强权限模型设计与评审

2、上线前权限模型的测试验证、风险评估1、应用鉴权控制、防止越权绕行

7、避免PAAS模式下授权用户越权获取平台能力应用安全1、平台能力所需资源（包括：数据、工具、开发环境等）的统一管理1、能力执行前各类资源的检查1、平台能力与所需资源的匹配度稽核大数据平台——安全防护内容（三）大数据平台层安全防护需求——威胁安全防护内容——怎么做领域管理防护审计数据处理层1、避免非法用户、应用访问该层获取数据处理能力用户安全1、数据处理层各类大数据处理系统帐号统一管理

2、用户帐号访问策略的集中制定1、用户访问强认证

2、访问认证策略的检查与阻断非法用户访问审计数据安全1、访问大数据处理层应用的统一管理

2、应用访问策略的集中制定1、应用访问的身份唯一性验证

2、访问认证策略的检查与阻断非法应用访问审计网络安全1、网络访问策略的控制管理

2、避免非授权用户、应用访问该层获取数据处理能力用户安全1、用户访问数据处理层权限的管理1、数据处理对用户访问的鉴权与阻断非授权用户访问审计数据安全1、应用访问数据处理层权限的管理1、数据处理对应用访问的鉴权与阻断非授权应用访问审计

数据存储层1、避免不同租户间数据互访用户安全1、租户帐号的统一管理

2、访问策略的集中管理

3、租户数据权限的统一管理1、租户访问强认证

2、访问认证策略的检查与阻断

3、租户访问数据权限的鉴别与阻断非法用户访问数据的审计2、避免重要数据或敏感数据的泄露数据安全1、敏感数据识别、分类、定级

2、敏感数据访问策略的管理1、敏感数据传输与展示的脱敏处理

2、敏感数据传输与存储的加密处理

3、敏感数据访问时的金库控制数据传输合规性审计

数据存储合规性审计网络安全

1、预防网络、WEB和邮件类型的APT攻击盗取数据

3、避免由于非结构化数据的冗余和分散性带来的数据泄露数据安全1、非结构化敏感数据的发现、识别、分类与定级1、敏感非结构化数据存储的加密处理

网络安全

1、预防网络、WEB和邮件类型的APT攻击盗取数据

4、避免由于NoSQL自身缺乏访问控制造成的数据泄露用户安全1、帐号访问控制策略的统一管理

2、租户操作权限的统一管理1、帐号访问强认证

2、访问认证策略的验证

3、租户操作权限的鉴别与阻断1、非法用户访问审计

2、非法操作审计大数据平台——安全防护内容（四）大数据平台层安全防护需求——威胁安全防护内容——怎么做领域管理防护审计基础平台层1、避免基础平台所采用的系统资源与开源组件自身的漏洞、缺陷等问题带来的数据泄露平台安全1、漏洞管理

2、补丁管理

3、防病毒管理1、主机、数据库、网络设备的漏洞扫描

2、漏洞补丁未发布前的虚拟补丁防护

2、避免由于传统的防护手段无法适应虚拟化技术造成的安全威胁平台安全1、入侵检测管理

2、病毒防护管理

3、补丁管理

4、安全域管理1、虚拟网络下的入侵检测

2、虚拟网络下的病毒防护

3、虚拟补丁防护

4、虚拟主机间的安全隔离

3、避免未经授权访问网络或计算机资源用户安全1、网络、计算机资源运维用户的帐号统一管理

2、访问策略的统一制定

3、帐号权限的统一管理1、帐号访问强认证

2、访问认证策略的验证与阻断

3、用户操作鉴权与阻断

4、高危操作的金库控制1、非法用户访问审计

2、未授权操作审计网络安全1、网络访问策略控制管理

采集层1、避免非法用户登录采集平台造成的数据泄露用户安全1、采集平台用户帐号的统一管理

2、用户帐号访问策略的集中制定1、用户访问强认证

2、访问认证策略的验证与阻断非法用户访问审计网络安全1、网络访问策略控制管理

2、避免未授权用户访问采集平台造成的数据泄露用户安全1、采集平台帐号权限的统一管理1、用户权限检查及阻断未授权用户访问审计；用户权限稽核、用户角色稽核、用户岗位稽核应用安全1、加强权限模型设计与评审

2、上线前权限模型测试验证、风险评估1、采集平台对用户权限的鉴权防绕行审计3、避免由数海量数据的分布式采集和存储造成数据泄露和数据窃取的安全威胁。数据安全1、敏感数据的发现、识别、分类与定级管理1、敏感数据的加密传输和存储敏感数据传输和存储的合规性审计4、避免采集到的源数据中包含敏感信息的泄露数据安全1、敏感数据的发现、识别、分类与定级管理1、对采集数据中的敏感信息加密或脱敏处理敏感数据传输和存储的合规性审计大数据安全战略全景规划02大数据安全防护体系包括数据安全管理支撑、数据生命周期安全管理、数据应用安全防护、大数据安全管控、大数据基础设施安全五大工作领域。大数据安全防护体系建设工作思路大数据安全防护体系数据安全管理支撑数据生命周期安全管理数据应用安全防护大数据安全管控大数据基础设施安全数据分类分级；数据工作流程；安全责任；合作伙伴管理数据发现、数据采集、数据存储、数据使用、数据权限客户信息保护、访问行为异常、终端数据安全保护…….数据授权、数据签权认证、数据使用管控、数据脱敏、网络、系统、中间件、数据库、应用层安全防护大数据安全防护体系建设构成安全责任矩阵业务安全管理不良信息管控异常行为检测访问流量监测应用WEB防护数据使用流程管控安全运营体系安全策略体系大数据安全防护体系数据发现虚拟化安全……IPS/IDS/防火墙/……网络准入控制基础安全APT防护电子文档安全数据网关敏感数据规则服务器扫描内部敏感数据运营合作伙伴数据安全运营维护环节责任运行环节责任敏感数据定义和分类数据加工安全规则数据合规审核规则数据泄露应急流程开发环节责任普通数据安全运营数据库扫描数据脱敏数据外联终端DLP输出审核数据溯源数据索引标记数据脱敏规则主机文件脱敏数据库脱敏应用系统脱敏数据访问报备网络流量采集非法外联比对非法外联整改终端文件扫描自然语义分析数据审核标准数据内容审核数据大小审核数据类型审核敏感数据规则敏感数据标记语义分析引擎敏感数据溯源应用终端防护……Hadoop权限集中管理Hadoop集中审计分析Hadoop强认证管理Hadoop帐号集中管理文档加密下载数据加密文档访问权限Hadoop安全大数据安全管控数据应用安全管理数据全生命周期安全管理大数据安全体系全景规划框架数据安全管理支撑大数据基础设施安全数据全生命周期安全管理03——数据安全分级分类——数据全生命周期安全管理——数据应用安全防护——大数据安全管控——大数据基础设施安全类别子类及范围（A类）用户身份相关数据（A1）用户身份和标识信息：（A1-1）自然人身份标识、（A1-2）网络身份标识、（A1-3）用户基本资料、（A1-4）实体身份证明、（A1-5）用户私密资料（A2）用户网络身份鉴权信息：（A2-1）密码及关联信息（B类）用户服务内容数据（B1）服务内容和资料数据：（B1-1）服务内容数据、（B1-2）联系人信息（C类）用户服务衍生数据（C1）用户服务使用数据：（C1-1）业务订购关系、（C1-2）服务记录和日志、（C1-3）消费信息和账单、（C1-4）位置数据、（C1-5）违规记录数据（C2）设备信息：（C2-1）设备标识、（C2-2）设备资料（D类）企业运营管理数据（D1）企业管理数据：（D1-1）企业内部管理数据（D2）业务运营数据：（D1-2）业务运营服务数据、（D1-3）业务运营内容数据（D3）网络运维数据：（D3-1）网络设备标识（D3-2）网络支撑数据依据和参照数据中心敏感数据定义和分类标准，参考《电信和互联网服务用户个人信息保护分级指南》（YD/T2782-2014）和相关指导标准，调整为符合数据中心特点的数据分级分类规则。举例如下：类别定位子类及范围第4级极敏感级（A1-4）实体身份证明、（A1-5）用户私密资料、（A2-1）用户密码及关联信息、（D1-1）企业内部核心管理数据、(D1-4)市场核心经营类数据、（D3-1）网络设备及IT系统密码及关联信息第3级敏感级（A1-1）自然人身份标识、（A1-2）网络身份标识、（A1-3）用户基本资料、（B1-1）服务内容数据、（B1-2）联系人信息、（C1-2）服务记录和日志、（C1-4）位置数据、（D1-1）企业内部重要管理数据（内部公开前）、（D1-5）市场重要经营类数据（内部公开前）、（D2-1）重要业务运营服务数据（内部公开前）、（D3-2）重要网络设备及IT系统资源类数据（内部）、（D4-1）渠道基础数据、（D4-2）CP/SP基础数据第2级较敏感级（C1-3）消费信息和账单、（C2-1）终端设备标识、（C2-2）终端设备资料、（D1-3）企业内部一般管理数据、(D1-6)市场一般经营类数据、（D2-2）一般业务运营服务数据、（D3-3）一般网络设备及IT系统资源类数据第1级低敏感级（C1-1）业务订购关系、（C1-5）违规记录数据、（D1-7）企业公开披露信息、(D2-3)业务运营服务数据（外部公开）、（D2-4）数字内容业务运营数据（外部公开）、（D3-2）网络设备及IT系统资源类数据（外部公开）敏感数据分类举例敏感数据分级举例敏感数据分类分级①数据安全管理支撑②数据生命周期安全管理③数据应用安全防护④大数据安全管控⑤大数据基础设施安全合伙伙伴引入数据申请数据开发API上线数据出网安全审计建立合作伙伴引入流程，明确各环节审核要求和标准固化合作伙伴引入流程，线上审核、管理合作伙伴信息建立合作伙伴数据申请流程，明确各环节审核要求和标准固化合作伙伴数据申请流程对申请数据提供加密和密钥管理服务建立开发资源申请流程提供多租户管理功能，实现租户资源的隔离，保护合作伙伴数据隐私建立API上线安全评估流程支持API上线前对API内容核查规则进行配置建立出网数据问题处理流程支持对出网数据的内容极校验建立规范的安全审计流程，明确各环节安全审计要求建立安全审计规则库，实现对入网和出网数据的自动安全审计，并支持在线人工复审业务流程管理要求系统要求建立合理的业务流程规范对外大数据合作管控，配套各环节的管理要求和系统支撑能力，使对外大数据合作全流程可管理、可追查、可审计。合作申请商务洽谈安全审核安全审核资质审核资源开通合作伙伴市场专员安全专员法律市场数据中心数据使用流程管控①数据安全管理支撑②数据生命周期安全管理③数据应用安全防护④大数据安全管控⑤大数据基础设施安全用户身份管理支撑01应用系统管理支撑02组织机构管理支撑03角色岗位管理支撑04人员权限管理支撑0501用户身份管理集中管理内部和外部、以及合作厂商的用户身份信息，统一支撑数据中心数据合作业务、应用业务和管理、基础运维管理所需的用户基本信息和帐号等。02应用系统管理03组织机构管理集中管理数据中心应用系统，包括建设厂商、系统定位、主管人员、系统名称、部署位置、关联系统等，便于厘清应用之间关系，清晰定位避免各应用系统之间功能重复建设，以及为安全管控提供基础信息。集中管理人员组织机构，内部人员按照行政组织，外部人员按照逻辑组织，形成统一组织机构出口，规范各应用系统之间的组织机构，便于各应用之间业务对接。04角色岗位管理05人员权限管理集中管理角色岗位，角色岗位与用户身份相关联，标识人员的身份属性，各应用系统可以根据此角色岗位构建权限模型，也可以以此为基础扩展权限模型。人员权限决定内外部人员在数据中心能够访问哪些应用系统，能够访问哪些硬件基础设施。不包括应用系统内部的细粒度权限。以人员为主线建立数据中心基础数据库，1人员1帐号、1系统1数据，以此厘清数据中心内外部人员、系统之间的关联关系，为数据中心安全管理提供基础数据支撑。第三方人员安全管理①数据安全管理支撑②数据生命周期安全管理③数据应用安全防护④大数据安全管控⑤大数据基础设施安全安全数据分类标识数据安全控制在系统中逐点落地数据安全防护规范体系安全审计登陆日志审计/输入参数审计/出口数据审计/流量控制审计……安全元数据采集数据安全运维数据安全应用数据安全发布安全防护建设安全数据分类体系——在数据的采集、开发、发布及运维各个环节全流程的控制数据的安全，事后审计工作要确保安全防护工作正常的实施①数据安全管理支撑②数据生命周期安全管理③数据应用安全防护④大数据安全管控⑤大数据基础设施安全数据访问控制定义数据访问策略数据访问调用策略中心获取安全规则，并控制数据的访问构建安全数据授权机制：管理如安全策略、算法、规则等。并通过服务的方式提供调用来达到解耦及统一管理的目的。策略可控制到表、文件，粒度到字段级、行级的并可给不同用户授权灵活组合。①数据安全管理支撑②数据生命周期安全管理③数据应用安全防护④大数据安全管控⑤大数据基础设施安全数据溯源指根据追踪路径重新数据的历史状态和演变过程，实现数据历史档案的追溯。建立数据机制对数据产生、使用、传播全过程进行追踪，使数据中心具备从外部环境获取的泄露数据样本中追溯其责任人的能力。合作伙伴接口应用系统查询数据库查询服务器下载开发测试运维调试合作伙伴业务合作伙伴开发市场部.领导.大客户经理.市场营销人员经营分析师.报表人员系统管理人员开发测试人员第三方开发人员大数据平台系统管理员网络管理员数据库管理员数据中心数据话费详单客户资料订购关系账户信息积分数据充值卡数据经分报表其它FatclientThinclientMobile调用调用调用获取获取获取文件水印Web页面水印数据溯源开发测试人员第三方开发人员根据水印追溯数据泄露源头提供数据水印历史轨迹数据的完整性防护和溯源①数据安全管理支撑②数据生命周期安全管理③数据应用安全防护④大数据安全管控⑤大数据基础设施安全数据加密DBFiles外部数据源HiveHBase组件加密加密后的数据内部数据应用场景在Hadoop中，数据缺省是明文存放，这样会导致某些敏感数据存在泄密的安全隐患。实现方案Hive支持对表、列加密Hbase支持对表、列族和列加密支持AES、国密算法SM4、RC4等加密算法，同时允许使用用户自定义的加密算法防护效果用户可将敏感数据存储在大数据系统中表、列级别的细粒度加密支持算法的多样性，系统更安全业务透明，加解密过程业务无感知Hive/HBaseHDFS敏感数据写入加密/解密敏感数据读取*(&@#$^%!%$#$!(*^&*^*5!$!@^%$^!$!%#$@%#!!$#@!非敏感数据非敏感数据Hive/HBase细粒度加密①数据安全管理支撑②数据生命周期安全管理③数据应用安全防护④大数据安全管控⑤大数据基础设施安全数据备份数据储存安全性OS层可靠性加固:RAID/OS写缓存保护实现掉电数据保护Raid策略:OS，OMS，NameNode，ZK及HDFS数据节点采用不同硬盘分区及Raid策略，兼顾性能情况下保证数据可靠性快速故障检测:结合存储产品技术支撑能力，快速发现故障硬盘，降低MTTR，提高数据可靠性硬盘热插拔:支持在线集群硬盘更换不影响业务，降低MTTR.第三方备份系统集成:数据可以灵活的备份在外部系统如NAS、磁带库，只是和NBU等备份软件集成跨数据中心数据备份：HBase集群通过HLOG准实时复制，HDFS/Hive集群通过BackupAdmin异步复制实现跨数据中心灾备33346578665847①数据安全管理支撑②数据生命周期安全管理③数据应用安全防护④大数据安全管控⑤大数据基础设施安全数据多租户隔离数据隔离技术：基于POSIX模型：支持按用户、用户组、其他用户的读写执行控制权限细粒度ACL访问控制模型：Hadoop2.4支持RBAC，支持任意多个用户组，不同用户组有不同访问权限配额管理：针对目录设置文件数量限额和存储空间的限额

多租户隔离机制采用Hadoop平台自带的资源和数据隔离机制实现。在一个物理Hadoop集群中采用多租户方式实现资源隔离和共享，给租户分配服务的访问权限和资源配额。①数据安全管理支撑②数据生命周期安全管理③数据应用安全防护④大数据安全管控⑤大数据基础设施安全标签维度枚举校验返回结果长度类型校验数据内容流量校验对于特定的具备枚举值的标签内容可进行校验，不在枚举值以内的数据会在校验结果中予以提醒示例信用等级ABCD信用等级的枚举值只包含A、B、C、D四种，如果在出网时校验出存在四个值以外的内容，则在校验结果中给出预警对于具备固定长度和类型的字段在出网时根据其值的长度和类型进行校验，不符合的予以预警收入类型：一串数字13.2XX路校验不通过收入的值应为一串数字，如果在校验时包含了汉字，有可能是通过数据转移相加的方式窃取权限外数据对于出网数据的流量进行记录比对，产生较大幅度变化的数据进行预警，防止携带其他数据出网上次出网大小53M本次出网大小112M某合作伙伴调用服务的明细数据在上次出网时大小为53M，而本次为112M，产生较大幅变化，应预警并检查出网数据详细内容示例示例自定义数据内容校验对于不具备枚举值或其他校验特征的数据，如其内容上有相关规则定义，可自定义为校验内容在出网时进行校验地址姓名身份证IMEI加密数据申请控制数据申请主体控制：对于发起数据申请的主体是否已授权进行校验，在数据申请过程中通过会话建立时的信息进行主体权限判定数据输入参数控制：对于调用API时的输入参数进行校验，是否符合该API的入参要求，如校验存在问题则及时予以预警对数据输出内容进行控制，通过多种检验规则，降低数据出网时数据泄露的风险。数据输出审核①数据安全管理支撑②数据生命周期安全管理③数据应用安全防护④大数据安全管控⑤大数据基础设施安全大数据平台（含数据库）脱敏主机文件脱敏1、用户访问大数据平台时，根据用户权限对用户访问的敏感信息进行脱敏处理。2、对于极敏感数据，结合多人审批机制加强管理力度。大数据平台多人协同审批（可配）后台运维管理人员使用命令查看主机文件时，根据用户权限对访问的文件内容进行脱敏处理。应用系统前台展现脱敏业务系统前台展现时，根据用户权限对前台页面展现的敏感数据进行脱敏处理。结合敏感数据扫描发现的结果和敏感数据分级分类管理办法，制定敏感数据脱敏规则，并与用户权限相关联，针对大数据平台数据访问、主机文件访问、前台页面数据展现三个场景进行数据脱敏。数据脱敏管控①数据安全管理支撑②数据生命周期安全管理③数据应用安全防护④大数据安全管控⑤大数据基础设施安全数据入口安全控制：使用数据加密脱敏的手段保证数据安全从入口直接控制数据安全的隐患对数据以及属性字段敏感分级通过创建视图和加密的UDF函数来实现字段及的脱敏加密数据出口安全控制：API代理返回报文脱敏SQL语句改写差分隐私技术函数加密查询API临时私钥安全审计：通过事前、事中及事后不同阶段的审计确保数据的安全接入通道安全：使用HTTPS非对称证书保证通道安全使用sessionkey验证传输合法从接入通道、数据入口、数据出口三个方向提供全方位的安全保障，并提供事后安全审计。数据转移管控①数据安全管理支撑②数据生命周期安全管理③数据应用安全防护④大数据安全管控⑤大数据基础设施安全加强对数据安全接口控制提升，增加多种检验规则，极大降低数据出网时数据泄露的风险日志存储/hdfs4A系统4A审计密文密文数据开发合作伙伴开发平台数据源公有数据明文私有数据采集私有数据处理私有数据汇总明文明文明文密文数据网关数据安全控制器日志安全审计标签维度枚举校验数据长度类型校验数据内容流量校验自定义数据内容校验标签维度枚举校验返回结果长度类型校验数据内容流量校验对于特定的具备枚举值的标签内容可进行校验，不在枚举值以内的数据会在校验结果中予以提醒示例信用等级ABCD信用等级的枚举值只包含A、B、C、D四种，如果在出网时校验出存在四个值以外的内容，则在校验结果中给出预警对于具备固定长度和类型的字段在出网时根据其值的长度和类型进行校验，不符合的予以预警收入类型：一串数字13.2XX路校验不通过收入的值应为一串数字，如果在校验时包含了汉字，有可能是通过数据转移相加的方式窃取权限外数据对于出网数据的流量进行记录比对，产生较大幅度变化的数据进行预警，防止携带其他数据出网上次出网大小53M本次出网大小112M某合作伙伴调用服务的明细数据在上次出网时大小为53M，而本次为112M，产生较大幅变化，应预警并检查出网数据详细内容示例示例自定义数据内容校验对于不具备枚举值或其他校验特征的数据，如其内容上有相关规则定义，可自定义为校验内容在出网时进行校验地址姓名身份证IMEI加密数据申请控制数据申请主体控制：对于发起数据申请的主体是否已授权进行校验，在数据申请过程中通过会话建立时的信息进行主体权限判定数据输入参数控制：对于调用API时的输入参数进行校验，是否符合该API的入参要求，如校验存在问题则及时予以预警数据检查校验①数据安全管理支撑②数据生命周期安全管理③数据应用安全防护④大数据安全管控⑤大数据基础设施安全应用访问安全用户ID号码姓名明文明文明文用户ID号码姓名明文密文密文用户ID号码姓名明文密文密文用户ID号码姓名明文明文明文调用标签查询Api(号码)将号码转换为密文密码,提交sql到开放数据库进行查询Select号码,姓名fromwhere号码=加密(查询号码)将查询的结果的姓名进行解密，返回结果输入安全控制输出安全控制外部系统调用应用访问安全：第三方应用通过从控制访问数据的入口及出口的链路来防护数据安全。①数据安全管理支撑②数据生命周期安全管理③数据应用安全防护④大数据安全管控⑤大数据基础设施安全应用安全防护产品安全组长：负责产品的整个安全性开发，测试，维护的整体过程，对于出现的问题给予指导，帮助，协调。需求分析人员：负责应用系统需求收集、需求分析为后续工作提供基础。系统设计人员：负载整个应用系统的架构设计、数据库设计、模块详细设计。

开发人员：对于开发人员的设计、完成的代码进行代码安全扫描（FindBugs、Jtest等工具），对于存在的安全性问题给予整改。测试人员：产品发布之前进行安全测试（白盒测试、黑盒测试、模糊测试等），对于存在的安全漏洞责令开发人员进行整改。维护人员：配合局方进行的定期部署环境的安全审计。

多扫描器多阶段扫描策略，有效避免因不同扫描工具、不同扫描时间引起结果不同从而导致安全漏洞遗留在运行网站中的情况。扫描工具包括WEBRavor、WEBScan、AppScan等。安全风险评估安全危险建模内部安全核查投产后安全监控投产前安全核查安全开发生命周期流程①数据安全管理支撑②数据生命周期安全管理③数据应用安全防护④大数据安全管控⑤大数据基础设施安全安全防护思路：针对大数据平台独特的访问方式建设

大数据安全管控系统，将大数据系统与大数据分析人员、大数据维护人员隔离开来，形成访问缓冲区，既便于对大数据系统的使用者进行统一帐号、权限管理，又实现了访问大数据系统的事中控制和动态访问数据脱敏，极大程度上提高了大数据系统运维操作的安全性；数据开放安全基于接口数据网关的方式，实现应用接入的身份识别、访问控制、业务操作审计以及敏感数据的脱敏。帐号管理统一认证授权管理操作审计事前访问控制基于访问区域的控制基于访问时间的控制事中访问控制基于命令集的访问控制基于金库模式的访问控制访问控制敏感数据识别敏感数据分类、定级敏感数据脱敏数据安全应用通过API方式访问大数据平台操作日志的完整记录（5W1H）用户通过命令方式访问大数据平台操作日志的完整记录（5W1H）第三方应用访问租户API权限管理用户访问权限的授权（实体级授权）与鉴权用户操作权限的授权（角色、细粒度授权）与鉴权第三方应用通过数据开放访问大数据平台的认证内部应用系统访问大数据平台的认证用户访问大数据平台的认证、单点登录大数据平台依赖Kerberos认证的帐号管理用户账号的集中管理应用账号的集中管理大数据平台依赖服务器自身认证的帐号管理用户账号的集中管理应用账号的集中管理大数据安全管控-①数据安全管理支撑②数据生命周期安全管理③数据应用安全防护④大数据安全管控⑤大数据基础设施安全大数据平台安全防护功能框架门户访问代理数据安全HIVE代理HBASE代理HDFS代理JOB代理策略管理权限视图数据视图规则管理数据管理规则管理审计报表数据发现数据识别数据分类数据定级数据脱敏用户安全帐号管理应用管理用户账号管理程序帐号管理应用注册应用变更应用删除监控视图生产大数据平台HIVEHDFSHBASESparkStorm……脱敏策略脱敏规则授权管理访问权限管理操作权限管理认证管理认证中心管理访问策略管理组织角色管理平台单点登录应用访问授权HIVEHDFSHBASESparkStorm……数据开放平台大数据平台审计管理日志采集审计分析审计告警数据网关应用系统统一接入数据服务引擎大数据安全管控功能框架①数据安全管理支撑②数据生命周期安全管理③数据应用安全防护④大数据安全管控⑤大数据基础设施安全用户安全管控应用层面：使用SAAS应用的用户和对SAAS进行运营管理的用户服务层面：使用DAAS或PAAS的用户和对DAAS、PAAS平台进行运营管理的用户数据处理层：访问小型机集群、Hadoop系统、内存计算集群、流处理计算集群的用户存储层用户：访问数据存储系统的租户或者数据维护人员平台层：访问网络、计算机资源、安全设备的人员采集层：访问ETL云平台的用户4A支撑平台大数据安全管控平台应用层用户服务层用户数据存储层用户采集层用户数据处理层用户数据存储层用户数据处理层用户用户分类效果：4A平台对大数据平中的系统资源、应用资源提供集中帐号管理、统一认证管理、集中权限管理、操作审计管理的安全服务；大数据安全管控平台对大数据平台中的Hadoop、Hive、Hbase、Spark大数据系统提供集中帐号管理、统一认证管理、集中权限管理、操作审计管理的安全服务。①数据安全管理支撑②数据生命周期安全管理③数据应用安全防护④大数据安全管控⑤大数据基础设施安全基于kerberos实现大数据系统帐号与服务器帐号的解耦，通过4A平台对用户帐号管理过程为：在4A中为其创建自然人帐号和程序帐号并接口同步给大数据安全管控平台。将新创建的帐号同步给其要访问的Hadoop的Kerberos，使得其可以访问Hadoop平台，并保证帐号密码的复杂度满足要求。帐号唯一身份凭证自然人≠服务器主机帐号全局强密码认证中心身份认证票据签发帐号解耦账号管理集中化①数据安全管理支撑②数据生命周期安全管理③数据应用安全防护④大数据安全管控⑤大数据基础设施安全

用户访问大数据系统的权限分为访问权限（实体级授权）和数据操作权限（细粒度授权）两种；通过访问代理技术实现用户访问大数据系统的权限鉴权，只有授权过的用户和操作才可以访问大数据提供，否则拒绝访问。权限的自动化通过4A平台和BDS共同完成。访问代理大数据系统认证中心大数据系统资源类型支持的操作Hadoop目录授权、创建、重命名、移动、删除、描述、列出内容文件授权、上传、下载、重命名、移动、删除、描述HBase表授权、创建、删除、描述、查询数据列簇读取对应数据Hive库授权、创建、删除、描述表授权、创建、删除、重命名、查询数据列读取对应数据校验访问权限校验数据权限大数据系统访问授权细粒度授权认证鉴权访问授权集中权限控制①数据安全管理支撑②数据生命周期安全管理③数据应用安全防护④大数据安全管控⑤大数据基础设施安全管理上要求运维人员和上层应用将试点系统作为大数据平台唯一入口，避免多入口造成安全风险点分散难以兼顾统一访问视图访问代理服务应用系统运维人员大数据平台大数据平台应用系统运维人员运维人员统一操作入口：提供统一的访问操作视图，供用户访问和操作大数据平台使用。上层应用统一访问入口：提供统一的访问代理服务，应用系统访问大数据平台时均需要通过访问代理服务进行。访问控制策略统一访问入口用户认证管理统一化①数据安全管理支撑②数据生命周期安全管理③数据应用安全防护④大数据安全管控⑤大数据基础设施安全数据访问控制用户访问控制：大数据平台的存储系统分为传统的数据存储系统（MPP、传统DB）、新兴的大数据系统（Hadoop、Hive、Hbase）与流处理，针对数据处理层用户、数据层存储层用户和平台层用户访问存储系统的访问控制分别有4A的堡垒和BDS来实现。效果如下：BDS：为用户访问大数据系统提供单点登录、操作鉴权、操作记录以及结合4A金库实现对重要数据的双重控制。堡垒：为用户访问传统DB和通过命令方式访问大数据系统提供单点登录、访问控制、结合4A金库实现对重要数据的双重控制权限映射访问控制应用发布单点登录协议代理实时监控操作记录大数据访问用户4A堡垒平台数据库HDFS自然人账号+密码设备账号+密码OracleNameNodeDB2DateNode。。。①数据安全管理支撑②数据生命周期安全管理③数据应用安全防护④大数据安全管控⑤大数据基础设施安全数据访问审计用户操作合规审计源代码审计敏感数据访问合规审计敏感数据存储合规审计审计策略主动或被动获取用户在应用层、服务层、数据处理层、数据存储层、采集层、平台层的各项操作，以审计策略为基准对用户的操作进行合规审计。对各层的应用系统进行源代码安全审计，以发现应用程序编码过程中造成的安全漏洞，通过源代码静态分析工具，对已有的代码进行扫描、分析，并对导致安全漏洞的错误代码进行定位和验证。通过主动或被动的方式获取用户、应用对敏感数据访问的操作，对数据的访问权限合规性、数据传输的合规性、数据导出的合规性进行审计。根据DACP数据安全防护规范体系中对数据的分类、定级以及存储策略的定义，对数据存储层和采集层的各类大数据系统进行定期扫描，对数据存储的合规性进行审计。①数据安全管理支撑②数据生命周期安全管理③数据应用安全防护④大数据安全管控⑤大数据基础设施安全平台安全防护方案（安全监控和作业自动化）平台安全分为两类：传统的：将平台所用的服务器、网络设备、安全设备、新建的应用系统纳入SMP的管控范围，实现安全漏洞、安全补丁、安全合规的统一管理。新兴的：实现对虚拟化软件、大数据系统的安全漏洞、安全补丁、病毒防护的统一管理。采集单元策略管理合规管理风险管理安全作业安全设备（防火墙、IDS、抗DDOS、防篡改）用户安全网络安全系统安全应用安全数据安全BDS系统系统设备（主机、数据库、网络设备）DACP系统控制单元防护效果：传统设备纳入SMP：实现对各类安全设备的集中化监控和策略管理；实现安全的主动“检查”，”合规作业”能力；DS平台安全防护：以最小的资源消耗为同一硬件虚拟出来的所有服务器提供防病毒保护；解决由于更打补丁造成的业务中断和蓝屏等现象，从而降低运维风险；反应快速，可缓解关键服务器和桌面暴露于新漏洞威胁的情况，有效避免泄露事件发生；为停止支持的操作系统和应用程序提供补丁防护，从而延长旧有系统的使用寿命，节省升级或改造成本。①数据安全管理支撑②数据生命周期安全管理③数据应用安全防护④大数据安全管控⑤大数据基础设施安全网络安全防护方案（虚拟安全、APT防护）针对采用虚拟技术构建的资源池防护采用对应的安全防护技术保证虚拟网络环境的安全性。深度威胁发现平台——有效识别、分析APT攻击并进行拦截DeepSecurity——为虚拟环境提供传统安全防护技术无法提供的安全防护①数据安全管理支撑②数据生命周期安全管理③数据应用安全防护④大数据安全管控⑤大数据基础设施安全网络安全防护方案（安全域）依据《中国移动业务支撑网安全域划分和边界整合技术要求》对大数据平台进行安全域划分，并提供相应的安全防护。互联网子域：应用层、服务层外部接口子域：服务层内部接口子域：服务层核心域内部：数据处理层、数据存储层、数据采集层互联网子域外部接口子域核心域内部内部接口子域1、误操作2、滥用3、网管配置缺陷4、利用服务漏洞对系统进行破坏5、病毒1、拒绝服务攻击2、漏洞攻击3、病毒蠕虫4、口令猜测1、人员滥用.2、数据安全1、人员滥用和数据安全2、口令猜猜3、病毒蠕虫大数据平台硬件：IDS、防拒绝服务攻击设备、防病毒网管设备、负载均衡设备、基于状态监测的防火墙。软件：防病毒软件。策略或规定：外部接口只允许访问对外必须的服务端口；禁止核心域内部各自域主动发起访问互联网；对外提供的数据必须加密；外部访问内部有限考虑VPN硬件：防火墙、IDS、防病毒网管。策略或规定：根据源地址、目的地址、目的端口等进行限制；数据加密传输；访问控制列表的控制；硬件：IDS、防病毒网关。策略或规定：边界网络设备上设置访问控制列表（ACL），并且设置路由过滤安全策略；高可用性部署，消除单点故障；禁止口令文件和敏感信息以明文方式穿越边界。硬件：防火墙、防病毒网关、入侵检测和入侵防护设备。策略或规定：开发测试系统和生产系统采用ACL或者防火墙进行访问控制；安全设备放入业支网管子域；接入域的特定子域在最小授权原则设置安全策略下访问核心域；操作核心系统