大数据安全架构设计课件

1、大数据安全架构设计技术创新 变革未来安全问题背景大数据安全标准体系大数据平台安全架构大数据安全技术大数据安全技术体系用户认证与管理精细化权限控制元数据管理数据加密与秘钥管理监控管理大数据安全管理系统通用权限系统产品架构设计与展示安全审计系统产品架构设计与展示总结与展望演讲大纲日新增行为记录 430亿包括ERP、固件及80+业务线日新增数据量 70TB每年46x增长数据规模 30PB近4年累积集群设备规模2000+Hadoop + Spark + HBase数据、平台、业务快速发展安全问题背景安全问题突出令人 烦恼 的安 全问 题安全规范不完善存在诸多安全漏洞没有认证系统不能够精细化控制数据权限

2、没有对数据进行透明有效管理非法查阅敏感数据异常非法操作（攻击者的挑战）安全问题背景大数据安全及标准化纳入国家发展战略2017年4月，全国信息安全标准化技术委员会2017年第一次工作组“会议周”在武汉召开。会上，大数据安全标准化白皮书正式发布。安全问题背景大数据安全标准体系数据分类安全等级支付激活音乐ABC数据应用概念和框架角色和模型基础标准平台和技术系统平台安全平台安全运维安全相关技术数据安全个人信息安全重要数据安全数据跨境安全服务安全服务安全能力交易服务安全大数据安全标准体系大数据平台安全架构大数据平台安全架构大数据平台基础设施数 据 源 层数 据 接 入 层数 据 仓 库 层数 据 应 用

3、 层数据开发门户数据产品门户身份认证基础级访问控制基础级溯源审计基础级数据加密可选级数据安全分级机制监控 管理大数据安全技术体系边界限制只有合法用户身份的 用户访问集群技术概念： 身份认证 网络隔离Aquila（Kerberos、 Ldap、Knox）访问定义什么样的用户和应用 可以访问数据技术概念： 权限授权透明报告数据从哪来、如何使 用的技术概念： 审计数据溯源数据保护集群敏感数据避免数 据泄露技术概念： 加密秘钥管理 数据脱敏Hdfs Encryption & Ranger KMSScutum （ApacheApache Atlas Ranger） 大数据安全技术体系架构（图）监控管理实

4、时分析集群服务审计日志、审计预警用户行为技术概念： 实时易扩展 智能分析Apache Eagle大数据安全技术大数据安全技术用户认证与管理要点：开源Hadoop生态原生唯 一支持服务器到服务器的认证Client到服务器的认证不足：服务没有高可用用户及组信息不能集中管 理缺乏JAVA API LIB挑战：运维管理（如keytab、ticket有效期）用户认证与管理引入LDAP重点解决服务的高可用，同时兼顾性能，便利了用户及组信息的注册与管理。大数据安全技术LDAP replica 1LDAP replica 3LDAP replica 2Peer to Peer replicationKerbe

5、ros datareplicationMaster-replicareplicationMaster-replica replication（read only）（read only）（read only）（read / write）LDAP Master 1 KDC（read / write）LDAP Master 2 KDC精细化权限控制大数据安全技术Admin基于HIVE表的行列级权限管理基于HIVE表字段的敏感数据掩码策 略动态权限策略管理用户及组管理审计日志搜索查询UserSync支持从LDAP中同步用户及组信息与LDAP解耦Tagsyncs支持从Atlas同步TagPluginsH

6、DFSYARNFileLDAPUserSyncAdmin ServerYARNPluginHDFSPluginHIVEPluginHBASEPluginRESTWEBDBDB装载装载同步用户增、删、改、查存储策略审计日志拉取策略精细化权限控制大数据安全技术元数据管理大数据安全技术ApacheAtlas数据分类集中策略引擎生命周期（血缘）安全（透明）优势与Ranger、Falcon整合， 形成完整的数据治理方案基于标签的安全策略数据加密与密钥管理大数据安全技术加密KeyHDFS加密Zone加密Zone与创建加密Zone指定的Key相关联加密Zone内的每个文件仅有唯一加密Key（DEK）HDFS

7、无法访问DEK。DN只能看到一串加密字节。HDFS将“加密数据加密密钥”（EDEK）作为文件元 数据存储在NameNodeClient访问KMS解密EDEK，得到DEK去读/写数据HDFS Encryption（端到端数据加、 解密)密钥管理：提供对存储的加密Zone Key的（增、删、 改、查）访问控制策略：控制权限以生成或管理加密Zone Key，创建EDEK存储在HDFS审计：提供Ranger KMS访问事件的完整审计跟踪Ranger KMS（开源密钥管理服 务）大数据安全技术Encryption Zone Key （EZK）file1file3file2Encryption ZoneC

8、lientKeyProvider APINameNodeKeyProvider APIRanger KMSDEKcreategeneratereadwritereturn DEKsupply EDEKsupply EDEKsupply EDEK数据加密与密钥管理官方示例：# 以普通用户的身份创建一个加密 keyhadoop key create myKey# 以超级用户的身份创建一个空目 录,并使之成为加密空间hadoop fs -mkdir /zone hdfs crypto -createZone -keyName myKey -path /zone# 修改此目录权限为普通用户的 hado

9、op fs -chown myuser:myuser /zone# 以普通用户的身份进行put上传文件和cat查看文件操作hadoop fs -put helloWorld/zone hadoop fs -cat/zone/helloWorld监控管理大数据安全技术Apache Eagle核心能力：监控Hadoop中的数据访问流量检测非法入侵和违反安全规则的行为检测并防止敏感数据丢失和访问实现基于策略的实时检测和预警实现基于用户行为模式的异常数据行为检测Apache Eagle框架概览：LogStashKafkaHbaseHDFS数据搜集与存储数据处理数据展现实时流处理策略管理机器学习告警框架

10、管理界面第三方工具Apache Eagle主要优势：实时易扩展使用成熟的Hadoop生态技术一套现成可用的告警策略规则引擎机器学习算法大数据安全管理系统KDCKDCLDAPRANGERSCetusMZStreamingSCT-AgentSCT-AgentMYSQLYARN/HIVE HDFSSCT-Servicessct-stub.jarLDAP用户(组) 及权限设计用户权限 认证密钥获取权限认证 及集群访问通用权限系统产品架构设计SCT-WEBsct-stub.jar通用权限系统产品展示大数据安全管理系统1、用户（组）管理2、客户端IP与平台应用类型管理3、资源与权限策略管理（不展示）数据源层数据接入层数据处理层 服务层通信层ServerServerServerKafka存储HbaseDruidElasticsearchMysqlAmbari监控服务元数据服务产品集群服务 层 System/Log/Jmx/Job/Rest ApiServerServerServer 实时处理Policy EngineStorm 离线处理 MLSpark告警框架安全审计成本核算 预警服务操作服务Apache Eagle内核框架LogStashYarn Ti