【《大数据平台安全体系架构分析案例》6300字（论文）】

大数据平台安全体系架构分析案例目录TOC\o"1-3"\h\u29795大数据平台安全体系架构分析案例 157711.1信息安全体系 1171411.1.1信息安全体系框架 193481.1.2安全风险评估 1115541.2大数据平台架构体系 298161.3大数据安全标准体系 5288481.4大数据安全风险评估 7251321.5大数据安全架构体系 712491.6大数据安全管理体系 8156711.6.1安全策略 8248351.6.2安全组织 9175721.6.3安全运行 11信息安全体系信息安全体系框架完整的信息系统安全体系框架包括安全技术体系、安全管理体系和安全组织机构体系，三部分互相协同、缺一不可。安全技术体系确定“用什么做”；安全管理体系确定“怎么做”；安全组织体系规定“谁来做”。（1）安全技术体系安全技术体系集成、整合所有技术控制措施，保障各种技术协同工作发挥作用，将风险降低至可接受的程度，实现安全要求。（2）安全组织机构体系对于整个组织内部中出现各类信息，通过构建安全组织机构体系来实现各项安全责任的详细定义和严格落实，在此基础上为整个组织及后期的安全运行维护、安全技术以及安全管理等形成有效支撑。ADDINNE.Ref.{EFD51B9D-7B33-4197-A445-DD6C81477263}[10]（3）安全管理体系管理制度和流程所形成的安全管理系统是管控安全风险的基础，针对流程、对象、规则、方法以及要素等进行详细定义。安全风险评估从风险管理的角度来看，信息安全风险评估主要是利用各种科学的方式对整个网络和信息系统在演习过程中面临的漏洞或者存在的威胁进行系统分析，同时对所出现的安全事件可能对系统造成的危害程度进行评估，以此为基础对整个系统的防护措施提出针对性的抵御措施或整改意见。同时对信息安全存在的风险进行有效防范和化解，或者通过可行的手段将风险控制在可控范围内，在此基础上就能够为整个网络以及信息安全最大程度提供安全保障。ADDINNE.Ref.{EFD51B9D-7B33-4197-A445-DD6C81477263}[11]下图展示了安全风险评估流程。图3-1安全风险评估流程示意图大数据平台架构体系在整个大数据处理的生命周期范围内，其技术体系内包括了数据的采集和处理、存储和管理、计算与系统、数据分析与挖掘、数据可视化以及隐私和安全等各个方面的问题，以下展示的是其主体构架。ADDINNE.Ref.{EFD51B9D-7B33-4197-A445-DD6C81477263}[12]图3-2大数据技术架构针对大数据进行预处理和采集数据源呈现出多元化是大数据最为重要的一个特征，各类数据形式不仅包括了文本、网页、图像数据库等一些结构化形式的数据，此外还包括一些半结构化以及非结构化等数据。鉴于此，在对大数据进行处理的过程中，首先需要基于数据源对各类型数据进行预处理，并完成数据的集成，在此基础上才能够为后续数据集的高质量构建提供基础。由于不同数据的数据源不统一，因此在对各类异构数据源实施集成的过程中首先需要进行各类数据的清洗，将些重复、相似或者是不一致的数据进行及时消除。ADDINNE.Ref.{EFD51B9D-7B33-4197-A445-DD6C81477263}[13]数据存储与管理大数据的应用和数据存储之间存在紧密关联。在实施存储和管理之前，首先做好数据访问北向接口配置，适配上一层数据和应用的对接需求，而且必须要保障数据存储达到PB或者是EB量级，这种要求是无法通过传统的处理技术实现的。ADDINNE.Ref.{EFD51B9D-7B33-4197-A445-DD6C81477263}[14]针对大数据当前环境下面临的存储和管理挑战，已经出现了大量的新技术，其中分布式缓存、建立在mpp基础上的分布式数据库以及分布式文件系统是其中最具代表性的几种。此外还包括了多种类型的NoSQL分布式存储方案。大数据计算模式对于大数据的计算模式来说，其主要是结合数据的具体特征和计算特征，针对海量数据计算问题以及实际需求进行进一步提炼，构建一种更高层次的抽象模型。此类计算模式的出现对于大数据的应用起到了极大的推动作用。对于大数据的处理而言，主要包括数据特征和计算特征等两个维度的内容，全面涵盖了数据结构、数据获取、数据处理、数据关联性等各类结构特征。ADDINNE.Ref.{EFD51B9D-7B33-4197-A445-DD6C81477263}[15]下表展示的是一些典型的大数据计算模式系统。表3-1典型大数据计算模式与系统典型大数据计算模式典型系统图计算Pregel、Giraph、Trinity、PowerGraph、GraphX等大数据查询分析计算HBase、Hive、Cassandra、Impala、Shark、Hana等内存计算Dremel、Hana、Spark等流式计算Scribe、Flume、Storm、S4、SparkStreaming等批处理计算HadoopMapReduce、Spark等迭代计算HaLoop、IMapReduce、Twister、Spark等大数据环境下的数据分析和挖掘大数据时代的来临使得数据呈现出了多样化和异构化的特征，而且相对于传统模式下的小样本数据所体现出的价值特征，需要对大数据进行深入分析和挖掘，才能够让数据的质量和可信度得到全面提升。由于在大数据环境下存在结构化和半结构化等各种类型的数据形式，因此在进行大数据挖掘的过程中估计会涉及到图片类型文件的挖掘，而且还需要针对文本文件开发出大规模的检索和挖掘技术。ADDINNE.Ref.{EFD51B9D-7B33-4197-A445-DD6C81477263}[16]大数据可视化分析大数据时代，海量、非结构据是数据探索、分析和理解的需要解决最为棘手的问题。数据处理是进行数据分析的核心所在，但是对于用户来说结果才是其重点的关注内容。ADDINNE.Ref.{EFD51B9D-7B33-4197-A445-DD6C81477263}[17]目前常用的方法是可视化技术和人机交互技术。针对各类数据流采用可视化技术能够实现快速的简化和提炼，在此基础上就能够让用户快速筛选出所需要的大规模数据，也能够从复杂的数据流中及时找出新的数据价值。同时面向用户使用极具形象化特征的图形方式进行展示，已经成为当今科学和工程计算领域中应用效果最佳的一种方式。此外，人机交互技术这种以人为中心的技术形式，对当前大数据分析结果的展示问题提供了有效解决方案，而且通过这种技术也能够让用户及时地参与到数据的分析和深入了解中。ADDINNE.Ref.{EFD51B9D-7B33-4197-A445-DD6C81477263}[18]而在这个分析过程中，通过人机交互技术可以对用户的数据分析形成积极引导，在此基础上不仅能够让用户获取精确的数据分析结果，而且也能够对数据结果的进行未来预测；同时也可以充分借助数据起源技术对整个数据分析过程进行全面追溯，从而使用户对于数据结果的理解更加深刻。大数据处理工具Hadoop是目前最为流行的大数据处理平台，是由Apache公司为实现Google的MapReduce编程模型开发的一个云计算开源平台，在实际应用过程中体现出了高效性和可伸缩性，能够针对PB量级的数据进行高效处理。因此Hadoop从某种程度上可以被称为一种大数据处理的标准工具。图3-3ApacheHadoop生态系统典型工具示意图现有的大数据处理工具大多是对开源的Hadoop平台进行改进并将其应用于各种场景，因此完整生态系统中所包含的各个子系统针对大数据的处理都具备了相应的改进产品。目前在进行大数据进行分析处理的过程中主要应用的工具有：Hadoop、HPCC、Storm、ApacheDrill、RapidMiner、PentahoBI等。上述这些工具目前已经实现了商业化应用，而且其中一部分属于开源性软件。绝大部分的商业化应用软件可以充分借助开源Hadoop平台来实现功能的进一步拓展，或者可以参考Hadoop来提供相应的数据接口。ADDINNE.Ref.{EFD51B9D-7B33-4197-A445-DD6C81477263}[19]大数据安全标准体系下表展示的是大数据的基本安全标准体系：表3-2大数据安全国家标准体系表序号类别国家标准编号标准名称状态1通用要求GB/T20009-2019信息安全技术-数据库管理系统安全评估准则ADDINNE.Ref.{757B5DC0-3E76-423A-829A-BCAF7D198F77}[20]已发布2GB/T20273-2019信息安全技术-数据库管理系统安全技术要求ADDINNE.Ref.{DC35150B-0DCE-49B0-8AC4-23F0C689428C}[21]已发布3GB/T22080-2016信息技术-安全技术-信息安全管理体系ADDINNE.Ref.{B1F8FE8E-7EF1-463E-8F89-CA0B97240FA8}[22]已发布4GB/T22081-2016信息技术-安全技术-信息安全控制实践指南ADDINNE.Ref.{6BCD122D-ED7B-4D0E-B821-782F642D4694}[23]已发布5GB/T31496-2015信息技术-安全技术-信息安全管理体系实施指南ADDINNE.Ref.{9BEE9286-AED7-475C-B693-7BD4C02FCD66}[24]已发布6GB/T31167-2014信息安全技术-云计算服务安全指南ADDINNE.Ref.{D00AC42D-2660-4480-A38C-85A9F0084178}[25]已发布7GB/T31168-2014信息安全技术-云计算服务安全能力要求ADDINNE.Ref.{3CCF5ADF-AF1A-445F-887B-92D52BA764EE}[26]已发布8GB/T37973-2019信息安全技术大数据安全管理指南ADDINNE.Ref.{816B0E3C-F7AB-4E1E-BF38-2DF5B58F7495}[27]已发布9信息安全技术-信息技术产品在线服务信息安全规范拟研制10信息安全技术-大数据安全参考架构拟研制11信息安全技术-大数据全生命周期安全要求拟研制12隐私保护GB/Z28828-2012信息安全技术-公共及商用服务信息系统个人信息保护指南ADDINNE.Ref.{F8BB4B32-6DFF-4C8B-801A-D0B6456243FC}[28]已发布1320130323-T-469信息安全技术-个人信息保护管理要求在研1420130338-T-469信息安全技术-移动智能终端个人信息保护技术要求在研15信息安全技术-个人信息保护指南拟研制16信息安全技术-大数据中的隐私保护规范拟研制现有安全标准部分适用于大数据安全，但针对大数据的安全框架、隐私、访问控制类标准尚为空白。表3-3大数据安全其它相关标准体系表序号类别标准名称1工信部级标准工信部《通信网络安全防护管理办法》ADDINNE.Ref.{4AD4AFAE-A79F-4F78-BC3C-0923CB296D36}[29]2中国电信企业级标准《中国电信通信网络安全防护管理办法》ADDINNE.Ref.{586E3A32-DCD1-4637-B83F-05A9482B4717}[30]3行业标准CSA《云计算关键领域的安全指南》ADDINNE.Ref.{6735403C-D8E4-454F-BE7F-21345D5F7218}[31]不过目前针对大数据正在逐步加速相关法律法规制度的建设，对数据的开放和保护等多个层面也正在加强制度研究，希望通过制度来实现各主体责任和权利义务的明确。随着相关法律法规的出台，针对信息网络和各关键行业中的信息系统安全保护也在实现不断的强化，在此基础上大数据安全就能够得到有效保障。大数据安全风险评估Hadoop是目前使用范围和深度相对较高的大数据处理平台，开发之初是为了解决如何管理大量的公共web数据，因此假定集群总是可信任和可验证的，包括组成的计算机组集群也全部位于一个安全可靠的环境中，因此未考虑数据保密性和完整性等安全问题。Hadoop在初期的应用阶段并未构建相应的安全模型，针对用户和服务并未设置相应的验证环节，而且也不存在任何的数据隐私。ADDINNE.Ref.{6735403C-D8E4-454F-BE7F-21345D5F7218}[32]随着Hadoop在数据分析和处理平台中的地位日益凸显，来自Hadoop集群内部的恶意用户的威胁愈发显著。Hadoop平台使用中经常会碰到安全问题如下：如何才能够面向多样化类型的客户端用户以及应用来完成相应的验证？面对多元化的服务如何来确认其并非非法冒充服务（例如，如何有效来预防非法的TaskTracker和Task？）在系统安全层面中面对已有的访问控制策略以及用户凭据强制数据如何对其访问进行控制？如何实现基于属性的访问控制（ABAC）或基于角色的访问控制（RBAC）？企业现有的安全服务与Hadoop之间如何实现有效集成？针对传输中的数据如何进行加密处理？针对静态数据如何进行加密处理？针对事件如何实现审计和跟踪，面对数据出处怎样才能实现跟踪？为解决上述实际安全问题，根据大数据系统的安全需求、等保要求，有针对性地锚定问题，结合大数据特征规划大数据安全架构体系的建设方案，研究相应的安全保障技术，开展大数据平台体系风险评估和安全加固。大数据安全架构体系下图所展示的是整个大数据安全架构体系。图3-4大数据平台安全架构体系在具体构建大数据安全保障技术的过程中，需要全面综合主机、数据、物理、审计、运营等多个层面的安全因素；同时以数据为重点，面向其整个产生、传输、采集处理、发布和展示等全生命周期有针对性的实施安全防护。为了最大程度地保护具有流动性和开放性特征的大数据安全，防止数据泄露、越权访问、数据篡改、数据丢失、密钥泄露、侵犯用户隐私等问题的出现，面向各类大数据的安全保障技术在应用过程中需要从技术标准、安全服务、安全工具和规范性等方面进行全面设计。除通过技术手段保护大数据的安全外，安全管理制度也尤为关键。通过规范化建设、完善资产管理、建立以数据为中心的安全系统、做好风险评估、提高企业员工安全意识等科学的大数据管理方法和手段，可以提升各类安全技术的应用效果，从而降低各类安全隐患、提升企业生产效率。大数据安全管理体系安全策略在构建起大数据平台完善的安全策略体系之后，就能够进一步明确其安全目标、方针、制度以及安全管理体系。（1） 总体目标根据国家和企业信息安全的具体要求，来进一步构建起“体系完善、职责明晰、全员参与”安全管理体系以及“主动防御、分级防护、集中管控”体系的整体构架，这样才能为整个大数据平台的建设以及后期运营维护提供基础安全保障。（2） 总体方针要始终坚持技术和管理同步推进，将技术和管理模式进行充分结合，针对大数据平台构建起有效的风险识别机制，同时对安全控制策略进行合理选择后，将整个平台的安全风险控制在最低程度。将分级防护与集中管控相结合，依据国家相关规定和信息安全管理要求和信息资产的重要性等级，按照不同的保护等级对重要资产和系统进行详细划分；同时在安全保护措施方面实施差异化保护，在管理组织和管控措施方面充分体现出层次化，针对大数据平台的建设、安全规划和管控实现全面统一。（3） 标准体系标准管理体系作为安全管理制度的基础，其构建过程应充分包括所有的安全制度和管理流程。构建完善的标准管理体系能够实现系统风险的有效管理，建立用户信任提供基础保障，同时还能够针对安全管理的各流程、管理规则、对象和方法以及要素等实现明确定义。（4） 管理制度要想构建起完善安全管理制度，首先必须要对整个平台的管理目标和范围进行明确，基于安全等级的不同有选择性地确定目标和范围，同时严格按照安全等级来设置相应的管理策略。安全组织通过构建基本的组织体系，明确执行过程中所需要的人员管理、第三方管理、安全培训，完善大数据的安全保障体系。（1） 组织架构管理组织构架应该严格遵照“职责分离、权限制衡”的基本原则来实现各岗位安全角色的详细划分，同时对数据的审核、申请、审批等各个流程制度进行逐步完善，通过建立科学化的管理流程推动组织体系的正常运行。数据需求部门需要结合其业务和产品需求来提出相应的数据申请。数据操作部门的提取操作需要全部经过安全管理部门的审核和授权，提取数据应与需求清单完全一致，并将数据提取结果送安全管理部门审核。安全管理部门的重点是针对数据申请进行审批，同时对数据访问权限进行授权；针对各类数据结果进行严格审核，保障数据的合规性；同时针对整个数据的提取过程实施严格监管。图3-5大数据安全管理流程（2） 人员管理针对企业内部有关大数据平台运转的各类人员实施严格管理，进一步详细划分为“任用前”、“任用中”和“任用结束”等一些不同的流程，相应配置人员的录用、考核和离岗等各个层面的安全管理策略。（3） 安全培训通过建立有效的培训体系，对受训人员短板进行安全意识教育培训、安全技术培训，加强训后执行和落实管理，从而保障安全培训管理的顺利实施和有效落地。（4） 第三方管理所谓第三方管理主要是针对来自于企业外部的维护、开发以及访问等各类人员的管理。在具体进行管理的过程中，需要结合大数据平台的业务分包实际状况，对各第三方单位职责分工进行明确界定，同时针对第三方业务开展过程中可能引发的风险进行精确识别；在开展合作之前需要针对各第三方责任说明以及背景知识详细调查，双方在合作过程中还需要定期开展相关检查，在合同的变更和终止之后要严格按照安全操作指南来确保数据安全保密。安全运行安全运行体系从大数据平台生命周期和安全风