【《大数据平台安全技术概述》6400字（论文）】

大数据平台安全技术概述目录TOC\o"1-3"\h\u4300大数据平台安全技术概述 1163241.1大数据系统安全关键技术 1311881.2基础设施安全 2242341.2.1主机安全 2325871.2.2网络安全与安全域划分 3223811.3数据安全 4272991.3.1数据采集传输安全 5166681.3.2数据安全分级 693571.3.3数据隔离 7164071.3.4数据隐私保护 8277981.3.5数据脱敏 8142641.3.6数据加密 10150101.4敏感信息防护 10169951.4.1敏感信息定义 103421.4.2敏感信息保护要求 10273401.4.3敏感信息保护加固方案 12大数据系统安全关键技术对于网络信息安全技术来说，其应用过程全面覆盖了网络、信息、计算机、通信等多个学科门类；时代的快速发展也进一步拓展了信息安全的外延，信息安全从最初的保密性逐步发展到大数据时代下的可用性、不可否认性以及完整性等各类要求，而且在基础理论方面和具体的实施技术方面经过不断发展最终形成“攻、防、测、控、管、评”等多个层面。ADDINNE.Ref.{6735403C-D8E4-454F-BE7F-21345D5F7218}[33]面对系统中存在的各种安全风险，大数据安全如何得到保障是平台需要重点考虑的问题ADDINNE.Ref.{6735403C-D8E4-454F-BE7F-21345D5F7218}[34]。构建大数据安全技术平台的过程中，大数据安全技术属于一项重要保障，可以从主机、网络、应用多个层面作为入口，并充分结合访问控制、认证、授权以及监测等相关手段，让整个系统能够具备安全主动防御、审查、恢复和检查中等主要功能。除传统安全技术外，大数据安全关键技术主要有：各类型数据存储和处理技术；大数据系统统一策略管理；整个系统配置基线的监察和监控技术；各类大数据实现去隐私化处理；利用合理的策略来实现数据的抽取和集成；对大数据从多个维度实施审计；对系统产生的访问进行监控和报警；对于各种访问行为实施追踪。ADDINNE.Ref.{6735403C-D8E4-454F-BE7F-21345D5F7218}[35]基础设施安全对于各类基础设施来说，其安全问题主要包括了平台机房、物理主机、网络等方面。在进行大数据网络和系统安全防护的过程中，应该严格按照安全区域划分、基础网络强化、主机安全防护强化系统不同模式来开展，建立大数据基础网络、主机系统等基础设施的纵深安全防御机制，提高基础设施的安全性、健壮性，同时还要充分保障连续性和稳定性。主机安全主机安全主要考虑：可信计算、虚拟化安全、主机防火墙、主机加固、防病毒、入侵防护、操作系统安全。大数据服务器主机设计过程中较为关注安全性，应重点关注服务器到服务器认证、客户端到服务器认证和用户访问级别控制三个方面。图4-1大数据平台服务器安全机制相对于小型机的封闭系统而言，PC服务器在软、硬件架构上开放性更大、标准化更高，这一方面推动了PC服务器的广泛应用，另一方面也给黑客攻击创造了便利条件，使得服务器底层代码容易被篡改后移植病毒或其他一些恶意程序；而系统漏洞的存在也为黑客窃取权限进而植入木马病毒或攻击程序造成机会。另外，无论是自建的IT服务还是云计算最难以防范的还是来自内部越权访问，常规的安全防护手段无法对此进行有效阻断。可信计算技术就是针对上述情况，从芯片、硬件结构和操作系统等方面广泛使用基于硬件安全模块支持下的可信计算平台，从根本上提高IT系统及网络设备的安全性。ADDINNE.Ref.{6735403C-D8E4-454F-BE7F-21345D5F7218}[36]网络安全与安全域划分在大数据平台的网络设计上，通过规划高效合理的网络架构，物理或逻辑隔离大数据系统与其他信息系统，设置防火墙规则来阻断恶意或无合法授权的访问行为。同时针对整个大数据平台还需要结合其具体运营情况配置相应的网络安全软件，以此来实现数据进出的有效管控。图4-2网络总体安全架构在对大数据平台安全区域进行划分的过程中，要始终遵循定级便利、边界清晰、功能简单等一些部署原则及策略。结合大数据本身的系统构架和业务流程特征，大数据的网络安全域可以经过进一步划分后形成数据采集、数据计算、数据外联以及管理几个不同的子域。数据采集的主要作用是实现电信内部和外部的数据采集；数据ETL部分的主要作用是针对数据进行清洗、缓存并最后完成数据发布；数据计算存储可以进一步经过划分后形成分布式存储和计算、分类存储、能力组件封装的几个不同的区域；数据外联则主要指的是设置服务器设备等的区域，其主要的作用是实现外部网络系统之间的统一连接；而整个管理子域最重要的作用是对系统平台进行管理，实现系统安全审计，并对整个网络严格进行监控。针对不同区域的边界位置对路由器策略进行详细设计，并进一步详细划分VLAN，或者通过部署防火墙等安全设备，就能够在物理隔离的基础上按照实际需求来设置相应的逻辑隔离防护。图4-3大数据平台网络安全分域示意图数据安全对于大数据平台来说，其基础设施的安全主要包括了机房、网络和主机等几个部分的内容。针对系统的安全防护应该严格按照安全域的详细划分，不断强化基础设施的建设，针对主机进行强化防护，对应急响应机制进行规范化建设，建立大数据基础网络、主机系统等基础设施的纵深安全防御机制，提高基础设施的安全性、健壮性，在此基础上保障服务提供的稳定性和连续性。ADDINNE.Ref.{6735403C-D8E4-454F-BE7F-21345D5F7218}[37]数据安全技术角度的防护整体思路：进不来：做好边界安全防护；找不到：做好访问控制与隐藏；拿不走：做好监控告警与阻断；解不开：做好数据加密存储；看不懂：做好数据模糊化处理；用不了：做好数字水印。数据安全管理角度的防护整体思路：识别开：能够对数据进行分级分类管理；管理全：不同数据采用不同防护措施；防护住：分层部署多维度防护；监测出：深度检测发现异常阻断追踪到：能够追查溯源数据泄露。根据大数据及应用需求的特点，可将数据的生命周期7个完整阶段进行合并精简，将大数据应用过程划分为采集、存储、挖掘、发布4个关键环节。采集阶段确保数据安全传输，分等级分类别管理数据安全；数据存储阶段需要对各类敏感数据实施脱敏处理并实现保护，并通过人工方式针对个人敏感数据的细粒度进行授权管理和访问控制；针对数据的挖掘和应用主要是严格审计数据的使用行为，借助相应手段实现数据溯源。数据发布阶段对数据内容及整个平台的网络设备、服务器及其他硬件进行统一安全审计。数据采集传输安全利用分布式数据采集对海量大数据进行处理的过程中，不可避免的会出现数据的丢失、被窃取、泄漏等一些风险，因此必须要充分综合客户身份认证、加密处理、安全防护等各种措施来保障数据采集的安全进行。一般来说，数据传输的安全要求有如下几点：（1）机密性：只有预期的目的端才能获得数据。（2）完整性：信息在传输过程中免遭未经授权的修改，即接收到的信息与发送的信息完全相同。（3）真实性：数据来源真实可靠。（4）防止重放攻击：每个数据分组必须是唯一的，避免被攻击者重复发送或使用。虚拟专用网技术在实际应用过程中实现了加密技术、协议封装技术等多种技术的综合，通过构建一个安全数据通道的模式，在一个协议的数据报文中对经过加密处理的原始数据进行封装切入，就可以让重要数据通过普通传输网络模式实现安全传输。大数据环境下海量数据的特征，使得数据采集、处理等变得较为特殊，在远程接入访问应用方面采用简单、灵活、安全的SSLVPN技术，可以保证节点间数据传输安全可靠，数据端到端的传输安全。与复杂的IPSecVPN相比，SSLVPN可内嵌在浏览器中，不需要为每一台客户机安装客户端软件，实现方法简易，是解决远程用户访问公司敏感数据最简单最安全的解决技术。ADDINNE.Ref.{6735403C-D8E4-454F-BE7F-21345D5F7218}[38]数据安全分级运营商大数据平台的数据有以下几类：ADDINNE.Ref.{ECFAD0EF-5BC1-4D12-B4D5-75E2591D634E}[39]1、消费信息对于用户来说及消费信息主要包括各类业务号码，或者是通过进行订购所产生的各类业务信息以及自身账号的账务信息等。2、业务/合作信息如在办理业务过程中的登记资料、账号入网协议、各类商业合同订单以及业务招标书等。3、身份信息（1）个人身份信息：包括个人客户的姓名、有效证件类别和证件编号、证件登记信息（如地址等）、有效通信联系方式、装机地址、银行账户信息等；（2）单位身份信息：包括单位客户的名称、单位有效证件类别及编号、办公或注册地址、联系人身份信息、有效通信联系方式、装机地址、单位授权书或单位证明、银行账户信息等；（3）代办人身份信息：包括代办人的姓名、有效证件类别和证件编号、证件登记信息（如地址等）、有效通信联系方式等。4、通信信息用户的通信信息主要包括了用户自身的位置信息、身份授权密码、原始通话单、业务登录的个人密码信息等。要通过精准高效的信息保护实现数据安全，就应该按照各分类下用户信息的敏感程度进行级别划分。通常可分为三个级别，从低到高分别为一级、二级、三级。ADDINNE.Ref.{ECFAD0EF-5BC1-4D12-B4D5-75E2591D634E}[40]一级用户信息：主要包含用户的消费信息与业务/合作信息；二级用户信息：主要包含用户的身份信息，如用户姓名、证件号码、地址信息、银行账号信息等；三级用户信息：主要包含用户通信信息，如用户通信详单、定位（位置）信息、用户身份鉴权信息等。因此，需要发现、定位和分类企业数据库中的敏感信息（哪些是敏感信息），将敏感数据进行分类并加密存储，与此同时对用户敏感数据的下载行为进行及时跟踪，对敏感数据下载生命周期进行严格把控，同时对二级以及三级用户信息必须严格进行脱敏处理。针对各类敏感数据实施严格保护，可以充分综合数据记录，为各类信息数据配置相应的标签，同时还可以针对用户来具体配置相应的标签，在此基础上通过系统自身的算法让用户实现透明化访问。图4-4敏感数据发现与分类数据隔离为了能够有效隔离不同用户之间的数据信息，可以严格按照实际需求针对不同用户之间的数据采取虚拟化、物理隔离多租户技术等各种方案，并为各类数据配置相应的安全隔离措施，从而对每一位用户的数据安全和隐私实施良好保护。此外还可以充分借助数据访问和分级来实现不同用户的数据隔离，进一步确保相互之间的独立性和隐私性，保护数据安全。数据隐私保护数据隐私保护技术主要包括以下3种。1、基于失真的隐私保护技术。对原始数据添加技术干扰手段来实现保护，数据失真技术在当今信息领域中主要包括了数据交换、添加噪声和随机化等一些技术。2、隐私保护加密技术。在进行数据挖掘的过程中，面对各类敏感数据，可以充分利用对称和非对称加密处理技术进行处理，通常在在分布式数据挖掘、科学计算等分布式应用环境中，实现数据安全保护。3、隐私保护匿名化技术。有条件的发布数据，如限制发布原始数据、不发布或者处理后发布的敏感数据。数据匿名化处理过程主要采用泛化和抑制的两种操作行为。数据脱敏在开发测试、统计分析、生产环境等各类数据采集、存储和处理的过程中，要对用户敏感信息进行模糊化和隐藏性的处理，降低安全风险，避免信息被批量截获并泄露。按照一定的规则针对隐私数据进行屏蔽、加密或者是变形处理之后实现脱敏处理，这种数据保护方式具有较高可靠性。图4-5数据脱敏管理流程数据脱敏过程的关键步骤包括：1) 明确需求：以业务开展实际需求为基准，对各类数据的脱敏方式进行明确，或者是面向数据选择合理的管理策略。2) 确定脱敏对象：确定哪些是需要脱敏的敏感数据，以及脱敏数据的来源等。可以通过工具自动探查敏感数据，也可以人工判断。3) 配置脱敏规则：根据不同的用户、不同的数据，采用适当的脱敏算法进行规制的配置。4) 测试脱敏规则：通过测试、检验规则的适用度、可靠性和业务适应性及效率。如果有新的需求点出现，可以进行迭代开发，不断完善。数据脱敏的方法主要有：数据替换（截断、加密、隐藏或使之无效）；随机化（以随机数据代替真值）；偏移（通过随机移位改变数字数据）；字符子链屏蔽（为特定数据创建定制屏蔽）；限制返回行数（仅提供可用回应的一小部分子集）。ADDINNE.Ref.{ECFAD0EF-5BC1-4D12-B4D5-75E2591D634E}[41]数据加密针对大数据环境下的海量数据加密处理，可以结合数据敏感度来有针对性的进行加密，这样就能有效避免在数据传输过程中敏感数据被非授权行为所窃取。数据加密分可为静态数据（文档、报表、资料等不参与计算的数据）加密和动态数据（需要检索或参与计算的数据）加密。数据加密处理后性能必然会受到影响，因此在进行加密处理的过程中必须要对数据的性能和敏感度进行权衡。敏感信息防护敏感信息定义所谓敏感信息主要指的是，该类型数据产生后丢失或被窃取会导致国家利益或者政府行为受到损害，个人隐私权也不能依法享有。对于企业来说，其敏感数据主要包括了知识产权、核心业务信息、商业机密等。ADDINNE.Ref.{ECFAD0EF-5BC1-4D12-B4D5-75E2591D634E}[42]而对于运营商的大数据平台来说，由于各个用户的个人信息涉及到了个人隐私，因此也是最为重要的一项敏感信息。ADDINNE.Ref.{ECFAD0EF-5BC1-4D12-B4D5-75E2591D634E}[43]国家工信部在2013年7月份全面综合《全国人民代表大会常务委员会关于加强网络信息保护的决定》、《中华人民共和国电信条例》等相关的条款，推出发布了《电信和互联网用户个人信息保护规定》。ADDINNE.Ref.{ECFAD0EF-5BC1-4D12-B4D5-75E2591D634E}[44]该规定指出，电信运营商以及互联网服务商面向个人用户提供业务的过程中所获取的个人用户的出生年月、家庭住址、身份证件号码、出生日期、个人账户密码等能够区别于其他用户的身份信息等都属于个人信息。ADDINNE.Ref.{ECFAD0EF-5BC1-4D12-B4D5-75E2591D634E}[45]根据最新出台的这一规定，运营商大数据平台需要将用户的密码、个人资料、上网行为记录、位置信息等用户个人信息中作为敏感信息，采取有效的保护措施、制定相关标准实施保护。敏感信息保护要求对于企业来说应该严格按照以下步骤来实现敏感信息的实时保护：1) 敏感信息的分类分级首先需要根据敏感信息管理的相关规定要求严格实施分类划级，同时充分结合数据风险管理、管理合规性等多方面的业务需求，来具体确定数据分类的数量和定义。运营商的大数据平台应严格按照数据的机密性，将用户信息数据进一步划分为敏感和非敏感数据等两个类型，针对不同类型的机密程度采取相应标准来实施严格分级。针对不同等级的敏感信息，制定差异化的数据保护策略。2) 基于信息生命周期的信息安全风险识别敏感信息的保护，需要从信息生命周期各个环节综合考虑，采取相应的安全管理或技术措施，并在此基础上识别造成信息资产泄露、篡改、破坏的安全风险，在充分综合风险产生的具体影响之后，进行针对性的风险规划和安全处理。大数据平台在整个生命周期内产生的信息收集和传输过程必须要将数据的可靠性和安全性作为重点；而针对数据的存储、归档和挖掘等方面要重点突出其完整性和保密性，在信息的共享方面要重点突出可用性和保密性，信息的使用方面聚焦数据访问安全。3) 针对敏感信息的数据脱敏数据脱敏处理主要指的是针对敏感数据按照特定的规则将其进行变形之后来实施数据保护。在开发、测试等非生产环境中安全地使用脱敏后的数据集；对于数据限制发布的应用，生产环境中也需要执行数据脱敏操作。4) 涉及敏感信息行为的审计监控针对敏感信息充分利用监控和安全审计来保障其权限的使用和管理能够处于可控状态。一旦在此过程中发现存在数据安全风险，必须要能进行及时的风险识别，并采取有效措施进行规避。针对各类用户的敏感信息产生的各种访问行为要及时进行审计，并充分利用报警、跟