大数据应用案例分析

1、在如今这个大数据得时代里，人人都希望能够借助大数据得力量：电商希望能够借助大数据进一步获悉用户得消费需求，实现更为精准得营销；网络安全从业者希望通过大数据更早洞悉恶意攻击者得意图，实现主动、超前得安全防护；而骇客们也在利用大数据，更加详尽得挖掘出被攻击目标信息，降低攻击发起得 难度。大数据应用最为典型得案例就是国外某著名零售商，通过对用户购买物品等 数据得分析，该用户一一一位少女寄送了婴儿床与衣服得优惠券，而少女得家人在此前对少女怀孕得事情一无所知.大数据得威力正在逐步显现，银行、保险公 司、医院、零售商等等诸多企业都愈发动力十足得开始搜集整理自己用户得各类 数据资料.但与之相比极度落后得数据

2、安全防护措施，却让骇客们乐了：如此重要 得数据不仅可以轻松偷盗，而且还就是整理好得，凭借这些数据骇客能够发起更 具“真实性”得欺诈攻击.好在安全防御者们也开始发现利用大数据抵抗各类恶 意攻击得方法了。扰动安全得大数据2 0 14年ID C在“未来全球安全行业得展望报告”中指出，预计到202 0年 信息安全市场规模将达到500亿美元。与此同时，安全威胁得不断变化、IT交 付模式得多样性、复杂性以及数据量得剧增，针对信息安全得传统以控制为中心 得方法将站不住脚。预计到2 02 0年，6 0 %马企业信息化安全预算将会分配到 以大数据分析为基础得快速检测与响应得产品上。瀚思(H a nSi g ht

3、)联合创始人董昕认为，借助大数据技术网络安全即将开 启“上帝之眼”模式。“您不能保护您所不知道得”已经成为安全圈得一句名言， 即使部署再多得安全防御设备仍然会产生“不为人知”得信息，在各种不同设备产生得海量日志中发现安全事件得蛛丝马迹非常困难。 而大数据技术能将不同设 备产生得海量日志进行集中存储，通过数据格式得统一规整、自动归并、关联分 析、机器学习等方法，自动发现威胁与异常行为，让安全分析更简单。同时通过丰 富得可视化技术，将威胁及异常行为可视化呈现出来，让安全瞧得见 .爱加密CBD高磊提出，基于大数据技术能够从海量数据中分析已经发生得 安全问题、病毒样本、攻击策略等，对于安全问题得分析能

4、够以宏观角度与微观 思路双管齐下找到问题根本得存在.所以，在安全领域使用大数据技术，可以使原本单一攻防分析转为基于大数据得预防与安全策略。大数据得意义在于提供了一 种新得安全思路与解决办法，而不仅仅就是一种工具，单纯得海量数据就是没有 意义得.如果大数据领域运用得当，可以十分便捷地与安全领域进行结合，通过对 数据分析所得出得结论反映出安全领域所存在漏洞问题得方向，从而针对该类漏洞问题制定出相对应得解决方法。卡巴斯基技术开发(北京)有限公司大中华区技术总监陈羽兴强调，大数据对 于安全公司就是件杀敌利器，对于黑客来说也就是一块巨大得“奶酪”，而这块“奶 酪”有时候不仅仅就是存放在一个地方，如果仍然

5、使用传统得防范手段一-端点、 网络、加密等一一就是不足以抵挡黑客得，所以作为安全公司不仅要着力去完善 自家得解决方案，同时在整个产业链各个环节得企业都要开放，形成产业协同。其实云计算得大热，就已经让用户与云服务提供商愈加意识到云安全得重要 性，云安全则更需要大数据。作为客户数据托管方得云服务提供商，客户最关注得就是服务提供商保证她们得数据安全：既不丢失也不被非法访问，且遵从法规 要求.即使就是在企业得私有云中，各个部门之间得信息安全也必须考虑，特别就 是财务数据、客户信息等。由于数据得集中，云所需要处理得数据可能就是PB 级甚至更大，如此大得数据量就是传统安全分析手段根本处理不了得，只有依靠大

6、数据分布式计算技术对海量数据进行安全分析.排兵布阵情报先行近两年，安全企业就如何运用大数据于网络安全中费尽了脑筋，而安全威胁情报可以说就是大数据技术在网络安全防御环节里比较成熟得应用。什么就是安全威胁情报？形象地说， 人们经常可以从CE R不安全服务厂商、 防病毒厂商、政府机构与安全组织那里瞧到安全预警通告、漏洞通告、威胁通告 等等，这些都属于典型得安全威胁情报。 而随着新型威胁得不断增长，也出现了 新得安全威胁情报，例如僵尸网络地址情报 (Zeus/SpyEy e Trac ker)、0 day 漏洞信息、恶意URLM址情报,等等。陈羽兴举了一个十分有趣得例子：中国股市刚刚兴起时，人们要去证

7、券大厅 了解行情，门口摆摊卖茶叶蛋得老太太虽然不懂股票，但就是她懂一个道理：茶 叶蛋生意清淡得时候买入、茶叶蛋生意火爆得时候卖出。其实茶叶蛋本身得销量数据不会直接导致股票得涨跌，但就是这两者之间存在“相关性”，大数据环境下 得安全威胁情报也就是如此.目前，无论国内还就是国外对安全威胁情报系统得建设都普遍参考ST IX标准框架，它有几个关键点：时效性、完整得攻击链条(包括：攻击行动、攻击入 口、攻击目标、In c i d ent事件、TTP-攻击战术、技术与过程、攻击特征指 标、攻击表象、行动方针等)以及威胁情报共享。而传统漏洞与病毒库只就是在 安全厂家捕获到样本后将对应得特征码更新到漏洞或病毒

8、数据库里，并没有将整个攻击过程完整描述下来，且缺少相互共享合作。大数据时代下，通过大数据得计算能力、算法与机器学习优势可以快速、自 动得在海量数据中发现安全问题，提升安全情报得时效性.其次由于大数据分析 得数据来自网络、终端、认证系统等各个维度，便于分析整个安全攻击链条形成 安全威胁情报.最后，随着一些新兴得大数据厂商兴起，用户至上、信息共享等互 联网思维逐步形成，使安全威胁情报共享得以实现。瀚思采用“图分析”结合强大情报系统(域名WE is、被动DNS、黑名单)所实现得极速感知可疑域名方法，就就是通过将每天各个渠道收集到得几十万域 名及其相关信息导入图数据库，根据节点关系快速绘制连接边，形象

9、直观得展现 节点之间内在联系，将有问题得域名暴露在安全分析人员得眼前，使得以域名为 基础得恶意行为无处躲藏，并以最快得速度查出恶意网站。卡巴斯基则在10年前就建立了自己得安全网络 KS N,通过多年得数据搜集 与研究，再加上其所设立得全球威胁分析团队 (Great te am),已经能够对未 来威胁走向进行相对比较准确得预判。而绿盟科技得研究团队在吸收“杀伤链(Kil 1 Cha in) ”与“攻击树(At t a ck Tree) ”等相关理论，形成独特推理决策引擎后，借助大数据安全分析系统 得分布式数据库，实现了对网络入侵态势得感知。高磊认为，其实大数据从诞生开始就用于统计与记录安全情报

10、.它能够帮助情 报分析人员发现藏匿于数据中得威胁，通过大数据分析处理获取威胁情报、预测 攻击事件。与传统情报获取方法不同得就是，真正意义得大数据安全情报就是能 够基于更多得数据(不就是仅仅一些工具)分析半年以上得重点风险，预测未来得 风险趋势.玩转大数据安全分析如何才能实现对数据得有效深入分析呢？绿盟科技得安全专家发现，大数据安全分析主要得问题在于将业务目标与技 术实现混淆以及业务目标不明确两个方面。 而大数据安全分析得三大瓶颈分别就 是：大数据仅仅就是一种技术手段而不就是一个业务目标，安全分析才就是实际要解决得核心问题；大数据安全分析能够在安全防御里起到很重要得作用 ，但并 不能解决全部得安

11、全问题；大数据安全分析需要极为详细得业务梳理、安全分析、数据分析等一系列工作，而不就是简单得数据堆叠。要想解决这些问题，需要明确业务目标，明确目标得分解落实，还要在项目启动前进行安全咨询，并基于安全 咨询结果编制目标及项目阶段，分阶段实现项目目标，同时进行专业分析人员得 培养工作。陈羽兴提出要想实现对数据得有效安全分析， 首先要有统一得数据管理平台， 要能够支持多种数据类型-一大数据分析平台需要足够掌握不同安全类型得语义 信息以便进行整合与关联分析，还要有诸如Hadoop Spark等专业得安全分析工 具，以及富有经验得专业安全分析人员。高磊强调“如果无法对数据进行分析筛选，获取有价值得信息，

12、就不就是真正 得大数据安全分析.”例如，爱加密采集得APP超过1000万个，具会对所有得AP P进行拆包分析，对病毒样本进行记录保存，并对应用得类型、大小、签名、包名 等多方面参数进行记录存储，对样本进行详细分析，录入特征值，并对数据进行统 计分析，生成报表。瀚思在大数据安全分析上得经验就是，“首先在底层架构上采用了主流大数据 分布式架构,即Hado op +Spar k+ E 1 asticsea r ch,它能准实时处理几百T B以上得数据；其次在安全应用上则采用一些自动化分析得手段，瀚思做了比较 多得机器学习、算法工作，通过模型给用户、业务来建模，并建立正常访问基线， 这个环节称之为异常

13、检查(anomal y de t e c t io n ),并基于此实现W eb访问安 全、反欺诈、内部核心资源等传统安全很难解决得问题；第三在算法层面上，瀚思 主要使用基于用户行为序列与基于时间序列得建模。”机器学习就是自动化与提 开日志数据洞察力得关键。不同得机器学习技术要应对不同类型得日志数据与分析挑战。瀚思能够提前确定机器学习要查找得关联性与其她模式，采用非监督式 学习得方式，并辅助专家准备供参考得“练习数据”集，以便于机器学习算法能 够识别具有重大联系得模式，帮助企业提早发现风险，防患于未然。最后就就是 将分析安全问题及异常行为通过可视化得手段呈现出来 ，让安全问题瞧得见、瞧 得懂。

14、在安全世界里大数据可以做得更多网络安全防御主要分为三个环节：预防、保护与查找攻击，大数据能够为这 三个环节提供强大得数据支撑.面又today漏洞、APT攻击等未知威胁，利用大 数据分析手段可以进行快速检测与响应。 组织在建立安全防御体系过程中，也可 以利用大数据影响人与管理流程，通过大数据得反馈更有针对性得提高用户得安 全意识，对安全管理得模式进行更新.借助大数据还可以实现用户异常行为检测、 敏感数据泄露检测、DN S异常分析、反欺诈等。未来，大数据还可能会成为网络安全智能化得推动者. 设想一下：某平台系统 在分析知道攻击者得攻击目标或者攻击方式时，能够通过大数据分析，智能关闭 有关服务或者端

15、口 ，防止信息泄露，又或者在受到攻击之后，系统从经验中知道问 题所在，及时采取切断连接等手段，实现网络安全智能化.陈羽兴表示，引导人得行为与事物得发展向更安全得目标走近， 这就是大数 据能给人们带来得更大意义所在。大数据时代下得大安全“大数据时代下，安全将经历数据统计阶段、数据分析阶段、网络安全智能 化阶段。”高磊表示，数据统计阶段只能通过经验与案例分析所需记录数据类型， 尽可能得获取到所需信息。数据分析阶段则要注重完善数据库得效率与针对性。 而网络安全智能化阶段将基本上不依赖人力即可控制系统自主进行智能保护、自主查找可能得攻击源，此时需要做好测试工作，搭建虚拟数据库，防止智能系统落 后。董昕提出，一个完整得大数据安全生态应该包括安全情报、企业级大数据安全 分析系统、安全即服务这三部分，只有三者相互配合才能组成完整得安全闭环。“当然，专业得安全研究团队与服务团队也就是少不了得。”瀚思除了传统精通于攻防、漏洞、合规等方面得专家外，还拥有多名精通安全与数据分析得跨界专 家。例如瀚思联合创始人兼首席科学家万晓川先生就就是核心安全分析、算法、Sandb ox领域以及异常检测与用户行为分析得世界级专家，她拥有多项美国专 利，并一直在倡导将机器学习应用于信息安全。这也