大数据安全培训

1、大数据安全培训,2018.04,2,目录,大数据基本概念,01,4,大数据基本概念,7：00，你被手机闹钟叫醒。昨晚你带着一款小型可穿戴设备睡觉的。这个设备连接着你手机里的一款大数据的APP，你打开它就可以看到你昨晚睡觉时翻身次数、心跳和血压状况。根据测量结果，它建议你今天出门之前多喝点橙汁类的饮品来补充维生素。,9：00，今天你要带朋友到上海的南京路步行街逛逛，你打开某互联网公司的大数据产品“XX预测”，看看步行街今天预计会有多少人，再看看上海今天的交通预测。“XX预测”根据以往用户定位请求信息建议你乘地铁前往步行街。,12：00，逛了一圈，你和朋友都累了，想找个地方吃饭。你打开大数据软件，

2、寻找附近的餐馆。通过该软件，你可以提前看到餐馆的视频环境，看看是否人多。大数据还可以把你脸的部分打成马赛克，你不用担心个人信息泄露。,5,大数据基本概念,14:00,吃过午饭，你想去附近的公园玩玩，但你不知道应该去世纪公园还是去中山公园。你又打开“XX预测”，希望它帮你分析一下，哪个公园相对不太拥挤。根据结果，你去了中山公园。,16：00，你正在公园里休息，收到了催缴电话费的短信。你很好奇自己过去三年每个月的消费记录。但过去运营商只能让你查到六个月以内的消费信息。因为中国电信至少有5亿用户，每天至少能产生10次计费记录。每天50亿的计费记录，一年下来就是1800亿条记录。这是一个大数据的存储和

3、归纳技术难题。但在大数据时代，过去几年的电话通讯信息都可以查到了。,22：00，晚上睡觉的时候，你家的孩子哭闹起来。你把孩子的哭声录入一个大数据软件中。软件能告诉你孩子为什么哭。是饿了，还是哪里不舒服，还是说只是想撒撒娇,18：00，你回到了家，你的可穿戴设备告诉你，今天你在室内和室外的时间分别都是多少，你一天内吸入了多少雾霾。,6,大数据基本概念,数据不再是社会生产的“副产物”，而是可被二次乃至多次加工的原料，从中可以探索更大价值，它变成了生产资料。,7,大数据基本概念,“大数据：或称巨量数据、海量数据、大资料，指的是所涉及的数据量规模巨大到无法通过人工，在合理时间内达到截取、管理、处理、并

4、整理成为人类所能解读的信息。”维基百科,8,大数据基本概念,仅仅是“大”？,比“大”更重要的是数据的复杂性，有时甚至大数据中的小数据如一条微博就具有颠覆性的价值,9,大数据基本概念,海量,异构,劣质,高维,10,大数据基本概念,体量Volume,多样性Variety,价值密度Value,速度Velocity,非结构化数据的超大规模和增长总数据量的8090%比结构化数据增长快10倍到50倍是传统数据仓库的10倍到50倍,大数据的异构和多样性很多不同形式（文本、图像、视频、机器数据）无模式或者模式不明显不连贯的语法或句义,大量的不相关信息对未来趋势与模式的可预测分析深度复杂分析（机器学习、人工智能

5、Vs传统商务智能(咨询、报告等）,实时分析而非批量式分析数据输入、处理与丢弃立竿见影而非事后见效,大,杂,低,快,11,大数据基本概念,海量沙漠,充满杂质,只为粒金,争分夺秒,大,杂,低,快,12,大数据基本概念,大数据的数据够“大”，数据不再是稀缺资源，不能像小数据时代那样，用最小的数据获得最多的信息；而应该要拿到与领域相关的全数据,大数据的数据够“杂”，来源广泛，格式五花八门，用户需从海量数据中提炼有价值信息，个体数据（或严格因果模型）的精确性不再重要，重要的是大多数数据群共同指出的结论（相关性关系）；,大数据的数据够“快”，数据产生得快，数据增加得快，数据随时间的折旧也快，数据的时效性成

6、为关键。,大数据新思维,13,大数据基本概念,14,大数据基本概念,大数据不仅仅是技术，关键是产生价值可以从各个层面进行优化，更要考虑整体,15,大数据价值,13,16,大数据应用要解决的问题,17,大数据应用要解决的问题,大数据技术被设计用于在成本可承受的条件下，通过非常快速（velocity）地采集、发现和分析，从大量（volumes）、多类别（variety）的数据中提取价值（value），将是IT领域新一代的技术与架构。,18,软件是大数据的引擎,和数据中心（DataCenter）一样，软件是大数据的驱动力.软件改变世界!,19,大数据涉及的关键技术,需求海量数据存储技术实时数据处理技

7、术数据高速传输技术搜索技术,数据分析技术,技术Hadoop，x86/MPPMapReduceStreamingDataInfiniBandEnterpriseSearch,描述分布式文件系统流计算引擎服务器/存储间高速通信文本检索、智能搜索、实时搜索,TextAnalyticsEngine自然语言处理、文本情感分析、VisualDataModeling机器学习、聚类关联、数据模型,20,大数据涉及的关键技术,11,21,大数据使用的关键技术数据采集,22,大数据使用的关键技术数据采集,23,大数据使用的关键技术数据存储与管理,24,大数据使用的关键技术分布式文件系统,25,大数据使用的关键技术

8、分布式文件系统,26,大数据使用的关键技术非关系型数据库NoSQL,27,大数据使用的关键技术云计算与云存储,如果数据是财富，那么大数据就是宝藏，而云计算就是挖掘和利用宝藏的利器。没有强大的计算能力，数据宝藏终究是镜中花；没有大数据的积淀，云计算也只能是杀鸡用的宰牛刀。,28,大数据使用的关键技术数据分析与挖掘,29,大数据使用的关键技术标签云,标签云（TagCloud）是一套相关的标签以及与此相应的权重。权值影响标签的字体大小、颜色或其他视觉效果。典型的标签云有30至150个标签，用以表示一个网站中的内容及其热门程度。标签通常是超链接，指向分类页面。,30,大数据使用的关键技术聚类分析,聚类

9、图（Clustergram）是指用图形方式展示聚类分析结果的技术，可以有助于判断簇数量不同时的聚类效果。,31,大数据使用的关键技术深度学习,深度学习的概念源于人工神经网络的研究。含多隐层的多层感知器就是一种深度学习结构。通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示。充分利用大量的非标记数据，有效挖掘数据中的层级特征，具有更强的表征能力，尤其适合于在图像、语音等有大量的非标记数据而又非常抽象的领域。,简单浅层神经网络（1980）,深层神经网络（2006）,为何沉寂了20多年？最主要原因：计算能力支持（深层）,32,大数据使用的关键技术计算结果展示,33,大数

10、据使用的关键技术多形态展现,支持灵活的配置模式及所选模型自由选择相宜图表、图形进行可视化设计及配置加载,大数据应用介绍,02,35,公共领域与大数据,36,互联网与大数据,城镇化与智慧城市,1、区分识别城市的功能区域（如文教、商业和住宅区轨迹数据包含乘客上车和下车地点的信息。人的移动性数据可以很好地区分相同类别的兴趣点的热度，也可以揭示一个区域的功能,2、搜寻城市道路网中不合理的规划（拥堵）利用高速和环路等主干道将城市分割成区域，然后分析大规模车流轨迹数据在不同区域之间行驶的一些特征，便可找到连通性较差的区域对，从而发掘现有城市道路网的不足之处,38,城镇化与智慧城市,3、细粒度空气质量预测利

11、用地面监测站有限的空气质量数据结合交通流道路结构、兴趣点分布、气象条件和人流规律等大数据，基于机器学习算法建立数据和空气质量的映射关系，从而推断空气质量,4、加油站排队时间及实时油耗估计利用装有GPS的出租车在加油站的等待时间来估计加油站的排队长度，估算出此时加油站内的车辆数目及加油量。通过将全城的加油站数据汇总计算任意时刻消耗的燃油数,39,金融行业与大数据,目前，中国的大型商业银行和保险公司的数据量已经达到100TB以上级别，并且非结构化数据量在迅速增长。,中国金融行业已步入大数据时代的初级阶段，并且呈现快速发展势头。优秀的大数据分析能力是当今金融市场创新的关键。,40,医疗行业与大数据,

12、目前全球共拍摄了超过4.7万亿张照片每2分钟拍摄的照片数比19世纪拍摄的照片总数还多微博上累计有超过1400亿张照片发布,医疗图像的存储量占全球全部照片30！,大数据,41,医疗行业与大数据,卫生经济学与药品定价,疫情监测,公共健康监控,医疗统筹分析系统,医疗“大数据”（BigData）,临床实验数据分析,42,基于大数据技术的应用,43,基于大数据技术的应用基于大数据的威胁发现技术,基于大数据，企业可以更主动的发现潜在的安全威胁相较于传统技术方案，大数据威胁发现技术有以下优点：,1、分析内容的范围更大,2、分析内容的时间跨度更长,3、攻击威胁的预测性,4、对未知威胁的检测,44,基于大数据技

13、术的应用基于大数据的认证技术,身份认证：信息系统或网络中确认操作者身份的过程，传统认证技术只要通过用户所知的口令或者持有凭证来鉴别用户传统技术面临的问题:,45,基于大数据技术的应用基于大数据的认证技术,基于大数据的认证技术：收集用户行为和设备行为数据，对这些数据分析，获得用户行为和设备行为的特征，进而确定其身份。,1、攻击者很难模拟用户行为通过认证2、减小用户负担3、更好的支持各系统认证机制的统一,1、初始阶段的认证，由于缺乏大量数据，认证分析不准确2、用户隐私问题,优点,缺点,46,基于大数据技术的应用基于大数据的数据真实性分析,基于大数据的数据真实性分析被广泛认为是最为有效的方法优势：1、引入大数据分析可以获得更高的识别准确率2、在进行大数据分析时，通过机器学习技术，可以发现更多具有新特征的垃圾信息面临的困难：虚假信息的定义、