大数据与挖掘2

大数据分析与挖掘大数据与数据挖掘课程的背景……2中国大数据发展调查报告

（2018年）：2017年中国大数据产业总体规模为4700亿元人民币，同比增长30%；预计2018-2020年增速将保持在30%以上。大部分企业均已意识到数据分析对企业发展的重要性。近四成的企业已经应用了大数据。与2016年相比上升4.5%金融等领域大数据应用增加趋势较为明显。企业应用大数据所带来的主要效果包括实现智能决策、提升运营效率和改善风险管理。3我们身边的大数据…4百度地图的定位数据对大数据的初步认识(1)除夕夜哈尔滨迁徙地图三十多年来，我国春运大军从1亿多人次到36亿人次春运的最热现象是逆向过年，即老人们到孩子工作的地方过年。6对大数据的初步认识(2)

大数据与交通拥堵

一卡通大量使用，乘客出行的海量数据预埋传感器，收集车流量、客流量信息卫星地图数据对道路交通情况进行分析出租车提供实时数据,了解主要道路的路况智能手机使用地图应用,分析出实时的道路交通拥堵状况、出行流动趋势或特定区域的人员聚集程度7对大数据的初步认识(3)

大数据分析电信诈骗

根据2015年的统计数据，我国公民个人信息泄露数量已经达到40亿条左右。刚取了通知书就有助学金诈骗电话刚买了房就有无数装修公司的电话……8大数据的基本特征用4个V来总结：Volume、Variety、Value和Velocity数据体量大：从TB级别，跃升到PB数据多样性：多为非结构型数据，如网络日志、视频、图片、地理位置信息价值密度低：以视频为例，连续不间断监控过程中，可能有用的数据仅仅有一两秒速度快：产生了大量的高速动态数据流，对数据流的实时分析与处理要求不断增加，数据处理的越及时，产生的价值越大。9大数据基本特征的第五个V：Veracity

数据的不确定性10数据挖掘：DataMining概念从大量数据中抽取出（隐隐含的、有潜潜在用途的、、未知的、人们可以以理解的）有有价值的信息息和模式的过过程。这些新新发现的规律律、模式、信信息和概念具具有潜在使用用价值。11数据挖掘背后后的大数据思维寻找特效药：：科学家们通常常需要分析疾疾病产生的原原因，寻找能能够消除这些些原因的物质质，然后合成成新药。是一一个非常漫长长的过程，而而且费用非常常高。有了大数据，，寻找特效药药的方法就和和过去有所不不同了。斯坦福大学医医学院发现，，原来用于治治疗心脏病的的某种药物对对治疗某种胃胃病特别有效效。这种方法，实实际上依靠的的并非因果关关系，而是一一种强关联关关系，即A药对B病有效。至于于为什么有效效，接下来3年的研究工作作实际上就是是在反过来寻寻找原因。这种先有结果果再反推原因因的做法，和和过去通过因因果关系推导导出结果的做做法截然相反反。无疑，这这样的做法会会比较快，当当然，前提是是有足够多的的数据支持。。在大数据时代代，我们能够够得益于一种种新的思维方方法—从大量的数据据中直接找到到答案，即使使不知道原因因。12数据挖掘背后后的大数据思维在数据挖掘的的思想中，知知识的学习是是不需要通过过具体问题的的专业知识建建模。这其实是模拟拟了人的原始始学习过程---比如你要预测测一个人跑100米要多久时间间，可以根据据之前了解的的他这样体型型的人跑100米用的多少时时间做一个估估计，而不会会使用牛顿定定律来算。13数据挖掘：DataMining一般流程14数据挖掘：DataMining功能关联规则分类与预测聚类分析…15数据挖掘：DataMining关联规则16关联规则：零售业应用几十年来，大大型零售商塔塔吉特收集了了海量的数据据，记录了每每一位经常光光顾其各分店店的顾客数据据。发现女客户会会在怀孕四个个月左右，大大量购买无香香味乳液。由由此挖掘出25项与怀孕高度度相关的商品品，制作“怀怀孕预测”指指数。推算出预产期期后，就能抢抢先一步，将将孕妇装、婴婴儿床等折扣扣券寄给客户户。在接下来的几几年中会根据据婴儿的生长长周期定期给给这些顾客推推送相关产品品，使这些客客户形成长期期的忠诚度。。17数据挖掘：DataMining分类与预测18数据挖掘分类与预测金融创新产品品设计19数据挖掘：DataMining时间序列分析析20数据挖掘：DataMining时间序列分析析时间序列预测测即以时间序序列所能反映映的社会经济济现象的发展展过程和规律律性，进行引引伸外推，预预测其发展趋趋势的方法，，简单来说就就是从已知事事件测定未知知事件。时间序列数据据的趋势变动动可分为以下下四点：趋势性、周期期性、随机性性、综合性预测时一般设设法过滤除去去不规则变动动，突出反映映趋势性和周周期性变动。。21数据挖掘：DataMining聚类分析22数据挖掘：DataMining社交网络、舆舆情分析…23社交网络的分分析社交网络中社社区圈子的识识别社交网络中人人物影响力的的计算信息在社交网网络上的传播播模型虚假信息和机机器人账号的的识别基于社交网络络信息对股市市、大选以及及传染病的预预测社交网络的分分析和研究是是一个交叉领领域的学科通常会利用社社会学、心理理学甚至是医医学上的基本本结论和原理理作为指导通过人工智能能领域中使用用的机器学习习、图论等算算法对社交网网络中的群体体行为和未来来的趋势进行行模拟和预测测。24大数据带给数数据挖掘的…神经网络在几几十年前就有有了因为他们需要要大量的“训训练”对早期研究者者来说，想要要获得不错效效果的最小量量训练都远远远超过计算能能力和能提供供的数据的大大小团队通过在网网络围棋对战战平台上最强强人类对手，，百万级的对对弈落子去训训练25数据挖掘：DataMining大数据管理与与挖掘案例随着我们通过过电话、信用用卡、电子商商务、互联网网和电子邮件件留下更多的的生活痕迹，，大数据不断断增长的商业业影响也在如如下时刻表现现出来：你搜索飞往哈哈尔滨的航班班，然后便看看到网站上出出现了当地宾宾馆的打折信信息你光顾的商店店在对顾客行行为进行数据据挖掘的基础础上获取最大大化的利润用算法预测人人们购票需求求，航空公司司以不可预知知的方式调整整价格智能手机的应应用识别到你你的位置，因因此你收到附附近餐厅的服服务信息…26数据挖掘：DataMining大数据管理与与挖掘案例麻省理工学院院创建了一个个计算机模型型来分析心脏脏病病患丢弃弃的心电图数数据他们利用数据据挖掘在海量量的数据中筛筛选，发现心心电图中出现现三类异常者者一年内死于于第二次心脏脏病发作的机机率比未出现现者高一至二二倍这种新方法能能够识别出更更多的，无法法通过现有的的风险筛查被被探查出的高高危病人。27数据挖掘：DataMining大数据管理与与挖掘案例大约20个NBA球队使用了IBM公司开发的数数据挖掘应用用软件AdvancedScout系统来优化他他们的战术组组合系统分析显示示两个后卫哈哈德卫和伯兰兰.绍在前两场中中被评为－17分但当哈德卫与与替补后卫阿阿姆斯创组合合时，魔术队队得分为正14分魔术队增加了了阿姆斯创的的上场时间，，此着果然见见效；AdvancedScout是一个数据分分析工具，每每一场比赛的的事件都被统统计分类，按按得分、助攻攻、失误等等等。时间标记让教教练非常容易易地通过搜索索NBA比赛的录像来来理解统计发发现的含义。。28数据挖掘：DataMining大数据管理与与挖掘案例头脑里的大数数据：人类连连接组项目是是一项雄心勃勃勃地试图绘绘制出不同脑脑区之间相互互作用的计划划；项目使用三种种磁共振造影影观察脑的结结构、功能和和连接。数据据收集工作完完成之时，连连接组获得大大约100万G数据；如果区域A和区域B自发地以每秒秒18个周期的频率率产生脑波，，说明它们处处于同一网络络中；将利用整个大大脑中的这些些关联数据创创建一个表现现出脑中的每每一个点如何何与其他每一一个点关联的的矩阵。29大数据挖掘风风险个人隐私泄露露通过分析大量量用户的搜索索记录，比如如“咳嗽”““发烧”等特特定词条，谷谷