大数据的概念及应用(精华)ppt课件

大数据的概念、分析技术及应用,2020年5月,目录,2020年5月,网易云音乐的每日推荐,2020年5月,通过什么连接？,两首诗,2020年5月,自由的石头，无畏地坠落向爱。却在迷惘的路上，轻羽般离去。迷茫的孩子，悄悄地将它掩埋。,过于长久的牺牲，能把心变为一块岩石。呵，什么时候才算个够？那是天的事，我们的事,基本电荷单元,2020年5月,1.602176491019,汪峰“歌词”元素表,2020年5月,9张专辑共117首歌曲,光速,2020年5月,299792458m/s,另一首,2020年5月,自由，在桥的这头埋葬，光明，在桥的那头破碎，已没所谓绝望，微雨中，说声再见,大数据发展历程,2020年5月,萌芽期概念提出政府插足研究机构,过热期案例遍地开花内部数据为主并购风起,幻灭期国家推动从概念到实用,复苏期,从Gartner新技术曲线看大数据技术(1/3),2020年5月,2020年5月,从Gartner新技术曲线看大数据技术(2/3),2020年5月,从Gartner新技术曲线看大数据技术(3/3),数据的变化在哪里（1/3）,量,2020年5月,1KB(Kilobyte千字节)=1024B,1MB(Megabyte兆字节兆)=1024KB,1GB(Gigabyte吉字节千兆)=1024MB,1TB(Trillionbyte万亿字节太字节)=1024GB1PB（Petabyte千万亿字节拍字节）=1024TB,1EB（Exabyte百亿亿字节艾字节）=1024PB,1ZB(Zettabyte十万亿亿字节泽字节)=1024EB,1YB(Jottabyte一亿亿亿字节尧字节)=1024ZB,1BB(Brontobyte一千亿亿亿字节)=1024YB.,美国地理及空间探测美国能源部数据全球可穿戴设备美国国防部数据国际海洋和大气管理物联网数据国家健康研究所国家癌症研究所全球IP流量,挤压现象世界90%的数据是过去几年里产生的。过去三十年中，全世界的数据量大约每两年增加10倍远超摩尔定律数据总量IDC的预测，2009年到2020年，0.8ZB到35ZB，44倍，年均40%中国存储数据量当前约为600万TB，占全球总量的15%，预计到2020年，占比将提高到22%,数据的变化在哪里（2/3）,质,2020年5月,早前02985XX6789用户5月消费59元，MOU200分钟昨天189XXXX1234用户5月消费59元，其中套内49元，套外10元。手机流量150M：1日-10日75M、11-20日50M、21日-30日25M；视频流量80M、游戏流量15M。MOU200分钟：本地主叫80分钟、本地被叫60分钟、漫游主叫20分钟、漫游被叫40分钟月度内漫游地：北京今天189XXXX1234用户5月消费流量150M：第一次5月1日9点30分，基站ID3001，手机百度搜索，关键字“天气”；第二次5月1日12点05分，基站ID2345，微博评论，关键字“马刺”MOU200分钟：第一次5月2日17点12分，主叫，号码139XXXX4321LBS分析：前往2个加油站，共停留时间：43分钟商场消费线上支付11209元，超市消费线上支付3207元,数据的变化在哪里（3/3）,用,2020年5月,统计级应用：时间、空间、人、物四个维度的交叉统计分析。以零售业为例零售研究：物-物消费者洞察：物-人-物消费者购买路径：人-物-时间大数据空间研究：物理空间-人-赛博空间个体级应用：基于人与物关联的历史信息去推测未来的关联状态精准营销：新客推荐金融征信：风险定价人力招聘：人岗匹配,大数据变化的背后：大数据与云计算,云计算构建新的信息基础设施在线化平台化扁平化低成本大数据打破信息壁垒更透明更有效更可信,2020年5月,小结,大数据：是通过新处理模式能且才能提供更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息,2020年5月,小结,大数据的本质：时间与空间维度下的人与物、人与人、物与物之间复杂的关联关系，利用大数据，还原事物原貌、探究规律机理、预判发展变化,2020年5月,目录,2020年5月,大数据分析挖掘技术,背景：局部数据难以统观全局，大数据需要跨视角、跨媒介、跨行业的海量数据融合和关联分析，才能更好地进行决策支撑解决方法：通过面向海量多维数据的机器学习算法和数据关联分析等方法，用直观形象地方式，展现数据之间潜在的关系,2020年5月,常见大数据分析挖掘技术,深度学习,通过层次化的方式和海量的训练数据，从而提升分类或预测的准确性已在语音识别、图像识别、人脸识别等领域取得巨大成功，目前也已开始应用于内容推荐、异常检测等,2020年5月,多维数据关联,满足用户从多角度多层次进行快速数据查询和分析的数据模型，面向分析决策，解决传统数据模型在数据维度高、条数多的情况下，无法有效表示数据结构和语义，以及无法有效支持OLAP的问题。主要分析方法：钻取、上卷、切片、切块、旋转,2020年5月,知识图谱,基于图结构刻画实体之间关系的技术，采用可视化技术描述其相互联系为搜索、挖掘、语义理解等应用提供基础的知识库，提高搜索效果，突破传统搜索体验，拉开语义搜索的序幕,2020年5月,数据可视化,将数据之间的关系以图形图像的形式表示，将图形与指标的含义关联，为用户提供深度、直观的数据及其结构关系表示，使用户能够洞察其中的规律及本质的特点。,2020年5月,案例：1854年伦敦霍乱地图,案例：旧金山游客地图,数据可视化,将数据之间的关系以图形图像的形式表示，将图形与指标的含义关联，为用户提供深度、直观的数据及其结构关系表示，使用户能够洞察其中的规律及本质的特点。