大数据简介-应用及技术简述PPT课件

,1,Part,什么是大数据,Part1什么是大数据,何为大？数据度量1Byte=8Bit1KB=1,024Bytes1MB=1,024KB=1,048,576Bytes1GB=1,024MB=1,048,576KB=1,073,741,824Bytes1TB=1,024GB=1,048,576MB=1,099,511,627,776Bytes1PB=1,024TB=1,048,576GB=1,125,899,906,842,624Bytes1EB=1,024PB=1,048,576TB=1,152,921,504,606,846,976Bytes1ZB=1,024EB=1,180,591,620,717,411,303,424Bytes1YB=1,024ZB=1,208,925,819,614,629,174,706,176Bytes,数据没有办法在可容忍的时间下使用常规软件方法完成存储、管理和处理任务,Part1什么是大数据,大数据定义：所涉及的资料量规模巨大到无法通过目前主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。主要的特点:Volume数据体量Velocity数据速度Variety数据多样Veracity数据真实4V特征,Part1什么是大数据,大数据是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。大数据就是“未来的新石油”。,2,Part,大数据的特征,Part2大数据的特征,BigData大数据,Part2大数据的4V特征Volume,Part2大数据的4V特征Velocity,Part2大数据的4V特征Variety,Part2大数据的4V特征Value,价值密度低(Value)价值密度的高低与数据总量的大小成反比。以视频为例，一部1小时的视频，在连续不间断的监控中，有用数据可能仅有一二秒。如何通过强大的机器算法更迅速地完成数据的价值“提纯”成为目前大数据背景下亟待解决的难题。,挖掘大数据的价值类似沙里淘金，从海量数据中挖掘稀疏但珍贵的信息,3,Part,大数据技术简介及现况,Part3大数据技术简介,Part3大数据技术现况将在三个环节分层突破,采集端多源数据融合社交数据、IOT数据等外部数据与企业内部数据融合拉通运营化发展通过长期采集积累海量数据资源的企业实现数据联合运营,分析端处理实时化针对网络视频化潮流，更加强化对实时流数据的处理能力高效化数据量的不断增加，云端处理API结合后台支撑将使数据处理更加高效,应用端智能化以机器学习作为核心，将实现对用户需求的自我理解和智能迭代云端化云计算和移动互联网将促进大数据应用从2B市场迅速推广到2C市场,Part3大数据及其关联技术,物联网是大数据的重要来源大数据技术为物联网数据分析提供支撑,云计算为物联网提供海量数据存储能力物联网为云计算技术提供了广阔的应用空间,云计算为大数据提供了技术基础，大数据为云计算提供用武之地,云计算、大数据和物联网代表了IT领域最新的技术发展趋势，三者既有区别又有联系,4,Part,大数据应用,Part4大数据主要用途,Part4大数据主要应用行业,Part4大数据主要应用行业,大数据主要应用行业,Part4大数据应用领域不断丰富,Part4大数据产业发展,与互联网和传统行业融合创新将成为大数据产业爆发点,5,Part,大数据现状及未来发展,Part5大数据现状及未来发展,中央政府对大数据的重视程度,重大机遇和优势,数据资源大量积累为大数据发展提供了良好条件,信息技术的广泛深入应用，引发了数据量的爆发式增长，我国在信息产业不断发展、信息化不断推进的过程中，积累了大量的数据资源，为大数据发展提供了源泉。,经济社会持续增长的应用需求为大数据发展提供了市场空间,大数据技术产品创新正逐渐从技术驱动转向应用驱动，旺盛的应用需求和巨大的市场空间是我国大数据产业创新的强大内生动力。,政府重视和服务体系建设为大数据发展创造了优良环境,十八届三中、四中、五中全会指出要利用大数据推动政府治理能力的提升，加快公共数据开放共享，推动大数据在科学决策、政府管理和公共服务等领域的应用，助推简政放权和万众创新。良好的政策环境为大数据发展创造了难得的政策机遇。,2015年，我国规模以上电子信息产业总规模超过15.5万亿元，比“十一五”期末翻了一番。大型数据中心向绿色化、集约化发展，云计算服务逐渐成熟，国内龙头企业面向大数据新需求，积极推出新产品和新服务，一批新兴的专业化大数据企业崛起。,产业体系雏形初具为大数据发展提供了产业基础,京津冀和珠三角成为最具创新活力与带动能力的区域,Part5大数据现状及未来发展,发展趋势,随着大数据技术的快速发展，企业和政府部门开始已经开始运用大数据来进行业务的分析、预测和决策。,01,机器学习成为智能分析核心技术,近年来，机器学习已经开始渗透到生活各个领域：客服机器人、垃圾邮件过滤、人脸识别、语音识别、个性化推荐随着大数据分析能力的不断提高，2018年机器学习将继续在智能分析方面发挥重要作用。,02,多种科技和学科交叉融合,大数据技术的发展不仅能够将网络计算中心、移动网络技术和物联网、云计算等新型尖端网络技术充分地融合成一体，促进不同科学技术的交叉融合，同时还能够促进多学科的交叉融合，充分发挥出交叉学科和边缘学科在新时代的新功能与效用。,03,政府大数据将迅速发展,近日，国家相关部门就实施国家大数据战略进行第二次集体学习，指出将推动实施国家大数据战略，加快完善数字基础设施，推进数据资源整合和开放共享，保障数据安全，加快建设数字中国，更好服务我国经济社会发展和人民生活改善。因此，2018年政府将步入大数据建设快速发展的新阶段。,04,物联网、云技术、大数据和网络安全深度融合,数据管理技术，如数据质量控制、数据准备、数据分析以及数据整合等方面的融合程度将在2018年达到新的高度。当我们对智能设备的依赖程度增加时，互通性以及机器学习将会成为保护资产免遭网络安全危害的重要手段。,05,基于知识图谱的大数据应用将成为热门应用场景,知识图谱的应用场景非常广泛，比如搜索、问答、推荐系统、反欺诈、不一致性验证、异常分析、客户管理等。2018年，基于知识图谱的大数据应用将衍生出更多热门应用场景。,06,隐私的保