大数据基础知识

大数据基础知识电信云@大数据产品线目录大数据定义大数据价值大数据产业链1.大数据定义共识，全球数据量每年+50%的速度指数递增工业、生产数据远大于我们 现在关注的消费数据大量即时数据在价值未流失之前等待处理大数据营销，根据企业数据需要组织挖掘分析，并基于IT系统实时把分析提供给需要决策帮助的内部企业成员。互联网统计

大数据是一个服务行业。大数据是传统统计与互联网相结合的行业。1.大数据定义大数据定义：所涉及的资料量规模巨大到无法通过目前主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。主要的特点:Volume数据体量Velocity数据速度Variety数据多样Veracity数据真实2.大数据价值在阐述大数据价值时，先一起先学习下数据价值

数据<信息<知识<智慧数据是约定俗成的数值量化，对客观事物的数量、熟悉、位置及其相互关系进行抽象表示，以适合在这个领域中用人工或自然的方式进行保存、传递和处理。2.大数据价值数据价值数据<信息<知识<智慧信息是在时效内的一定含义的，经过加工处理对决策有价值的数据流。2.大数据价值数据价值数据<信息<知识<智慧通过人们的参与对信息进行归纳、演绎、比较等手段进行挖掘，使其有价值的部分沉淀下来，并于已存在的人类知识体系相结合，这部分有价值的信息就转变成知识。2.大数据价值数据价值数据<信息<知识<智慧智慧是人类基于已有的知识，针对物质世界运动过程中产生的问题根据获得的信息尽行分析，对比，演绎找出解决方案的能力。智慧乃以知识为根基，加上的运用能力、综合判断、创造力及实践能力来创造价值。2.大数据价值数据价值数据<信息<知识<智慧智慧是人类基于已有的知识，针对物质世界运动过程中产生的问题根据获得的信息尽行分析，对比，演绎找出解决方案的能力。智慧乃以知识为根基，加上的运用能力、综合判断、创造力及实践能力来创造价值。2.大数据价值在此大数据作为服务工具，是数据分析能力的表现对大数据分析，主要分为五个方面（提供大数据解决方案时的价值输出载体）：可视化分析（AnalyticVisualization）数据挖掘算法（DateMiningAlgorithms）预测性分析能力（PredictiveAnalyticCapabilities）语义引擎（SemanticEngines）数据质量管理（DataQualityManagement）2.大大数据价价值可视化分分析（AnalyticVisualization）2.大大数据价价值数据挖掘掘算法（（DateMiningAlgorithms）数据挖掘掘算法是是大数据据分析的的理论核心心，其本质质是一组组根据算算法事先先定义好好的数学学公式，，将收集集到的数数据作为为参数变变量带入入其中，，从而能能够从大大量复杂杂的数据据中提取取到有价价值的信信息。著名的““啤酒和和尿布””的故事事就是数数据挖掘掘算法的的经典案案例。沃沃尔玛通通过对啤啤酒和尿尿布购买买数据的的分析，，挖掘出出以前未未知的两两者间的的联系，，并利用用这种联联系，提提升了商商品的销销量。亚亚马逊的的推荐引引擎和谷谷歌的广广告系统统都大量量使用了了数据挖挖掘算法法。2.大大数据价价值语义引擎擎（SemanticEngines））语义引擎擎是机器器学习的的成果之之一。过过去，计计算机对对用户输输入内容容的理解解仅仅停停留在字字符阶段段，不能能很好的的理解输输入内容容的意思思，因此此常常不不能准确确的了解解用户的的需求。。通过对对大量复复杂的数数据进行行分析，，让计算机从从中自我我学习，可以使使计算机机能够尽尽量精确确的了解用户户输入内容的意意思，从从而把握握住用户户的需求求，提供供更好的的用户体验验。苹果的的Siri和谷谷歌的GoogleNow都采用用了语义义引擎。。2.大大数据价价值大数据解解决方案案在企业业知识管管理项目目上的价价值点：：1.提提供供专业团队队（数据建建模、挖挖掘技术术）与客客户（行行业专家家）进行行企业数数据价值勘探探。2.提提供统统一可扩扩展的元数据规规则库构构建方案案。避免组组织内产产生不同同信息和和知识体体系，保证数据的信息流通通、知识识管理、、智慧创创新。3.在在公共大数数据挖掘掘平台。定制数据据汇集，，并依托托平台集集约化的的全面高高效支持持的时效、海海量、弹弹性、关关联等核心能能力下快快速构建建解决和和集成实实施方案案。4.提提供供私有大数数据挖掘掘平台解决、集集成方案案，并建建设性开开放安全全数据接接口避免免“数据孤岛岛”。3.大大数据产产业链大数据产产业链，，关键点点，1.基基础设施施提供商商2.基基础系统统提供商商3.大大数据解解决方案案提供商商4.平平台服务务提供商商3.大大数据产产业链1.基基础设施施提供商商a.采采集卡/视视频采集集卡、监监控采集集卡、空空气质量量采集器器b.网网络带宽宽/电电信c.存存储介质质/d.计计算设备备/e.数据提供供商2.基基础系统统提供商商-目前最热热门的开开源生态态系统：：hadoop分布式计计算框架架-Yarn:MR/Spark/Storm分布式文文件系统统-Hdfs分布式结结构化存存储-Hbase/Cassandra3.大大数据产产业链3.大大数据解解决方案案提供商商a.行行业、政政府解决决方案发现周期期规律、、促进数数据关联联、b.企企业大数数据解决决方案加强数据据一致，，信息流流通，知知识积累累b.企企业面向向主题解解决方案案面向市市场营销销、推广广回报比比、渠渠道质量量、投资资风险、、产品品定价等等主题题c.企企业面面向运营营解决方方案发现异常常、跟踪踪质量、、客户管管理、预预警风险险解决决方案3.大大数据产产业链4.平平台服务务提供商商/电电信云云.大数数据产品品线我们致力力于云计计算.大大数据生生态环境境的建设设，全面面提供集集约化面面向企业业提供大大数据平平台和技技术服务务支持，，在核心心技术上上我们已已经完成成，a.大大规模数数据分析析支持Map、Reduce、、Join、Union等等多种数数据节点点处理模模式，支支持直接接使用SQL语语句对对海量数数据进行行离线分分析提供与ANSISQL高高度兼容容的语法法支持，，支持用用户复杂杂的数据据分析需需求。3.大大数数据产产业链链4.平平台台服务务提供供商/电电信信云.大数数据产产品线线b.分分布布式文文件系系统分布式式文件件系统统拥有有高可可扩展展性，，支持持上亿亿个文文件和和PB以上上量级级的文文件存存储实现了了大规规模数数据的的快速速读写写功能能，实实现了了文件件并行行操作作的高高效机机制支持大大规模模并发发读写写，充充分利利用分分布式式并行行带宽宽3.大大数数据产产业链链4.平平台台服务务提供供商/电电信信云.大数数据产产品线线c.任任务务调度度采用数数据驱驱动的的多级级流水水线并并行计计算框框架，，在表表述能能力上上兼容容MapR