大数据与云计算

1、规划部门，天津市市政府经济开发工程建设服务公司，大数据和云计算，2016.5.25，众多博览会，大数据继传统IT之后，在提高生产效率的下一个技术前沿，McKinsey global institute(MGI)大数据：下一代创新、竞争和生产力麦肯锡目前在78个国家拥有9，000多名咨询师，作为世界名牌大学获得了高等学位。1 .数据(data data data)是什么？是事实或观察的结果，是对客观事物的逻辑归纳，用于表达对客观事物的未加工原始材料。数据是信息的表示和载体，可以是符号、文字、数字、语音、图像、视频等。列数据：例如房屋，位置数据：北纬26度，东经106度；用数字和字母写：26N，1

2、06E。定性数据：XX路x单元号码(靠近地方委员会，18中学，甲水小学)定量数据：建筑面积90，使用面积75计时数据：1987年，1998年购买信息数据：主力矩，男子，XX岁，电话138888结论一种是大量数据，其数量很多，或称为完整数据。第二种是分析方法，分析所有数据的方法，大数据有多大？TB(1024GB=1TB)2的40平方PB(1024TB=1PB)2的50平方100万GEB(1024PB=1EB)2的60平方10亿GZB(1024EB=1ZB)YB(1024ZB=1YB)2的80胜1千万亿g从Byte、KB、MB、GB、TB到PB、EB、ZB、YB。英特尔：从人类文明开始到2003年

3、，地球产生了5EB数据。在2012年的一年中，全球生成数据2.7ZB是2003年之前的500倍。2015年全世界估计的数据8ZB等于1800万个美国议会图书馆。数据快速增长，大数据的定义，大数据或海量数据意味着无法在合理的时间内通过当前关键软件工具发现、管理、处理和整理用于企业业务决策的大量信息。大规模数据分析的特点是数据量比传统数据仓库应用程序多，查询分析复杂。大数据时代的背景，21世纪是数据信息的大发展时代，移动连接、社会网络、电子商务等大大扩大了互联网的边界和应用范围，各种数据在迅速增长。互联网(社交、搜索、电力公司)、移动互联网(Weibo)、物联网(传感器、智能区)、汽车网络、GPS

4、、医疗图像、安全监控、金融(银行、股票市场、保险)、金融“，“大数据”的诞生：半个世纪以来，计算机技术完全融入社会生活，信息爆炸积累到了开始发生变化的程度。不仅信息比以往任何时候都多，而且增长速度也在加快。天文学和遗传学等信息爆炸学科创造了“大数据”的概念*。今天，这个概念几乎应用到了所有人类的智能和发展领域。大数据的5V特征(IBM建议):卷批量(累积)Velocity快速(即时)Variety Volume价值(有用)Veracity可靠性(客观性)，基本定义：大数据是典型数据库软件的集合“大数据”与“大数据”的主要区别在于“大数据”概念包含数据对象的处理行为。，海量数据智能数字收集(数字

5、)实时同步上载(云聚合)智能即时分析(云计算)自动需求发布(云推送)，各种数字设备收集如何根据需要自动向特定用户发布数据云(云存储)智能软件分类、诱导、分析、生成结果，“数字，数字化不是“数字”，而是有符号的“数据”，大数据核心技术，大数据处理的核心技术通常包括大数据收集、大数据预处理、大数据存储和管理、大数据分析和挖掘，以及大数据的显示和应用。获取大数据核心技术、大数据收集技术、多种类型的结构化、半结构化(或称为弱结构)和非结构化大容量数据是大数据知识服务模型的基础。主要执行所接收数据的区分、提取、清理等的大容量数据预处理技术。海量数据存储和管理技术，存储和管理海量数据将收集的数据存储到存储

6、中，构建、管理和调用相应的数据库。侧重于复杂的结构化、半结构化和非结构化大容量数据管理和处理技术。大规模数据分析和挖掘技术，大量不完整、噪音大、模糊、随机从实际应用数据中暗示，人们事先不知道，但潜在的有用信息和知识提取过程。大规模数据显示和应用技术，重点是业务智能、政府决策和公共服务三个主要领域。在过去的几十年中，我们以多种方式实验和实践了“并行计算”、“分布式计算”、“网格计算”等类似云计算的概念和理论。人们希望更好地整合internet和不同设备上的信息和应用程序，连接所有计算和存储数据，以最大限度地实现协作和资源共享。云计算方法的融合和发展，通过基于网络的计算和数据存储强调了高效、低成本

7、计算的概念。新概念和新模型(如按需计算、软件即服务、平台即服务)是每个企业对云计算的解释或云计算开发的不同阶段。云计算，在2006年8月举行的“搜索引擎战略会议”上，Google的CEO EricSchmidt再次提出云计算，并在后台广泛接受的信息技术新术语。云计算，云计算的定义，云计算是业务计算模型。它还将计算任务分布在由多台计算机组成的资源池中，使各种应用程序系统可以根据需要利用计算能力、存储空间和各种软件服务。本质是集中所有计算(社会)资源，通过软件(平台)进行自动管理，使各种服务提供商和应用程序可以更加专注于自己的业务，而无需关注细节，从而有助于创新和降低成本。在我看来，提供资源的网络

8、称为“云”。“云”中的资产似乎可以无限扩展，随时可用。此特性经常被比作使用硬件资源(如电力)，根据需要购买和使用。把本地的一切放在云上，就是云计算。云计算的工作原理和关键技术，云计算的工作方式在典型的云计算模型中，用户通过终端访问网络，对“云”提出了要求；“云”接受请求后，将配置资源，通过网络向“终端”提供服务。可以大大简化用户终端的功能，许多复杂的计算和处理过程转移到终端背面的“云”。用户所需的应用程序不需要在用户的PC、手机等终端设备上运行，而是在internet上的大型服务器群集上运行；用户处理的数据也保存在internet上的数据中心，而不是本地存储。提供云计算服务的公司负责管理和维护

9、这些数据中心和服务器，确保为用户提供足够的计算能力和充足的存储空间。用户可以随时随地连接到互联网，访问云并按需使用。数据存储能力和分布式计算能力是云计算的两个关键技术。云计算中的“云”可以再细分为“存储云”和“计算云”，即“云计算=存储云计算云”。存储云：大型分布式存储系统；计算云：资源虚拟化中的并行计算。云计算三种服务模式：1、软件即服务(SaaS)、2、平台即服务(PAAs)、3、iaas大量数据和云计算，没有互联网就没有云计算，没有云计算模型就没有大量数据处理技术。将大数据应用程序比作“汽车”，帮助这些“汽车”运行“高速公路”，这就是云计算。云计算技术可帮助您的大数据在数据存储、管理和分

10、析方面发挥作用。在云计算时代，更多数据存储在“云”中。数据是资产，云是存储数据资产的位置和访问途径。3 .大数据和云计算、云计算的模型是业务模型，其本质是数据处理技术。数据是资产，云提供对数据资产的存储、访问和计算。目前，云计算的重点是大容量存储和计算、运行云应用程序、缺乏激活数据资产的能力、价值信息挖掘和预测分析、为国家、企业和个人提供决策和服务、大规模数据核心问题以及云计算的最终方向。资料来源：所有资料来源的人都走在街上，资料收集者坐在家里，资料会上传，如果你是活人，有行为的话，资料就会产生。例如，走在街上，你会被相机拍到。据说每次上街平均拍8次。看电视，使用电脑，打手机，打电话，数据就会

11、上传，谁拥有大数据。a .政府：政府尝试开放数据(偷取数据后对企业开放)，交通，人口，医疗b .电信：客户数据(实名制)通信数据c .银行：客户数据你会想。它不知道我是谁。但是，您知道使用计算机的IP地址。很多程序都要求用手机号码注册，所以很容易知道你是谁。智能手机GPS定位，大数据的有用性在于发现逻辑关联，得出科学结论。芒说，做淘宝不是卖东西，而是为了获取大数据，获取零售和制造数据。电脑会比你更了解你，大数据的核心不是昨天的摘要，而是预测和预判未来。4 .使用大数据，有效制造a业务大数据(事前判断消费，减少库存)精确广告(推出特定组)信用现金化(方便信用调查)，b公共大数据智能电网(有效协调

12、发电电力)智能交通(缓解拥挤)预防疾病(方便访问)生态监控(空气)2013年10月2日，九寨沟景区因游客多，交通线路瘫痪，出现了数公里以上的拥挤情况。这段时间，甚至有游客“攻陷”了售票处的传闻。根据预测数，九寨沟提前做好了“吃、住、减、游、购物、开心”等各种准备工作，通过同时广告接待4万1000人以上，停止了门票，成功应对了10月4日旅行的高峰。在运行路径选择上经常出现在非经济、人密集地区的“趴”人，包括“黑车”、统计判定模型、嫌疑人职业黑车分类器、行态继续天数限制值d、手动确认黑车特征、普通车特征、机器学习判定模型、每天车辆记录数限制值m、出租车特征全部嫌疑为8408辆黑车，嫌疑人职业黑车4

13、705辆，中央市内出租车6922辆，5辆。大数据企业链：上游资源中游技术下游应用，上游资源：任何企业都可以成为数据公司，资源基础公司处于产业链的核心位置。BAT之所以能够在大规模数据时代继续保持internet企业的领先地位，是因为它几乎垄断了搜索、社会、电力企业等关键领域的数据，并且收集了技术、创意企业和其他基于资源的企业，创建了自己主导的生态圈。上游资源：任何企业都可以是数据公司，5 .大数据企业产业链：上游资源中的技术下游应用程序；中流技术：大数据产业链最直接的受益者组；(1)数据准备：在存储和处理之前，必须清理、整理数据；在现有数据处理系统中，必须执行ETL(挤出、转换、加载)(2)数

14、据存储和管理：大型数据存储系统不仅需要以非常低的成本存储大量数据，还需要满足各种具有数据格式可扩展性的非结构化数据管理需求。(3)计算处理：大容量数据处理需要大量计算资源，因此对于传统的独立或并行计算技术，速度、可扩展性和成本难以适应大容量数据计算分析的新要求。分段分布式计算成为大容量数据的主流计算体系结构，但在某些特定方案中需要显着改进实时性。(4)数据分析链接：从数据分析过程中发现的复杂数据规律中提取新知识是大规模数据价值挖掘的核心。5 .大数据企业产业链：上游资源中游技术下游应用，5 .大数据企业产业链：上游资源中流技术下游应用程序，中流技术：大数据产业链最直接的受益群体，产业链分割，硬

15、件，基本软件，分析服务，信息安全，上游资源：中流技术：大数据产业链最直接的受益群体，硬件，基本软件，分析服务大型企业产业链：上游资源中游技术下游应用程序，下游应用程序：数据开放是位于大型数据产业链下游的数据应用程序企业使用开放数据或与基于数据资源的企业合作，实现大规模数据价值挖掘后的变化。资源型对技术型企业、新兴创业企业为主的应用企业，主要致力于拥有网络基因，解决行业中的问题，作为大数据商业化的关键因素，根据最终用户，可以分为2B和2C。2B:面向流量数据公司Inrix2C:提供数据分析结果(例如基于个人和数据分析的服务)的企业或公共政府部门。FlightCaster分析了过去10年各航班的情况，然后根据过去和现实的天气条件预测了航班是否会晚点5。大企业产业链：上游资源中游技术的下游应用，6 .大数据波动的两种模式(闭环生态、开放交易、(1)模式1:“内部创新扩张合并和收购”形成闭环。代表性公司：阿里巴巴等网络巨头。可以理解，该模型基于大型互联网企业拥有的庞大数据资源，通过内部创新和外推合并，构建闭环生态系统，使数据在闭环中流动，从而创造价值。数据魔术方块(销售资料)-大模版(大型数据营销平台)-在第一金融圈(闭环生态圈)的开发路径中宣传的逐步缩减的大数据战略的洞察力。(2)