大数据平台部署与运维1

北京出版社大数据平台部署与运维项目一初识数据分析任务一初识大数据任务二大数据的发展认知目录/CONTENTS目标知识目标»

了解大数据的概念及内涵。»

了解大数据的4V特征。»

了解大数据的发展背景及未来发展方向。能力目标»

能梳理出大数据技术体系的基础框架。»

具备数据理解与洞察能力，能洞察数据背后的业务价值。素养目标»

具备批判性思维和问题解决能力，能从大量数据中提取有价值的信息，并利用这些信息做出决策或解决问题。»

不断学习和更新自己的知识和技能，以适应不断推陈出新的大数据技术和应用场景。01初识大数据任务导入当前，大数据在各个行业都已经有广泛应用，例如在零售业，可根据历年销售、社交媒体等数据预测需求、调整库存，可根据顾客购物历史、偏好实施个性化营销，激活需求、提升客户忠诚度；在金融服务行业，可通过分析大量交易和用户行为数据，检测欺诈、保障资金安全、评估风险、优化投资组合、提升资产管理效率；在社交媒体领域，可借其分析用户行为，提供个性化内容与广告，可监测舆情，了解公众意见与情绪。随着技术发展，大数据将在各领域继续拓展应用边界。那么，什么是大数据？大数据和传统数据库有什么区别呢？大数据的概念与特征大数据是超传统数据库处理能力的数据集，具有海量、快速、多样和低价值密度的特征。0102大数据的处理与价值大数据是海量复杂数据的集合，其价值在于通过新处理模式提升决策力、洞察力和流程优化。大数据产业的关键是数据“加工能力”，通过加工实现数据“增值”。03大数据与云计算的关系大数据依赖云计算的分布式处理、数据库和云存储技术，实现海量数据的分析与挖掘。一、大数据的概念二、大数据的特点听起来复杂高深，但其实很简单，大数据就是海量资料、巨量资料，这些巨量资料来源于世界各地随时产生的数据，在大数据时代，任何微小的数据都可能产生不可思议的价值。在维克托·迈尔-舍恩伯格及肯尼思·库克耶编写的《大数据时代》中提到了大数据的3个特征：Volume海量、Velocity快速、Variety多样。另外，随着大数据技术的成熟和应用场景的不断增加，另一个特征也越来越突出，即Value价值。这四项就是常说的大数据的4V特征，如图1-1所示。从数字化技术诞生以来，人类社会的数据生产方式经历了三个阶段：（1）运营式系统阶段，数据仅由少数运营人员生产并发布。（2）用户原创内容阶段，即自媒体时代，全民都是数据的生产者与发布者，数据生产速度大幅提升。（3）感知式系统阶段，即物联网时代，各类摄像头、传感器实时生产数据、记录数据，其数据生产速度较人工数据生产再一次发生质的跨越。当前，我们正处于感知式系统阶段，数据正呈现爆发性增长。二、大数据的特点（一）大量（Volume）大数据时代的特征与规模01大数据特点数据规模庞大，从GB到PB、EB级别，PB级数据集才称大数据，1PB等于1024TB，体现数据量爆炸增长。02数据量增长从Map3时代MB级别到现今PB、EB级别，数据存储单位急速扩大，反映信息技术高速发展下的数据爆发性增长。二、大数据的特点（一）大量（Volume）大数据应用推荐系统广泛应用，如淘宝、网易云音乐，通过分析用户日志数据，精准推荐用户偏好内容。（2）半结构化数据半结构化数据形式多样，如HTML文档、邮件、网页，数据结构灵活，因果关系不强。大数据特点多样性源于广泛的数据来源，如年龄、学历等个人特征，体现全国范围内数据的丰富变化。（1）结构化数据结构化数据是遵循固定格式的二维表数据，常见于财务系统、医疗系统等，数据间存在因果关系。（3）非结构化数据指图像、视频、音频文件，数据间没有因果关系。二、大数据的特点（二）多样（Variety）可以从两个角度理解大数据的高速：（1）数据生产速度快：在物联网时代，基于传感器等数据生产方式的多样性与高速网络带宽的共同作用，高效的数据生产已成为现实。二、大数据的特点（三）高速（Velocity）（2）数据处理速度快01大数据特点高速处理数据，实时分析，指导生活生产，如App精准推送，提升市场占有率。02数据处理速度平台需实时分析，仅保存近期数据，远期数据及时清理，确保处理速度，获取竞争优势。二、大数据的特点（三）高速（Velocity）价值也是大数据的核心特征。在现实世界所产生的数据中，有价值的数据所占比例很小，价值密度较低。例如，小区监控视频24小时记录小区监控画面，需要消耗大量存储空间，却仅在特殊情况下（如盗窃案）的一小段视频才有意义。二、大数据的特点（四）价值（Value）大数据的潜在价值大数据价值分析20～35岁年轻人上网数据，了解爱好指导产品发展；利用全国病人数据预测疾病，体现大数据商业价值。大数据应用从海量数据中挖掘未来趋势与模式，通过机器学习等技术发现新知识，指导产品方向，预测疾病发生。二、大数据的特点（四）价值（Value）什么是数据要素？02大数据的发展认知任务导入在数据特征的不断演变过程中，数据的资源价值逐渐得到广泛认同，这也推动了数据流通和共享需求持续增长。当前，大数据已成为社会热议的焦点话题。那么，大数据的起源何在？其历史演变又是怎样的脉络？展望未来，大数据又将呈现怎样的发展趋势？大数据的演变历程、当前状况以及未来的发展方向如何呢？一、大数据的前世今生

（一）大数据的发展背景2011年麦肯锡报告首次提出“大数据”概念，认为大数据是推动经济社会发展的重要因素。大数据概念的普及"大数据"一词源于90年代的美国宇航局，用于描述超出现有存储和处理能力的海量信息。大数据概念的诞生大数据研究在中国的兴起01大数据发展历程中国自2011年起举办大数据论坛，2012年科技部将大数据研究列为“十二五”计划首位，持续至2015年，涉及超算、云计算、5G等。02科技部行动计划科技部在“十二五”及2015年863计划中，明确将大数据作为重点发展领域，推动信息技术创新与应用。一、大数据的前世今生

（一）大数据的发展背景大数据写入政府工作报告2015年3月,大数据首次纳入政府工作报告,标志着中国大数据时代的开启。大数据写入政府工作报告2015年8月31日,国务院印发纲要,推动大数据战略实施,促进大数据产业发展。《促进大数据发展行动纲要》发布2017年,工信部编制发展规划,指导大数据产业健康快速发展,实施国家大数据战略。《大数据产业发展规划》编制2017年,十九大报告强调推动大数据与实体经济深度融合,促进经济转型升级。十九大报告提出大数据与实体经济融合一、大数据的前世今生

（一）大数据的发展背景中国通过《"十四五"大数据产业发展规划》和《数据安全法》，旨在规范大数据产业，保障数据安全。大数据立法与规划01为强化国家安全，中国将完善相关法治、战略和保障体系，加强重点领域和新兴领域安全建设。国家安全体系强化02一、大数据的前世今生

（一）大数据的发展背景包含数据采集、预处理、分布式存储、NoSQL数据库、数据仓库、机器学习、并行计算、可视化等。大数据技术体系HadoopHDFS、Tachyon、KFS。文件存储Storm、SparkStreaming、S4、HeronK-V、NoSQL。流式、实时计算列举了数据采集、预处理、存储、数据库、数据仓库、机器学习、计算、可视化等多个技术门类。大数据基础技术列举HadoopMapReduce、Spark。离线计算HBase、Redis、MongoDB。数据库一、大数据的前世今生

（二）大数据技术的发展历程日志收集Flume、Scribe、Logstash、Kibana。分布式协调服务ZooKeeper。资源管理YARN、Mesos。消息系统Kafka、StormMQ、ZeroMQ、RabbitMQ。集群管理与监控Ambari、Ganglia、Nagios、ClouderaManager。一、大数据的前世今生

（二）大数据技术的发展历程数据挖掘、机器学习查询分析任务调度数据同步Mahout、SparkMLlib。Sqoop。Oozie。多种查询分析工具对比，包括Hive、Impala、Pig、Presto、Phoenix、SparkSQL、Drill、Flink、Druid、Kylin。一、大数据的前世今生

（二）大数据技术的发展历程2.大数据主流技术的发展历程大数据主流技术的发展历程如表1-2所示。一、大数据的前世今生

（二）大数据技术的发展历程通过分析数据找规律、预测趋势，辅助各行各业决策，降低成本，提升竞争力，已成发展关键。大数据价值体现01随着科技发展，大数据技术广泛应用，加速行业领域发展，创造便利，增强经济与综合国力。大数据技术发展02一、大数据的前世今生

（三）大数据的应用现状金融行业大数据技术助力金融行业解决数据分析难题，通过多维度用户数据分析提供定制化服务，促进企业自身发展。0102电商行业大数据推动电商运营模式变革，企业通过数据分析提升决策效率和竞争力。如Amazon、淘宝网等利用推荐算法精准预测消费者需求。一、大数据的前世今生

（三）大数据的应用现状数据对于在线社交也有着非常重要的影响。通过来源于网络的大数据，可以让用户在即时通信上得到最大的便捷，如微博、共享空间等。在线社交的大数据对用户的活动能够进行直接反应，形成非常有效的用户信息交互。通过大数据的使用，在社交平台上能够根据用户自身的情况将用户分组，向用户推荐自己关心的信息或与自己相关的群组，能够从社交结构上对用户信息进行综合分析并提供对用户非常有价值的相关信息。对用户群体之间相互关系的有效分析，能够最大限度地帮助用户找到自己感兴趣的话题或事物。社交网络中大数据的应用，最直接的体现就是对用户数据的收集和处理，从而进行相关信息的推荐，以及在线教育等。Facebook保存着两类最宝贵的数据：一类是用户之间的社交网络关系，另一类是用户的偏好信息。3.在线社交一、大数据的前世今生

（三）大数据的应用现状智慧城市利用大数据技术监控城市，实现管理的智能化、科学化、规范化。4.交通行业大数据促进医药研发，分析药物副作用，助力企业科学制订生产计划。5.医疗行业一、大数据的前世今生

（三）大数据的应用现状6.物联网物联网与大数据的协同效应物联网与大数据相辅相成，物联网为大数据提供数据支持和市场空间，但需应对海量异构数据的挑战。物联网在物流企业的应用物流企业通过安装传感器和GPS，利用物联网大数据实时监控配送车辆，提升效率，确保意外情况及时处理。物联网提升配送效率并且这种跟踪定位，也能够在第一时间为车辆的行进选择最快捷的路线，让配送工作变得更加高效、快速。一、大数据的前世今生

（三）大数据的应用现状7.政府部门大数据也可以应用于政府部门，政府部门自身就具有海量的数据，依靠传统的数据分析方式已经难以满足互联网时代下剧增的数据量的分析需求。政府部门通过使用大数据，可以提高自身的管理能力、转变管理的方式，从而打造服务型的政府。大数据技术在社会的发展中具有重要的作用，现阶段，大数据技术在发展中依旧还有一些挑战，这些挑战随着大数据、物联网、区块链等方面的技术发展在不断得到完善。在社会的不断发展中，大数据技术将进入更多的行业和领域，科技的不断发展，也使大数据技术越来越完善，为经济发展贡献更大的力量。一、大数据的前世今生

（三）大数据的应用现状大数据技术在各行各业中的应用见表1-3。一、大数据的前世今生

（三）大数据的应用现状初期应用，发展趋势良好，前景可观，行业与技术共进。01大数据未来前景大数据技术推动数据价值化，已在互联网领域广泛应用，未来将为社会带来更多赋能和价值。02大数据创造更多价值大数据技术推动科技发展，尤其在人工智能领域，大数据已成为机器学习等的关键基础。03大数据推动科技领域的发展大数据产业链已初具规模，涵盖数据采集到应用，众多企业参与，随着发展，相关产业规模将持续扩大。04大数据产业链逐渐形成产业互联网时代，大数据技术将重点赋能传统产业，实现技术落地，驱动行业革新。05产业互联网推动大数据落地二、大数据的未来发展

（一）大数据未来前景大数据人才需求大数据产业为知识密集型，需大量高端与复合型人才