数据思维与大数据基础课件 第2章 大数据思维

第2章大数据思维开启大数据时代的关键目录01数据科学02数据全生命周期管理03数据思维04数据范式05大数据思维06常见的大数据思维方式07案例2.1

数据科学了解数据科学的发展与步骤2.1

数据科学发展历程Step120世纪20-60年代，统计学奠基，计算机初步用于数据处理，以统计为基础进行数据收集和分析。早期萌芽阶段Step2奠基阶段20世纪60-80年代，数据库管理系统诞生，多元分析方法应用，为数据科学打下坚实基础。Step320世纪80-90年代，数据挖掘概念兴起，机器学习算法有进展，推动数据科学发展。发展阶段Step420世纪90年代-21世纪10年代，互联网普及使数据爆发，多种技术发展提升数据处理能力。快速发展阶段Step5随着大数据、人工智能等技术爆发，数据科学应用领域不断拓展，成为推动行业发展的力量。新时代发展2.1

数据科学概念明确数据科学的定义与步骤01结合统计学、计算机科学和领域知识，从数据中提取知识规律，辅助决策。数据科学定义02涵盖数据获取、预处理、探索性分析、建模、评估、可视化和产品等流程。数据科学步骤03通过处理分析数据，获取有价值的信息和知识，解决实际问题。数据科学目标2.1

数据科学概念数据科学步骤2.1.1

数据获取01物联网系统产生大量非结构化数据，如视频、音频等，应用领域广泛，价值密度高。02传统信息处理系统涵盖政务、企业等系统，数据多为结构化，精确度高，关联性强。03互联网应用包括Web和App，产生半结构化数据，真假难辨但价值密度高。04网络爬虫技术可用于获取Web和App数据，但要注意遵守数据安全红线。掌握数据获取的渠道与方式2.1.2

数据预处理数据清洗处理缺失、冗余和噪声数据，使不同数据集一致，耗时但重要。01数据集成将多个数据源合并，形成一致存储，需消除冗余数据。02数据变换转换数据形式，如缩放属性，对基于距离的挖掘算法很重要。03数据归约压缩数据，提高建模质量，降低时间复杂度，不影响结果。04熟悉数据预处理的流程与方法2.1.3

探索性数据分析认识探索性数据分析的作用与内容01在少先验假定下，通过多种手段探索数据结构和规律的分析方法。探索性数据分析定义02由美国统计学家约翰·图基在20世纪60年代提出。探索性数据分析提出者03面对杂乱数据时，能有效发现数据分布和变量相关性。探索性数据分析作用04包括数据清洗、描述、审计、查看分布、发现相关性等。探索性数据分析工作内容2.1.4

数据建模了解数据建模的类型与应用01计算机从数据提取信息并验证，学习经验解决类似问题，如神经网络。监督学习02计算机自主截取有用信息，学习目标具有不确定性。无监督学习03无数据验证时，计算机自主评估信息。强化学习04用于客户流失预警、欺诈检测、物体分类等业务场景。数据建模应用2.1.5

模型评估重视模型评估的重要性与方法选择合适的评估方法，能快速发现问题，优化模型。模型评估重要性01分为离线评估和在线评估两个阶段。模型评估阶段02针对不同机器学习任务，选择合适的评估指标。评估指标选择03根据评估指标反馈，对模型进行调整和优化。模型调整依据042.1.6

数据可视化借助图形手段，清晰有效地传达与沟通信息。数据可视化目的01与信息图形、科学可视化、统计图形等密切相关。数据可视化关联领域02设计人员需平衡设计与功能，避免华而不实。数据可视化平衡问题03理解数据可视化的目的与挑战2.1.7

数据产品广义数据产品能辅助用户决策的产品，如搜索引擎、个性化推荐引擎。01认识数据产品的定义与发展狭义数据产品如淘宝数据魔方、百度指数等，形态多样。02数据产品用户包括企业内部用户、外部企业客户和个人客户等。03数据产品发展形态从报表型到智能型，逐步发展和演变。042.2

数据全生命周期管理掌握数据全生命周期管理的定义、内容与目标2.2.1

数据全生命周期管理定义01数据价值涵盖数据采集、确权、定价等环节，通过整合创造价值。02DIKW模型由数据、信息、知识、智慧构成，体现数据增值过程。03数据全生命周期表述数据从产生到废弃的过程，与DIKW模型紧密相关。04包括原始数据、信息、知识、智慧阶段，价值不断提升。数据全生命周期各阶段理解数据价值与DIKW模型2.2.1

数据全生命周期管理定义DIKW模型的数据增值过程2.2.2

数据全生命周期管理内容明确各阶段的管理要点01数据创建从数据感知开始，接入工具并存储，如交通监控数据采集。02数据处理包括清洗、转换、集成、归约、建模和存储等内容。03数据建模和应用用于业务决策、交通分析、操作指导和车辆管理等场景。04数据共享需考虑隐私和安全，通过安全共享层实现跨部门和组织共享。05数据归档将不活跃数据长期保存，减少存储成本。06数据删除安全删除不再需要的数据，防止泄露。2.2.3

数据全生命周期管理原则遵循数据管理的重要准则01数据质量原则在各阶段严格管理数据质量，确保准确性和完整性。02数据安全原则涵盖数据生命周期各环节，保护数据安全。03合规性原则遵守法律法规，记录操作，确保数据合法合规。04可追溯性原则记录数据来源和变化过程，便于定位和解决问题。05性能和可用性原则根据数据阶段调整存储，降低管理成本。2.2.4

数据全生命周期管理目标实现数据管理的多重价值O1提升数据价值有序管理数据，挖掘潜力，提升业务运营和决策效率。O2增强合规性与安全性遵循法规，保护数据，避免法律风险和经济损失。O3降低存储成本合理存储策略，归档或删除不活跃数据，降低成本。O4提高数据管理水平规范管理，满足监管要求，推动高质量发展。2.2.5

数据全生命周期管理注意事项关注各阶段的关键问题数据产生阶段01.明确责任，根据场景选择建模方法，减少风险。数据采集阶段02.保证数据源可靠，评估质量，考虑整合复杂性。数据处理阶段03.关注数据质量、存储和安全问题，合理选择存储媒介。数据使用阶段04.分级授权访问，进行数据分析，制作BI报表。数据销毁阶段05.归档不活跃数据，彻底清除数据，降低成本和风险。其他注意事项06.包括数据分类分级、合规性、制定管理计划等。2.2.6

数据全生命周期管理应用以楚天数链为例了解实际应用由趣链科技与湖北数据集团打造，构建数据流通生态。01楚天数链简介用区块链确保数据源头管理，记录原始数据。02数据产生与收集利用分布式存储，加工处理数据，保障安全。03数据存储与处理支持复杂分析，合规共享数据，实现价值最大化。04数据分析与共享将数据用于业务，及时归档或销毁数据。05数据应用与归档2.2.6

数据全生命周期管理应用楚天数链的总体框架2.3

数据思维培养数据思维，应用于生活与工作中2.3

数据思维定义明确数据思维的内涵与要素01数据思维概念从数据获取信息、分析问题、推理和解决问题的能力和思维方式。02数据思维核心要素包括数据敏感度和数据方法经验，用于解决实际问题。2.3

数据分析层次了解不同层次的数据分析描述性分析汇总、展示历史数据，描述过去事件，如通过报表呈现。01诊断性分析深入探究数据，揭示事件原因，运用统计等技术。02预测性分析基于历史数据预测未来趋势，利用机器学习算法。03指导性分析提供行动建议优化结果，结合预测和优化算法。042.3.1

数据即资产认知01数据是与实物资产、金融资产同等重要甚至更具潜力的资产形式。02数据能够为组织带来经济利益、竞争优势和创新能力，不是简单的副产品。03需要像管理土地、设备一样，对数据进行有效收集、存储、管理和维护。03确保数据的安全性、完整性和可用性，以实现长期价值。2.3.2价值导向的思维方式以挖掘数据潜在价值为根本出发点和落脚点，超越表面信息。01运用数据分析工具和技术，深入挖掘规律、趋势和关联。02聚焦业务优化、产品创新、市场拓展和决策支持等应用场景。03实现数据价值变现，提升组织绩效。042.3.3数据驱动的创新意识1.利用数据资产推动业务模式、产品和服务的创新。2.数据是创新的重要源泉，通过分析发现新商业机会和用户需求。3.激发创新灵感，优化或变革现有业务模式。4.创造全新产品或服务，应对市场变化。核心要点2.3.4

数据全生命周期管理理念1.涵盖数据从产生、收集、存储、处理、分析到应用和共享的全过程。2.每个环节注重数据质量、安全和合规性，确保数据资产持续增值。3.在收集阶段保证准确性和完整性；存储和处理阶段防止泄露和丢失。4.应用和共享时遵循法律法规和道德规范，确保合法使用。核心要点2.3.5

数据共享与协作的观念1.数据资产价值在共享和协作中最大化。2.打破数据孤岛，促进部门间、组织间数据流通和整合。3.实现资源优化配置和精细化管理，提升整体效率。4.推动协同创新，创造更多商业和社会价值。核心要点思考在你的学习生活中，你是怎么运用数据思维解决问题的？2.4

数据范式认识科学研究的范式转变2.4

第四范式了解第四范式的提出与特点01第四范式提出者图灵奖得主吉姆·格雷在2007年提出。02第四范式定义数据密集型科学发现，基于大量已知数据计算未知理论。03第四范式与第三范式区别第三范式先理论后验证，第四范式先数据后得理论。思考如何理解第三范式是“人脑+电脑”，人脑是主角；而第四范式是“电脑+人脑”，电脑是主角？2.5

大数据思维理解大数据思维的定义2.5

大数据思维定义综合不同观点明确定义观点一01用大数据思想文化思考解决问题，表述笼统且不准确。观点二02基于数据分析产生价值挖掘思维，界定较窄且宽泛。观点三03尊重事实，强调精确，基于数据分析形成结论，不全面。观点四04以大数据为视角解决问题，分两个层次认识。综合定义05以大数据为核心思考，用技术方法整合分析数据解决问题。2.6常见的大数据思维方式理解大数据思维的方式2.6

常见大数据思维方式掌握多种大数据思维方式1将问题转化为数据问题，通过数据分析解决。数据化思维2数据是决策和创新核心，基于分析结果做决策。数据核心思维3大数据环境下，用尽可能多数据进行分析，获全面视角。全样思维4接受一定程度错误，使分析更灵活，快速适应变化。容错思维5强调发现数据相关性，不追求因果关系，辅助决策。相关思维6一切皆可量化，通过定量方法提供描述性信息。定量思维7通过实验测试假设和模型，优化决策过程。实验思维8深入分析数据，创新改进产品服务，提高竞争力。创新思维2.7

案例通过实际案例理解大数据思维与应用2.7.1

啤酒与尿布案例分析关联分析的经典案例案例背景沃尔玛发现男性买尿布时常搭配啤酒，推出促销手段销量大增。1数据分析方法使用关联分析算法，挖掘购物清单中的关联信息。