计算基础与智能 7

大数据技术大学计算机与人工智能目录7.1大数据概述7.2大数据思维7.3大数据伦理与安全7.4数据分析7.1大数据概述7.1.1大数据的产生与发展7.1.2大数据的概念7.1.3大数据的核心价值7.1.4大数据与人工智能7.1.5大数据的影响7.1.6大数据关键技术7.1.7大数据常见应用7.1.1大数据的产生与发展大数据的产生与发展信息科技的发展与数据生产方式的变革（1）信息科技的技术支撑（2）数据生产方式的变革①被动生成阶段（运营式系统）②主动创造阶段（用户原创内容时代）③自动感知阶段（物联网时代）7.1.1大数据的产生与发展大数据的发展历程7.1.2大数据的概念大数据的5V特征（1）大量。大数据体量巨大，通常以TB、PB、EB、ZB等为单位。（2）速度。大数据速度体现在数据的产生和传输速度快、处理需要实时或近实时响应。（3）多样。大数据多样性体现在数据来源广泛且类型多样。①数据来源众多

②数据类型多样（4）价值。大数据真正有价值的信息相对较少，即数据价值密度低。（5）真实性。指数据在准确性、完整性、一致性及来源可信度等方面满足要求的程度。7.1.3大数据的核心价值大数据的核心价值（1）全面洞察与模式发现：从海量数据中发现隐藏趋势、异常或关联。（2）实时决策与响应：高速数据处理能力可以支持实时反馈。（3）多维度关联分析：整合结构化与非结构化数据，突破单一数据源的局限性。（4）数据驱动决策：基于客观数据优化策略，减少主观经验依赖（5）推动创新与效率提升：加速科研突破、降低试错成本。7.1.4大数据与人工智能大数据与人工智能（1）大数据与人工智能形成共生关系——大数据是人工智能的基石，人工智能是大数据分析与利用的有力工具。（2）大数据与人工智能相互依存、相互促进，共同推动科技进步和社会发展。7.1.5大数据的影响大数据产生的影响（1）大数据对科学研究的影响7.1.5大数据的影响大数据产生的影响（2）大数据对社会发展的影响

①大数据决策成为一种新的决策方式②大数据成为提升国家治理能力的新途径

③大数据应用促进信息技术与各行业的深度融合

④大数据开发大大推动了新技术和新应用的不断涌现7.1.6大数据关键技术大数据技术7.1.7大数据常见应用大数据常见应用（1）互联网领域：推荐系统（2）城市管理领域：环保监测（3）零售领域：客户群体细分（4）金融领域：信贷风险分析（5）教育领域：个性化学习7.2大数据思维全样思维大数据思维追求尽可能收集、分析全部相关数据，而不再满足于传统抽样通过少量样本推测整体情况；数据量越大，越能反映事物的真实全貌和内在规律，避免传统抽样方法可能带来的偏差。容错思维不过分苛求数据的绝对精准，允许一定程度的“瑕疵”存在（但仍需基础的数据清洗以保证分析的可靠性）。因为在大规模数据集合下，个别数据的偏差对整体分析结果的影响相对较小，过度追求数据的完美无瑕会耗费大量的时间与资源，错失分析的最佳时机。7.2大数据思维相关思维挖掘数据之间的相关性，而非因果关系探寻。直接明确因果联系往往耗时费力且并非总是必要，通过发现数据间的相关性，有时就能快速为决策提供有力依据。相关性可为决策提供线索，但需结合领域知识进一步验证。大数据思维以数据为核心，通过数据驱动决策和解决问题。7.3大数据伦理与安全大数据伦理探讨在大数据的收集、存储、分析和使用等过程中涉及的道德原则和规范问题，关注如何确保大数据技术的应用符合人类的价值观和社会利益。（1）隐私侵犯。个人信息被大量收集和分析，很容易导致隐私泄露。（2）数据偏见。数据的收集和分析可能会存在偏见，导致对不同群体产生不公平的结果，影响社会公正。（3）责任归属。当大数据分析结果出现问题或造成不良影响时，很难确定责任是在数据收集者、分析者还是算法开发者等。7.3大数据伦理与安全大数据安全与隐私保护大数据安全是指保护大数据免受未经授权的访问、使用、泄露、破坏或篡改，确保数据的保密性、完整性和可用性。（1）数据泄露。黑客攻击、内部人员违规操作等都可能导致大量数据泄露，给个人和企业带来巨大损失。（2）数据篡改。篡改大数据中的关键信息，影响数据分析的准确性和可靠性。

（3）数据滥用。超出授权范围使用数据，或者将数据用于非法目的。7.4数据分析数据分析是通过数据收集、加工、整理与分析，提取有效信息、形成科学结论的过程。基本流程：①

问题定义：明确分析目的，构建分析框架。

②

数据准备：从数据库、文件或网络等渠道采集相关数据。

③

数据预处理：通过数据清洗、转换、抽取、计算等方法，提高数据质量，提升数据分析效果。

④

数据分析：运用统计方法或数据挖掘技术提取有价值的信息，形成有效结论。

⑤

数据展示：用图表直观表达数据关系，展示分析结果。

⑥

撰写报告：总结分析过程和结果，供决策者参考。7.4.1可视化分析利用词云图分析商品评论信息。【例7-1】利用“评论.xlsx”中的词汇，绘制词云图，考查用户对该商品的哪些方面关注度高。7.4.1可视化分析（1）使用Excel和词云图工具生成词云图【操作步骤】①在Excel软件中打开“评论.xlsx”文件②选取评论中的不重复词汇③词频统计④删除低频词⑤删除单字⑥保存处理结果⑦绘制词云图：使用在线工具7.4.1可视化分析（2）使用AI生成词云图【操作步骤】1）在AI大模型中输入提示词2）上传“评论.xlsx”文件3）发送指令，大模型返回生成结果7.4.2统计分析利用数据透视表分析某超市的运营情况。数据透视表是一种交互式报表，可以从不同角度对数据进行分析。图7-11

数据透视表的结构7.4.2统计分析【例7-2】利用“销售情况.xlsx”完成以下分析：①超市7月份的整体运营状况。②根据超市的业务结构分析超市的运营状况。③销售额的分布情况。④员工销售业绩的达标情况。7.4.2统计分析（1）使用Excel进行统计分析【操作步骤】①使用sum()函数统计7月份的总交易额

②按商品分类划分业务结构，考查各类商品的总销售额及其占比③使用VLOOKUP()函数，划分销售额的等级；

建立数据透视表，统计各个销售额等级的数量及其占比④建