项目七 人工智能与大数据技术

信息技术项目化教程主讲人：所有教学资源，我们给；所有复杂操作，我们做；图书附赠，永久免费，只为老师用书更方便课件教案微课扫码题库建课互评考试平台

学习工具人工智能与大数据技术项目七随着数字时代的高速发展，人工智能与大数据技术已全面渗透到人们学习、工作和生活的各个领域，彻底改变了传统的工作模式、服务模式与产业模式，是数字化、智能化时代不可或缺的关键技术支撑。两者相辅相成、互为支撑，大数据为人工智能提供核心数据资源，人工智能为大数据赋予智能分析能力。本项目以人工智能与大数据技术为主线，通过任务学习与实践活动，引导读者了解人工智能与大数据的基础知识，并熟悉它们的应用场景。能力目标能够使用合适的人工智能工具解决实际问题。能够使用人工智能工具辅助数据分析。知识目标了解人工智能的概念与发展。熟悉人工智能的关键技术。熟悉人工智能的应用场景。了解大数据的概念与特征。熟悉大数据的处理流程。熟悉大数据的应用场景。素养目标了解人工智能对社会发展的影响，树立正确的科技观和价值观。培养科学的思维方式，养成合理利用数据的习惯。任务7.1了解人工智能技术及其应用任务7.2了解大数据技术及其应用如今，人工智能技术已全面融入人们的日常生活，成为最贴近大众的信息技术。我们日常使用的智能语音交互、人脸识别、AI图文创作、学习辅助等功能，都是人工智能技术应用的直观体现。不同于传统程序，现代人工智能依托机器学习、深度学习等技术，具备自主学习、迭代优化的能力，而且生成式人工智能能够快速生成文本、图片、视频等多样化内容，极大降低了内容创作、智能交互的门槛。本任务将围绕人工智能的概念与发展、人工智能的关键技术、人工智能的应用场景等内容展开学习；在此基础上，通过使用豆包设计校园运动会宣传海报、使用讯飞智作生成数字人播报视频两个实践活动，熟悉人工智能技术的应用。7.1.1人工智能的概念与发展人工智能扫码学习1．人工智能的概念人工智能是研究、开发用于模拟、延伸和扩展人类智能的理论、方法、技术及应用的学科。简单来说，人工智能就是让机器像人类一样具有感知能力、思考能力、沟通能力、判断能力等，从而更好地为人类服务。7.1.1人工智能的概念与发展2．人工智能的发展人工智能的发展主要经历了7个时期，依次是孕育期起步发展期反思发展期应用发展期低迷发展期稳步发展期蓬勃发展期7.1.1人工智能的概念与发展2．人工智能的发展发展时期发展经历重要历史事件孕育期（1956年之前）逻辑推理、计算机、图灵测试的出现促进了人工智能的产生1936年，图灵提出了一种理想计算机数学模型，即图灵机；1946年，世界上第一台通用电子计算机ENIAC诞生；1950年，图灵提出了“图灵测试”起步发展期（1956—1975年）人工智能的概念提出后，相继取得了一批令人瞩目的研究成果，掀起了人工智能发展的第一个高潮1956年，达特茅斯会议上提出“人工智能”的概念，标志着人工智能的诞生反思发展期（1976—1981年）人工智能研究取得的突破性进展使人们产生许多新的想法。然而，研究项目接二连三的失败和预期目标的落空使人工智能的发展陷入低谷机器翻译等项目的失败及一些学术报告的负面影响，导致人工智能的研究经费普遍减少应用发展期（1982—1986年）模拟人类专家的知识和经验解决问题的专家系统盛行，并在医疗、地质和化学等领域得到应用，推动人工智能进入应用发展的新高潮1982年，商用专家系统R1开始在公司运行；1986年，反向传播神经网络被提出表人工智能的发展历程7.1.1人工智能的概念与发展2．人工智能的发展发展时期发展经历重要历史事件低迷发展期（1987—1996年）随着人工智能的应用规模不断扩大，专家系统的应用领域狭窄、缺乏常识性知识、知识获取困难、推理方法单一等问题逐渐暴露出来1987年，专门为运行人工智能系统而设计的计算机市场崩溃稳步发展期（1997—2009年）网络技术（特别是互联网技术）的发展，加速了人工智能的创新研究，促使人工智能技术进一步走向实用化2006年，Hinton等人提出深度信念网络，标志着基于神经网络的深度学习取得突破性进展蓬勃发展期（2010年至今）随着大数据、云计算、物联网、移动互联网等信息技术的发展，以深度神经网络为代表的人工智能技术飞速发展2016年，AlphaGo（阿尔法围棋）战胜世界围棋冠军李世石；2018年，在央视春晚上，百度阿波罗（Apollo）无人车在荧幕上亮相；2022年，人工智能技术驱动的自然语言处理工具ChatGPT正式发布。随后，文心一言、DeepSeek等大语言模型陆续正式发布表人工智能的发展历程（续）人工智能的发展历程是一部曲折探索、不懈攻坚的历史。从理论萌芽到概念提出，从遭遇低谷到蓬勃兴起，几代科研工作者凭借持之以恒的探索精神，推动该项技术不断突破、惠及民生。这一历程启示我们，专业技能的提升与职业成长没有捷径可走。我们不仅要学习科研工作者不畏挫折、勇于创新的精神，扎实掌握专业技能；更要立足国家科技发展大局，认清技能人才的时代价值，将个人成长融入国家发展大局，以过硬技能践行使命，为数字时代科技进步与行业发展贡献力量。7.1.2人工智能的关键技术人工智能的关键技术包括机器学习自然语言处理计算机视觉知识图谱大模型……等7.1.2人工智能的关键技术1．机器学习什么是机器学习？机器学习（machinelearning）是指使计算机能像人类一样学习，以获取新的知识或技能，并能够重新组织已有的知识结构，从而不断优化自身性能。机器学习的本质是利用统计方法让机器通过“训练”获得经验，从而对未知数据进行预测。机器学习是使计算机具有智能的根本途径之一，它让计算机不再只是通过预设的程序完成任务，而是可以通过不断学习来掌握本领。7.1.2人工智能的关键技术1．机器学习（1）监督学习（supervisedlearning）是指从带有标签的训练数据中学得一个模型，并基于此模型预测新样本标签的一种学习方式，主要用于预测和分类任务。常见算法有决策树、支持向量机等。机器学习通常分为监督学习、无监督学习、半监督学习和强化学习。（2）无监督学习（unsupervisedlearning）是指在无标签的训练数据中发现数据规律的一种学习方式，其主要任务是从给定的数据集中挖掘出潜在的特征。常见算法有K-Means、主成分分析等。7.1.2人工智能的关键技术1．机器学习（3）半监督学习（semi-supervisedlearning）是监督学习和无监督学习相互结合的一种学习方式，它使用少量带标签数据和大量无标签数据进行模型训练，以弥补监督学习训练数据不足的短板。机器学习通常分为监督学习、无监督学习、半监督学习和强化学习。（4）强化学习（reinforcementlearning）是指机器通过与环境交互实现目标的一种学习方式，其核心思想是根据获得的奖励或惩罚训练模型，以在复杂环境中做出最优决策。深度学习（deeplearning）是机器学习的一个重要研究方向，它通过模拟人脑结构的深层神经网络来自动学习数据的多层次抽象特征表示。深度学习的核心在于利用包含多个隐藏层的复杂网络结构，逐层提取和转换数据，适用于高度复杂的模式识别任务，如图像、语音和自然语言处理。与传统机器学习相比，深度学习更依赖大规模数据和强大算力，并能够自动发现特征而无需过多人工干预。常用的深度学习算法包括卷积神经网络、循环神经网络、生成式对抗网络等。7.1.2人工智能的关键技术2．自然语言处理什么是自然语言处理？自然语言处理（naturallanguageprocessing,NLP）主要研究实现人类与计算机系统之间用自然语言进行有效通信的各种理论和方法，是人工智能研究的重要课题之一，也是人工智能技术的重要分支。近年来，自然语言处理已经在机器翻译、自动文摘、句法分析、情感分析、文本分类等研究方向取得了突出成就。7.1.2人工智能的关键技术2．自然语言处理研究方向简介机器翻译将一种自然语言翻译成另一种自然语言，如将中文翻译为英语自动文摘提炼指定文章的摘要，即自动归纳文章的主要内容和含义，并形成摘要句法分析运用自然语言的句法和其他相关知识确定输入的句子中各成分的功能，梳理句子语法结构，获取输入句子的语义情感分析对文本中的词汇、语句结构、上下文等进行综合分析，判断文本所蕴含的情感倾向，如积极、消极或中性文本分类在给定的分类体系和分类标准下，根据文本内容自动判别文本类型，实现文本自动归类表自然语言处理的研究方向及其简介7.1.2人工智能的关键技术3．计算机视觉什么是计算机视觉？计算机视觉（computervision）是人工智能研究最早取得突破性成就的领域。它涵盖图像分类、目标检测和图像分割等技术，在人脸识别、无人驾驶和医疗辅助诊断等场景应用广泛。7.1.2人工智能的关键技术3．计算机视觉（1）图像分类图像分类用于判断图像所属的类别，即判断给定的图像“是什么”。图像分类的方法是将图像转换为某一类别的信息，用事先确定好的标签或类别描述图像。图像分类是计算机视觉中的一项基础研究任务，是目标检测、图像分割、目标跟踪等其他高级视觉分析任务的基础，在许多领域都有着广泛的应用。如智慧城市领域的安防监控、智慧交通领域的交通标志识别等。7.1.2人工智能的关键技术3．计算机视觉（2）目标检测目标检测是指通过算法自动检测图像中物体的大致位置，并分析物体的类别信息，即判断给定图像中的物体“在哪里，是什么”。目标检测比图像分类的难度更高，因为目标检测不仅要给出所有物体的类别，还要给出所有物体的位置。智能安防系统利用目标检测技术可自动识别并定位监控画面中的人员、车辆、可疑物体等，实现异常行为实时预警。例如：7.1.2人工智能的关键技术3．计算机视觉（3）图像分割图像分割是计算机视觉中更为精细的图像处理技术，它能够将画面中不同物体、不同场景区域完整区分开来，相比目标检测的定位功能，其精准度更高、划分更细致。图像分割主要应用于无人驾驶、医学影像分析等场景。在无人驾驶场景中，车载摄像头或激光雷达探查到图像后，无人驾驶汽车将图像输入模型中，后台计算机可以自动将图像分割并归类，让无人驾驶汽车了解自己所处的环境，以避让行人和车辆等。例如：百度AI开放平台是百度推出的一站式人工智能服务平台，它提供了200多项标准化的AI功能（自然语言处理、图像识别、OCR文字识别等），通过简单易用的API接口即可调用这些功能。无论是为应用添加人脸识别功能、搭建智能客服系统，还是实现文档自动录入，都可以通过几行代码快速实现，无须从零开始训练模型，大幅降低了人工智能的应用门槛。7.1.2人工智能的关键技术4．知识图谱什么是知识图谱？知识图谱（knowledgegraph）是将海量知识及其联系组织在一起而得到的关系网络，通常采用基于图的数据结构表示。知识图谱能够采取结构化方式表示和整合大量信息与知识，为人工智能模型提供丰富的语义信息。目前，知识图谱已广泛应用于智能搜索、智能问答、个性化推荐、金融风控、智慧医疗等多种场景。搜索引擎能够从知识图谱中获取相关搜索答案，并通过知识卡片等形式展示给用户；个性化推荐系统能够通过构建大规模的知识图谱，更好地理解用户的需求和偏好，进而精准推送用户感兴趣的内容。例如：7.1.2人工智能的关键技术5．大模型什么是大模型？大模型（largemodels）的全称为人工智能大模型，是指利用海量数据和算法训练而成的、具有大规模参数和复杂计算结构的人工智能模型。它通常基于深度学习构建，具备强大的学习能力和泛化能力，可处理和分析大规模数据集，还可通过简单指令完成文本、图像、音频、视频等多种类型数据的处理任务，能够在复杂任务中展现出卓越的性能。泛化能力是指将所学知识运用到未知环境的能力，此处主要是指通过训练得到的模型在输入未知数据时也能得到合理输出结果的能力。提示7.1.2人工智能的关键技术5．大模型（1）大语言模型通过大规模文本数据训练而成，通常用于处理文本数据或理解自然语言。它能够根据用户的指令生成文本、回答问题，甚至创作诗歌或编写代码。日常生活中使用的智能助手（豆包、DeepSeek等）就是基于这类模型开发的。按输入数据类型的不同，可将大模型分为大语言模型、视觉大模型和多模态大模型。7.1.2人工智能的关键技术5．大模型（2）视觉大模型通过大规模图像数据训练而成，通常用于图像处理和分析。它能够识别图像中的物体与场景、理解视频内容，实现图像分类、目标检测、图像分割等任务，广泛应用于产品质检、医学影像分析、安防监控等场景。按输入数据类型的不同，可将大模型分为大语言模型、视觉大模型和多模态大模型。7.1.2人工智能的关键技术5．大模型（3）多模态大模型通过海量文本、图像、音频、视频等多模态数据训练而成，通常用于同时理解和处理视觉信息、听觉信息等多种复杂的感知信息。用户可以通过输入文本、上传图像、发送语音等方式对多模态大模型进行提问，多模态大模型对这些信息进行综合分析后，能够提供更加精准、全面的回答，有效提升与智能客服的交互体验和问题解决效率。按输入数据类型的不同，可将大模型分为大语言模型、视觉大模型和多模态大模型。目前，大模型已广泛应用于个人生活、公共服务等场景，并与多种成熟工具协同使用。在日常生活中，可借助豆包完成短视频文案撰写与配图生成；可依托智谱清言或办公小浣熊完成数据分析；可依靠DeepSeek-Coder生成并调试代码；可借助通义千问完成电商营销文案创作；可运用通义万相完成图像绘制与海报设计；可使用讯飞智作完成营销文案配音、短视频生成；可部署Qwen2.5-VL、InternVL等开源多模态模型解析医疗影像或工业图纸。7.1.3人工智能的应用场景人工智能的发展为许多传统行业注入了新的动力。通过与传统行业深度融合，人工智能可以为这些行业提供新的解决方案，提高各行业的服务质量。如今，人工智能已经在以下多个领域展现出了独特的优势和巨大的潜力教育医疗交通制造零售家居安防农业下面分别介绍人工智能在这些领域的应用。7.1.3人工智能的应用场景1．人工智能+教育教育兴则国家兴，教育强则国家强。教育既是国家意志，也是人民期待，还是提高国民素质的根本途径。人工智能为教育的发展提供了技术支撑，使传统的教育模式、教学方法及学生的学习体验发生了根本性转变。虚拟仿真实训系统能够突破传统实验室的空间与设备限制，不仅能为学生提供沉浸式、交互式学习体验，还能实时分析学生的操作数据，提供“一对一”个性化指导。例如：7.1.3人工智能的应用场景2．人工智能+医疗医疗不仅关乎每个人的生命健康，还是国家民生保障的核心支柱。借助自然语言处理和计算机视觉等技术，研究人员针对疾病诊疗、健康监测及药物研发等多个场景开发了多种人工智能产品。智能医疗影像辅助诊断系统能够分析医学影像数据，为医生提供高效、精准的诊断辅助。例如：7.1.3人工智能的应用场景3．人工智能+交通交通运输在国民经济中具有基础性、先导性、战略性的地位。随着人们经济水平的提升，汽车数量逐渐增加，这不仅加大了交通管理的难度，还导致越来越多的城市出现了交通拥堵的现象。为解决这些难题，国家政府部门利用人工智能等新技术大力发展智慧交通。智慧交通是一种新的服务体系，它在交通领域充分运用人工智能、大数据、云计算、物联网、移动互联网等新技术，以全面感知、深度融合、主动服务、科学决策等为目标，建设实时的动态信息服务体系。人工智能在智慧交通中的应用数不胜数。自动驾驶汽车能够识别道路、行人、交通标志，并做出变道、避障等决策，还能实现自动泊车、高速巡航功能，逐步解放驾驶员双手，提升行车安全性和出行效率。例如：7.1.3人工智能的应用场景4．人工智能+制造智能工业机器人能够感知环境、理解任务、实时决策并灵活地执行复杂操作，提升生产效率。例如：制造业是实体经济的主体，也是现代化产业体系的核心。人工智能与制造业的深度融合催生了新一代智能制造技术，提升了制造业的数字化、网络化、智能化水平。7.1.3人工智能的应用场景5．人工智能+零售天猫、京东等网购零售平台能够根据用户的需求智能推荐商品，以实现精准营销，在增强用户体验感的同时提升商品销量。例如：零售作为竞争激烈的行业，对于技术的发展十分敏感。随着人工智能、大数据、物联网等新技术的涌现与发展，越来越多的零售商使用新技术优化自身的零售业务，以提高运营效率，优化顾客体验。人工智能与零售业的深度融合涵盖商品推荐、客户服务、库存管理、物流配送、市场营销等方面。7.1.3人工智能的应用场景6．人工智能+家居智能语音助手能够通过智能语音模块理解并执行用户的语音指令（播放音乐、打开空调等），为用户提供更加便捷的服务。例如：随着生活水平的提高，人们对居住环境的要求也越来越高，这使家居产品向更加个性化、智能化的方向发展。目前，人工智能主要应用于智能家居产品中的智能视觉模块和智能语音模块。7.1.3人工智能的应用场景7．人工智能+安防人脸识别门禁系统能够快速准确地识别人员身份，控制人员进出，提高场所的安全性。例如：安防即安全防护，主要是指维护社会公共安全。随着人工智能在安防领域的大规模应用，基于目标检测、目标跟踪和图像识别等技术的智慧安防产品应运而生。7.1.3人工智能的应用场景8．人工智能+农业智能植保无人机可根据作物生长状况和病虫害分布，自动规划飞行路径并实施变量喷洒农药，显著提高作业效率。例如：人工智能与农业的深度融合是现代农业发展的新趋势。使用人工智能、大数据、云计算、物联网等新技术对农业生产全过程进行智能化管理，能够实现农业生产效率、资源利用率和农产品质量的全面提升，为农业现代化和乡村振兴注入新活力。宣传海报是通过整合视觉元素传递信息、吸引受众注意力的平面设计作品，广泛应用于活动推广、商业广告、品牌宣传、公益倡导等场景。本任务实施使用豆包设计校园运动会宣传海报，体验使用人工智能工具设计宣传海报的基本过程，感受人工智能给我们生活带来的便利。使用豆包设计校园运动会宣传海报扫码学习浏览器访问豆包官网，完成账号登录发送指令，获取校园运动会海报配图建议切换至图像生成模式，设置图片比例，输入海报绘图提示词并提交生成选取成品图像，执行下载保存（1）访问讯飞智作主页。打开讯飞智作主页（/）并登录个人账号，进入“数字人视频”界面。（2）设置数字人的形象。在界面右侧的“虚拟人”选项卡中设置数字人的形象，如设置性别为“女”、姿势为“大半身”、场景为“新闻播报”、具体人物为“依菱”，如右图。数字人（央视频的AI手语翻译官“聆语”、虚拟偶像“洛天依”等）是动作捕捉、图像处理、深度学习、语音合成等多种技术的综合运用，它的出现给新闻媒体、教育培训、影视娱乐等多个领域带来了更多的可能性。请使用讯飞智作生成数字人播报视频，体验利用人工智能数字人生成工具生成数字人播报视频的基本过程。设置数字人的形象（3）设置数字人的声音。在界面右侧的“声音”选项卡中设置数字人的声音，如选择“新闻”/“聆小珊”主播，根据需要调整主播语速、主播语调和音量增益等，最后单击右上方的“试听”按钮进行试听，如右图。数字人（央视频的AI手语翻译官“聆语”、虚拟偶像“洛天依”等）是动作捕捉、图像处理、深度学习、语音合成等多种技术的综合运用，它的出现给新闻媒体、教育培训、影视娱乐等多个领域带来了更多的可能性。请使用讯飞智作生成数字人播报视频，体验利用人工智能数字人生成工具生成数字人播报视频的基本过程。设置数字人的声音（4）撰写文案。在界面下方的编辑区单击“导入文件”按钮，在打开的对话框中选择并导入本书配套素材“素材与实例”/“项目7”/“任务7.1”/“数字人播报文本”文件，导入成功后，文本会显示在编辑区，如下图。数字人（央视频的AI手语翻译官“聆语”、虚拟偶像“洛天依”等）是动作捕捉、图像处理、深度学习、语音合成等多种技术的综合运用，它的出现给新闻媒体、教育培训、影视娱乐等多个领域带来了更多的可能性。请使用讯飞智作生成数字人播报视频，体验利用人工智能数字人生成工具生成数字人播报视频的基本过程。导入的文本（5）生成视频。在界面右上方单击“生成视频”按钮，在打开的对话框中设置视频的名称和格式，如“数字人播报”和“mp4”，单击“确认”按钮，生成数字人播报视频。数字人（央视频的AI手语翻译官“聆语”、虚拟偶像“洛天依”等）是动作捕捉、图像处理、深度学习、语音合成等多种技术的综合运用，它的出现给新闻媒体、教育培训、影视娱乐等多个领域带来了更多的可能性。请使用讯飞智作生成数字人播报视频，体验利用人工智能数字人生成工具生成数字人播报视频的基本过程。任务7.1了解人工智能技术及其应用任务7.2了解大数据技术及其应用在数字时代背景下，各行各业每时每刻都在产生海量多样的数据，传统的数据处理模式已无法适配海量数据的处理需求，大数据技术由此应运而生。大数据技术通过系统化的处理流程挖掘数据背后的潜在价值，目前已广泛应用于电商、金融、医疗、教育、城市管理等多个领域。本任务将围绕大数据的概念与特征、大数据的处理流程、大数据的应用场景等内容展开学习；在此基础上，通过体验电商平台个性化推荐功能、借助AI分析某电商平台用户消费行为数据两个实践活动，熟悉大数据技术的应用。7.2.1大数据的概念与特征大数据是指无法在合理时间内，使用传统数据处理技术获取、存储、管理和分析的大量且复杂的数据集合。大数据作为数字时代的“新石油”，其核心价值不在于数据本身的庞大规模，而在于通过先进的数据分析与挖掘技术获取的有价值的深层信息。大数据扫码学习1．大数据的概念7.2.1大数据的概念与特征2．大数据的特征一般认为，大数据具有海量的数据规模（volume）、快速的数据流转（velocity）、多样的数据类型（variety）、真实的数据来源（veracity）和较低的价值密度（value）5大特征，简称“5V”特征。全球正经历数据生产力的空前爆发，数据总量呈指数级增长。第九届数字中国建设峰会上发布的《全国数据资源调查报告（2025年）》显示，截至2025年底，我国数据生产量已达52.26泽字节（ZB）。（1）海量的数据规模在大数据时代，数据的生成、传输与处理速度极快，越来越多的场景需要实时或准实时处理与分析数据。物联网、5G、边缘计算等新兴技术的应用，也显著加快了数据流转速度，使信息能够在瞬间实现广泛传播。（2）快速的数据流转7.2.1大数据的概念与特征2．大数据的特征一般认为，大数据具有海量的数据规模（volume）、快速的数据流转（velocity）、多样的数据类型（variety）、真实的数据来源（veracity）和较低的价值密度（value）5大特征，简称“5V”特征。大数据的数据类型十分丰富，既有格式规整、数值明确、可直接存入数据库的结构化数据；也有带有特定标记的半结构化数据，如网页、系统日志等；还有内容复杂、难以通过数据库表格直接存储和处理的非结构化数据，如图像、音频、视频等。（3）多样的数据类型7.2.1大数据的概念与特征2．大数据的特征一般认为，大数据具有海量的数据规模（volume）、快速的数据流转（velocity）、多样的数据类型（variety）、真实的数据来源（veracity）和较低的价值密度（value）5大特征，简称“5V”特征。大数据主要源自现实世界的客观记录与多元采集，覆盖商业、政务、工业、农业、交通运输业等众多领域。（4）真实的数据来源大数据虽然数据规模庞大，但并不是每条数据都有分析价值。（5）较低的价值密度位于仓库某个角落的监控摄像头24小时不间断录制视频，但其录制的视频画面大部分是重复的，只有极少数的异常画面（突发状况）有分析价值。例如：7.2.2大数据的处理流程大数据规模庞大、类型多样且来源复杂，往往不能直接使用，需要经过数据采集、数据预处理、数据存储、数据分析、数据可视化等环节，才能挖掘到其背后隐藏的有价值的信息。7.2.2大数据的处理流程1．数据采集数据采集主要是指通过采集工具或接口将分布式、异构数据源中的数据（传感器、社交网络、移动互联网平台等产生的结构化、半结构化及非结构化数据）采集或传输至临时处理环境（缓存、消息队列或数据湖）中。常用的数据采集技术包括系统日志采集技术网络数据采集技术数据库数据采集技术物联网数据采集技术……等7.2.2大数据的处理流程2．数据预处理采集到的原始数据常存在缺失、冗余或失真的情况，需要进行预处理。数据预处理主要是指通过数据清洗、数据集成和特征提取等技术，去除原始数据中的无效或错误数据，统一数据格式，提升数据质量，为后续数据存储、分析等奠定基础。常用的数据预处理工具包括智谱清言办公小浣熊豆包GPT-4o基于Python的pandas与scikit-learn库……等7.2.2大数据的处理流程3．数据存储预处理后的数据需要长期、安全、高效地保存，以支撑后续的查询、计算与分析。数据存储主要是指将数据妥善保存到分布式文件系统或数据库系统中，并提供灵活的访问和调用方式。常用的数据存储技术包括分布式存储技术数据仓库技术云存储技术……等7.2.2大数据的处理流程4．数据分析数据分析是指借助各种算法和计算框架（统计分析、机器学习、数据挖掘算法），对大数据进行建模和规律挖掘，以识别其潜在规律、模式及关联关系。数据分析是大数据价值实现的核心环节，数据分析结果可以为企业决策、社会治理等提供科学依据。常用的数据分析技术包括聚类分析技术分类与回归分析技术关联规则挖掘技术……等7.2.2大数据的处理流程5．数据可视化数据可视化是指通过图表、仪表板等多样化形式，将数据分析结果直观地展示给人们的过程，它可以让复杂数据更易于理解，并帮助人们快速识别数据中隐藏的发展趋势和关系。常用的数据可视化技术主要包括交互式可视化技术地理可视化技术……等7.2.3大数据的应用场景如今，大数据的应用已经渗透到社会生活的方方面面，涵盖电商、金融、医疗、教育、城市管理等多个领域。7.2.3大数据的应用场景1．大数据在电商领域的应用在电商领域，大数据已成为了解用户需求和开展精准营销的重要工具。电商平台通过融合用户注册信息、浏览轨迹、点击记录、交易数据及网络日志等多源数据，可精准构建完整的用户画像，进而清晰呈现用户的消费能力、兴趣偏好、社交特征等信息。电商平台可根据这些信息实施个性化推荐和精准营销，从而提升用户购物体验并显著提高运营效率。7.2.3大数据的应用场景1．大数据在电商领域的应用用户画像就是用户信息的标签化，具体指通过收集与分析用户的社会属性、生活习惯、消费行为等数据，抽象得到的用户商业形象。例如，下面这段文字就是一个用户画像，它虽然表现为一个人物，但并不指代特定的某一个人。她是一位中年女性，已婚已育，本科学历，平时喜欢购买童装和传统糕点，消费水平不高……提示7.2.3大数据的应用场景2．大数据在金融领域的应用在金融领域，大数据广泛应用于客户洞察和风险防控。银行、保险等机构借助数据融合平台，能够整合工商信息、税务流水、征信记录、消费行为及供应链数据，进而构建动态信用评估体系和风险预警模型。这不仅能够帮助金融机构突破传统信贷“重抵押、轻信用”的局限，为中小微企业及新市民群体提供精准授信；还能够实时监测交易数据、舆情动态和经营波动，识别潜在风险。以某商业银行为例，其数智化风控平台日均处理交易260万笔，阻断高风险交易8700笔，月均风控决策达10万次，风险预警3.2万次，有效提升了金融风控的科学性与及时性。7.2.3大数据的应用场景3．大数据在医疗领域的应用在医疗领域，大数据正推动诊疗模式的变革。通过建设区域医疗数据共享平台，医疗机构可以整合电子病历、检查报告、公共卫生数据及药品使用记录等，形成系统化疾病数据库和患者健康档案库，实现跨医院病历调阅和检查结果互认。在某试点地区，这一平台的应用使患者平均就诊时间缩短30%，重复检查率下降25%，显著提高了医疗服务效率。7.2.3大数据的应用场景4．大数据在教育领域的应用在教育领域，大数据同样展现出广阔的应用前景。学校和教育平台利用采集到的学生学习行为数据、作业成绩、课堂互动情况等信息，全面描述学习过程并识别个体差异。在此基础上，教师能够因材施教，制订更符合学生实际情况的教学方案；教育管理者能够借助大数据洞察教学效果，优化课程设置与资源配置，从而促进教育的个性化发展与整体质量提升。在部分试点地区，智慧教育平台已实现对数十万名学生学习数据的实时跟踪与分析，助力教师精准识别学生学习薄弱环节，有效提升教学针对性。7.2.3大数据的应用场景5．大数据在城市管理领域的应用在城市管理领域，大数据是实现精细治理和应急调度的重要支撑。通过整合交通、环境、公共安全及人口流动等多源数据，城市智能管理系统能够实时感知运行状况、调度公共资源并优化治理决策。在应对突发事件时，城市智能管理系统能够快速汇聚灾情与救援信息，缩短物资调配时间及救援队伍到达现场时间，大幅提升应急响应效率。例如：个性化推荐是当前电商平台、社交平台、资讯网站等互联网平台普遍采用的一种精准营销手段，它通过采集和分析用户的基本信息、浏览数据、交易数据、网络日志数据等，为用户提供个性化服务。本任务实施以京东App为例，通过查看“你可能还喜欢”模块，体验电商平台的个性化推荐功能，感受大数据的魅力。安装并打开京东App搜索浏览商品，将心仪商品加入购物车进入购物车，查看平台个性化推荐商品（1）访问办公小浣熊主页。打开办公小浣熊主页（）并登录个人账号，选择“数据分析”功能。（2）上传数据文件。单击输入框下方的按钮，在打开的对话框中选择并上传本书配套素材“素材与实例”/“项目7”/“任务7.2”/“某电商平台用户消费行为数据”工作簿。（3）输入