数据科学与工程行业案例教程 习题及答案汇 第1-7章

1.简述车辆轨迹数据的主要来源及各自特点车辆轨迹数据主要来源包括以下几类：GPS/北斗定位设备数据由车载导航设备、手机导航App采集，记录车辆在不同时刻的经纬度、速度、方向等信息。特点：覆盖范围广、数据量大、实时性强，但采样频率不稳定、存在定位误差。浮动车数据（FCD）由出租车、网约车、物流车辆等特定车辆群体采集。特点：连续性好、轨迹完整，但车辆类型单一，存在样本偏差。交通感知设备数据如地磁、雷达、视频检测器等获取的车辆轨迹或近似轨迹数据。特点：精度高、稳定性强，但覆盖范围有限，建设和维护成本高。车联网（V2X）数据通过车与车、车与路侧单元通信获取的轨迹信息。特点：信息丰富、实时性极高，但目前普及率仍有限。2.车辆轨迹数据具有哪些典型特性？“大规模性”带来了哪些技术挑战？（1）车辆轨迹数据的典型特性时空性强：每条轨迹同时包含时间与空间信息连续性与不规则性并存：轨迹连续，但采样间隔不固定大规模性：车辆数量多、采样频率高、数据体量巨大噪声与缺失并存：存在漂移、跳点、缺失点等问题（2）“大规模性”带来的技术挑战（结合实例）以百万车辆规模城市为例，若每辆车每分钟采集1个轨迹点，每天将产生上亿条轨迹记录，其带来的挑战包括：存储压力大：传统单机数据库难以存储与管理海量轨迹数据计算复杂度高：路径分析、拥堵预测等算法计算量巨大实时处理困难：难以满足交通信号控制等实时应用需求因此，需要采用分布式存储、并行计算、云计算和大数据处理框架（如Hadoop、Spark）来支撑轨迹数据分析。3.为什么需要对车辆轨迹数据进行预处理？预处理包括哪些典型步骤？（1）预处理的必要性原始车辆轨迹数据往往存在噪声、缺失、不一致等问题，直接用于分析会影响结果的准确性和可靠性。因此，必须通过预处理提升数据质量，为后续建模、分析和仿真奠定基础。（2）典型预处理步骤数据清洗：剔除异常点、漂移点和明显错误的数据数据补全：对缺失轨迹点进行插值或重构轨迹平滑：消除定位抖动，提高轨迹连续性地图匹配：将轨迹点映射到真实道路网络数据压缩与抽样：降低数据冗余，提高处理效率4.车辆轨迹数据可视化有哪些主要形式？分别适用于哪些应用场景？常见的可视化形式包括：轨迹线可视化：以折线形式展示车辆行驶路径，适用于路径分析、出行行为研究；热力图可视化：反映车辆密集程度与活动热点，适用于拥堵分析、区域活跃度评估；时空演化图：展示交通状态随时间变化过程，适用于高峰期分析、交通运行规律研究；统计图表（柱状图、折线图等）：对通行时间、速度等指标进行对比，适用于仿真结果与实际数据对比分析。5.简述车辆轨迹数据在交通仿真中的两个典型应用及其作用仿真模型参数标定利用真实车辆轨迹数据，对交通仿真模型中的速度、加速度、跟驰参数等进行校准。作用：提高仿真模型与真实交通状态的一致性，增强仿真可信度。仿真结果验证与评估将仿真生成的车辆轨迹与实际轨迹数据进行对比分析，如通行时间、轨迹形态等。作用：评估交通组织方案或信号控制策略的有效性，为交通管理决策提供依据。第2章零售业大数据应用案例1.Flume的原理是什么？Flume的原理基于其核心架构组件Source、Channel和Sink，这些组件协同工作，形成一个可靠的数据流传输管道。（1）Source作为数据的起点，负责从各种外部数据源（如日志文件、网络流、消息队列等）接收或收集数据，并将数据封装为Flume的基本传输单位——Event。（2）Channel充当Source和Sink之间的缓冲区或临时存储容器，以事件（Event）的形式缓存数据，确保数据在传输过程中的可靠性。Channel支持多种实现，如内存（Memory）、文件系统（File）等，其事务性设计保证了数据在收发时的一致性。（3）Sink作为数据的终点，负责从Channel中消费事件（Event），并将数据传输到最终的目的地，如HDFS、HBase、数据库或其他系统。Flume的工作流程可概括为Source采集数据、Channel暂存数据、Sink传输数据。这一流程以事件（Event）为事务单位，确保了数据从源头到目的地的可靠传递。此外，Flume支持通过配置文件灵活组合不同类型的Source、Channel和Sink，以适应多样化的数据收集需求。2.简述如何在Hive中创建Spark配置文件。确认Hive版本和Spark版本兼容性，下载并解压Spark安装文件后配置SPARK_HOME环境变量，并在Hive中创建配置文件添加如下内容：spark.masteryarnspark.eventLog.enabledtruespark.eventLog.dirhdfs://hadoop102:8020/spark-historyspark.executor.memory1gspark.driver.memory 1g第三章参考答案1.健康医疗大数据具有哪些核心特征？请解释其中的“数据量大”特征，并结合福州新区的案例说明该特征如何影响医疗服务的发展？健康医疗大数据核心特征包括数据量大、多样性、价值密度低、真实性和动态性。数据量大指医疗信息化推动下数据爆炸式增长；多样性涵盖结构化与医学影像等非结构化数据；价值密度低需通过挖掘提取关键临床信息；真实性保障数据可信度；动态性体现为可穿戴设备等生成的连续更新数据。“数据量大”具体是各类医疗数据呈指数级增长，规模达PB甚至EB级别，覆盖患者全生命周期信息。福州新区截至2025年6月已整合500万病例电子病历库、超1000万例医学影像库及10万以上样本基因组数据库，建成跨机构数据资源池。这既支撑全生命周期健康管理，为精准医疗和科研提供样本，又打破信息孤岛，提升区域医疗服务整体效率。2.在健康医疗大数据的应用中，人工智能技术扮演了怎样的角色？请结合本章中的具体案例，讨论人工智能如何改善医疗服务的质量和效率。人工智能在健康医疗大数据应用中扮演核心驱动者与赋能者角色，搭建数据与临床应用的桥梁，将数据转化为实用医疗知识，助力服务提质增效。医学影像诊断中，AI模型几秒内即可初筛海量影像，精准推送疑似病例，既缩短时间、缓解医生压力，又能识别微小病灶，降低漏误诊率。以“晓医”为代表的AI问诊系统，依托自然语言处理技术分流轻症患者，引导分级诊疗，同时解决偏远地区医疗资源匮乏问题，提升服务可及性。药物研发领域，AI分析海量文献与基因数据，大幅缩短研发周期，加速救命药物上市，惠及疑难病症患者。3.基于心脏病发作预测案例，讨论数据可视化在数据分析过程中的重要性。请举例说明，在处理心脏病相关数据时，通过数据可视化手段可以获得哪些有价值的洞察，并解释这些洞察对于临床决策支持的意义。数据可视化是心脏病发作预测分析的关键工具，能将高维数据转化为直观图形，助力快速识别数据规律与异常，衔接数据科学与临床实践。通过箱线图、散点图可发现指标异常值，如年轻患者的极高血压，帮助医生识别隐匿高危人群，避免忽视潜在风险。相关性热力图能直观呈现ST段压低等指标与发病的强关联，为医生明确检查重点，提升诊断针对性。风险评分卡、ROC曲线将预测结果转化为清晰风险等级，为医生提供量化依据，辅助制定手术或保守治疗方案，助力个性化精准诊疗，挽救患者生命。第七章参考答案1.答案：C解析：A项错误，大数据应用广泛，不仅限于微生物污染监控，还包括供应链追溯、舆情监测、消费行为分析等。B项错误，大数据既可以处理实时流数据进行风险预测，也擅长存储和挖掘海量历史数据以发现长期趋势。C项正确，通过大数据分析消费者的健康反馈和购买数据，可以识别出存在风险的产品，并分析不同人群（性别、年龄）对食品安全问题的反应差异或受影响程度。D项错误，大数据在食品安全监管（如风险预警、来源追溯）方面有核心应用，而非主要用于提升口感和营养。2.答案：A3.简述在食品供应链中引入区块链技术的主要优势有哪些，并至少列举两个实际应用场景。答：在食品供应链中引入区块链技术，核心优势是依托分布式账本实现数据不可篡改，记录上链后无法单方面修改，从技术上保障信息真实完整。同时能实现食品从种植养殖到终端销售的全程透明追溯，各环节操作均被记录，消费者与监管部门可实时查询，有效解决信息不对称问题，提升消费者信任度。此外，出现安全问题时，可快速定位问题产品批次与流向，缩短召回周期、降低风险损失。实际应用中，农产品溯源较为典型，区块链记录猪肉、蔬菜的养殖种植关键信息，消费者扫码即可查看全流程；跨境食品贸易中，进口奶粉、红酒的原产地证明、检验检疫及物流信息上链存证，既能确保合规，又能遏制假货流通，助力监管。第4章金融大数据风险控制应用案例1.简要说明对信贷数据进行初步探索的主要方法和目的。主要方法：描述性统计分析：计算均值、中位数、标准差、分位数等，了解变量的集中趋势和离散程度。数据分布分析：通过直方图、箱线图等方式观察变量分布及异常值情况。相关性分析：利用相关系数或相关矩阵分析变量之间的关系。缺失值与异常值检查：统计缺失比例，识别明显不合理的数据。主要目的：全面了解信贷数据的基本特征和质量状况；发现潜在问题（如异常值、数据偏态、缺失严重变量）；为后续数据清洗、特征工程和模型构建提供依据。2.数据清洗在风控数据处理中扮演什么角色？请举例说明常见的清洗操作。角色：数据清洗是风控建模的基础环节，直接影响模型训练的稳定性和预测结果的可靠性，是保障风险评估准确性的前提。常见清洗操作示例：缺失值处理：如用均值/中位数填补数值型变量，或设置“未知”类别。异常值处理：对明显异常的收入、负债数据进行截断（Winsorize）或剔除。重复数据处理：删除重复用户或重复交易记录。数据格式规范化：统一时间格式、金额单位、类别编码方式。3.什么是特征工程？在构建金融风险控制模型中，有哪些关键的特征构造方式？特征工程：特征工程是将原始数据转化为更能反映用户风险特征、适合模型学习的变量的过程。关键特征构造方式包括：统计特征：如平均还款金额、最大逾期天数、逾期次数等。比率类特征：负债率、收入负债比、逾期笔数占比等。时间序列特征：近3个月、6个月的行为变化趋势。离散化与分箱：对连续变量进行分箱以增强模型稳定性和可解释性。交叉特征：将多个变量组合以刻画复杂风险模式。4.用户行为数据如何模拟与构建？为何用户行为在风险识别中具有重要作用？模拟与构建方式：基于真实业务逻辑，生成用户的登录频率、借款次数、还款行为等数据；按时间维度构建行为序列，如“申请—放款—还款—逾期”；对行为进行统计汇总，形成频次、间隔、变化率等特征。重要作用：用户行为反映了其还款意愿和资金使用习惯，相比静态属性（如年龄、学历），行为数据具有动态性和前瞻性，能够更早识别潜在风险用户。5.请简述异常行为识别的基本思路，并说明其在信用风险评估中的意义。基本思路：定义“正常行为模式”，如大多数用户的交易频率和还款规律；利用统计方法或机器学习模型（如孤立森林、聚类）识别偏离正常模式的行为；将异常行为作为高风险信号纳入评估体系。意义：异常行为往往与欺诈、恶意逾期等高风险事件相关，有助于提前预警信用风险，提高风控系统的敏感性和安全性。6.什么是用户画像？在本案例中如何通过聚类分析实现用户分群与画像展示？用户画像：用户画像是基于用户多维数据，对其特征、行为和风险水平进行综合刻画形成的标签化描述。通过聚类分析实现方式：选取关键特征（如收入、负债率、借款频率、逾期次数）；采用聚类算法（如K-means）对用户进行自动分群；分析各群体的特征均值和行为特征，形成如“低风险稳健型”“高频高风险型”等用户画像。7.金融风控中常用的风险评分模型有哪些？如何评估风控模型的有效性与实际应用价值？常用模型：逻辑回归（LogisticRegression）：经典、可解释性强；决策树及其集成模型：如随机森林、XGBoost；评分卡模型：基于统计建模，广泛应用于银行信贷；神经网络模型：适合复杂非线性风险模式。模型评估方式：区分能力指标：AUC、KS值；稳定性指标：PSI（群体稳定性指数）；业务效果评估：坏账率、通过率、收益提升情况；可解释性与合规性：是否满足监管和业务落地需求。第5章旅游大数据个性化推荐应用案例1.本案例使用的数据结构包括哪些主要类型？它们分别承载什么信息？在本旅游大数据个性化推荐系统中，核心数据主要由景点信息、用户画像和用户行为记录三类结构化数据构成，分别存储于三张核心数据表中，共同支撑推荐系统的运行与优化。（1）景点信息表（attractions）该表用于存储旅游景点的基础属性、地理位置及用户评价信息，是推荐系统的内容数据基础。表中包含景点的唯一标识、名称、类型、所属城市与区县、经纬度坐标、评论数量及评分等字段，为景点相似度计算、内容匹配和地图可视化提供必要支撑。（2）用户画像表（user_profile）该表记录用户的基本属性信息，如年龄、性别及所在城市等，用于刻画用户的静态特征。通过用户画像数据，可实现用户分群、兴趣偏好建模以及差异化推荐策略的制定，是个性化推荐的重要依据。（3）用户行为表（user_behavior）该表详细记录用户在平台上的行为日志，包括用户对具体景点的浏览、点击、收藏、点赞或下单等操作及其发生时间。该类数据能够真实反映用户的兴趣变化与行为路径，是行为分析、动态画像更新及推荐模型训练的核心数据来源。综上，三类数据表从内容、用户与行为三个维度构成了旅游推荐系统的核心数据结构，共同形成完整的数据闭环，为后续的数据清洗、特征工程和推荐模型构建奠定基础。2.在旅游推荐系统中，常见的数据清洗方法有哪些？请结合案例简述其重要性。常见的数据清洗方法包括：缺失值处理：对缺失的评分、价格等信息进行填补或删除；异常值处理：剔除明显不合理的价格、评分或访问频次；重复数据处理：去除重复的用户行为记录或景点信息；数据格式统一：统一时间格式、地理坐标格式及类别编码。数据清洗的重要性在于提高数据质量，避免噪声数据干扰推荐模型学习，从而提升推荐结果的准确性与稳定性。3.旅游大数据整合后，可视化初探阶段有哪些典型的分析图表或指标？请举例说明。在可视化初探阶段，常见的分析图表或指标包括：景点访问量分布图：展示不同景点或城市的受欢迎程度；用户行为比例图：如浏览、收藏、下单等行为占比；时间序列折线图：分析不同时间段的访问或订单变化趋势；地理热力图：展示旅游活动在空间上的分布情况。这些图表有助于快速发现用户偏好、热门区域及季节性规律。4.用户行为分析通常包括哪些类型？这些行为数据如何辅助推荐系统进行决策？用户行为分析通常包括：浏览行为：反映用户的即时兴趣；收藏与点赞行为：体现用户的明确偏好；下单与消费行为：反映用户的真实需求和价值贡献；评价与反馈行为：体现用户满意度与偏好强度。推荐系统可根据不同行为赋予不同权重，从而更准确地判断用户兴趣，实现个性化推荐。5.如何根据用户的时序行为数据评估其活跃度？活跃度指标在推荐中的作用是什么？可通过以下方式评估用户活跃度：统计用户在一定时间窗口内的访问次数或行为频率；分析用户最近一次行为距当前时间的间隔；构建综合指标，如“近期活跃指数”。活跃度指标可用于动态调整推荐策略，对高活跃用户提供更个性化内容，对低活跃用户推荐更通用或热门资源。6.在用户画像构建中，静态标签和行为偏好模型各自承担什么作用？两者如何结合？静态标签：描述用户的基本属性，如年龄、城市、出行偏好类型，具有稳定性；行为偏好模型：基于用户历史行为刻画其兴趣变化，具有动态性。两者结合可以在冷启动阶段依赖静态标签进行初始推荐，在行为数据积累后通过行为模型不断优化推荐结果。7.请简述三种常见的推荐算法（如协同过滤、基于内容的推荐、热门推荐），并说明其适用场景。协同过滤推荐：基于用户或物品之间的相似性进行推荐，适合用户规模较大、行为数据丰富的场景；基于内容的推荐：根据用户历史偏好匹配相似内容，适合内容特征明确、个性化需求较强的场景；热门推荐：基于整体访问量或评分进行推荐，适合新用户或数据稀疏场景。8.如何在城市推荐或个性化推荐中进行优化？请提出一种优化思路并简要说明其可行性。一种可行的优化思路是引入时间与情境信息的上下文感知推荐。例如结合用户出行季节、假期信息及当前位置，对推荐结果进行动态调整。该方法能够更贴近用户实际需求，提升推荐的相关性和用户满意度，具备较强的实际应用价值。第2章电力行业大数据应用案例1.简述电力系统中“发电、输电、配电、用电”四个环节的核心功能，并说明信息与控制系统在其中的作用。答案：核心功能发电：将煤炭、风能、太阳能等一次能源转换为电能，是电力系统的能量源头，涵盖火力、水力、核能、风电、光伏等多种发电形式。输电：通过高压输电线路将电能从发电端长距离传输至负荷中心，借助升压/降压变电站减少传输损耗，保障电能远距离高效输送。配电：将输电网络的高压电降压至适合用户使用的低压，通过中低压配电网分发给住宅、商业、工业等终端用户，实现电能的精准分配。用电：用户通过电器设备将电能转化为光能、热能、机械能等，满足日常生活和工业生产需求，是电能消耗的终端环节。信息与控制系统的作用核心作用是保障电能从生产到消费全链条的高效、安全、稳定运行，主要包括调度自动化系统、变电站自动化系统、配电管理系统等。实现对电力系统状态的实时监控、数据采集与分析，自动调整发电出力、输电潮流、配电分配，应对负荷波动和潜在故障，避免大面积停电，提升系统运行可靠性和效率。电力行业的数据来源主要分为哪三类？请各举一个具体的数据示例。答案：电力行业数据主要来源于电网运行/设备检测数据、电力企业营销数据、电力企业管理数据三类，具体示例如下：电网运行/设备检测数据：能量管理系统采集的电网潮流数据、无人机巡检产生的设备图像数据、风机运行状态监测数据。电力企业营销数据：用电信息采集系统记录的售电量数据、95598客户服务系统的咨询投诉数据、不同时段的交易电价数据。电力企业管理数据：企业资源计划系统（ERP）中的人力成本数据、协同办公系统的公文流转数据、项目管理系统的基建进度数据。国网山东综能分布式储能项目中，“云边端一体化架构”是如何实现的？该架构对提升能源效率有何作用？答案：实现方式边缘侧：适配低端工控机（如RK3568国产工控机），实现对500万测点时序数据的实时采集、短期存储和局部实时分析，降低数据传输延迟。中心汇聚层：承接边缘侧数据，进行数据汇聚和全局分析，整合跨区域分布式储能数据，支撑聚合调控。云端：部署KaiwuDB关系引擎和KDP（数据服务平台），提供时序+关系数据统一纳管、数据API等能力，实现数据的深度应用和透明化管理。对能源效率的作用提升储能调节能力：设备数据每秒百万级写入、毫秒级响应，充放电转化速度小于100ms，能源效率提升超过85%。实现光伏全额消纳：保障台区分布式光伏100%消纳，电压质量100%合格，供电可靠性提升至99.999%。延缓配电网投入：实现台区弹性增容30%以上，有效支撑重要用户保电和用电负荷季节性需求，减少配电网建设成本。在光伏电站功率预测的数据分析中，发现光伏功率具有“日变化特征”，请描述这一特征的具体表现。答案：时段分布规律：当日20时次日5时，总辐照度、法向辐照度、散射辐照度均为0，光伏功率保持为0；6时12时，随着太阳辐照度增强，功率逐渐线性上升；正午前后（12时左右）达到当日峰值；12时20时，辐照度逐渐减弱，功率呈下降趋势。峰值差异：每日功率峰值存在波动，受天气（如阴晴）、季节影响，不同光伏电站的峰值数值存在差异（如1001电站峰值约1000MW，1002电站峰值约800MW）。趋势一致性：同一区域不同光伏电站的日变化趋势高度一致，仅在功率数值上存在差异。结合风电企业案例中遇到的“成本高、响应慢、价值弱”三大挑战，分析KaiwuDB的“就地计算+AI算法”方案是如何针对性解决这些问题的。答案：针对“成本高”（海量数据存储难、成本负担重）采用数据压缩、生命周期管理技术，结合KaiwuDB对MySQL协议的兼容性和10100倍数据压缩比优势，实现数据类型100%平滑替代，存储成本节约超85%。针对“响应慢”（秒级采集写入、实时分析需求无法满足）基于“就地计算”核心技术，实现上百台风力发电机组数据秒级频率采集写入，海量数据入库时间节省近90%，查询性能提升2050倍，满足风机状态实时分析、告警响应等业务需求。针对“价值弱”（数据分析缺失、无法对接AI算法）融入AI算法能力，支撑风电场故障“早预测、早判断、早介入”，实现精细化运维，降低30%以上人