数据科学与工程行业案例教程 习题及答案 第4-5章课后习题答案

第4章金融大数据风险控制应用案例1.简要说明对信贷数据进行初步探索的主要方法和目的。主要方法：描述性统计分析：计算均值、中位数、标准差、分位数等，了解变量的集中趋势和离散程度。数据分布分析：通过直方图、箱线图等方式观察变量分布及异常值情况。相关性分析：利用相关系数或相关矩阵分析变量之间的关系。缺失值与异常值检查：统计缺失比例，识别明显不合理的数据。主要目的：全面了解信贷数据的基本特征和质量状况；发现潜在问题（如异常值、数据偏态、缺失严重变量）；为后续数据清洗、特征工程和模型构建提供依据。2.数据清洗在风控数据处理中扮演什么角色？请举例说明常见的清洗操作。角色：数据清洗是风控建模的基础环节，直接影响模型训练的稳定性和预测结果的可靠性，是保障风险评估准确性的前提。常见清洗操作示例：缺失值处理：如用均值/中位数填补数值型变量，或设置“未知”类别。异常值处理：对明显异常的收入、负债数据进行截断（Winsorize）或剔除。重复数据处理：删除重复用户或重复交易记录。数据格式规范化：统一时间格式、金额单位、类别编码方式。3.什么是特征工程？在构建金融风险控制模型中，有哪些关键的特征构造方式？特征工程：特征工程是将原始数据转化为更能反映用户风险特征、适合模型学习的变量的过程。关键特征构造方式包括：统计特征：如平均还款金额、最大逾期天数、逾期次数等。比率类特征：负债率、收入负债比、逾期笔数占比等。时间序列特征：近3个月、6个月的行为变化趋势。离散化与分箱：对连续变量进行分箱以增强模型稳定性和可解释性。交叉特征：将多个变量组合以刻画复杂风险模式。4.用户行为数据如何模拟与构建？为何用户行为在风险识别中具有重要作用？模拟与构建方式：基于真实业务逻辑，生成用户的登录频率、借款次数、还款行为等数据；按时间维度构建行为序列，如“申请—放款—还款—逾期”；对行为进行统计汇总，形成频次、间隔、变化率等特征。重要作用：用户行为反映了其还款意愿和资金使用习惯，相比静态属性（如年龄、学历），行为数据具有动态性和前瞻性，能够更早识别潜在风险用户。5.请简述异常行为识别的基本思路，并说明其在信用风险评估中的意义。基本思路：定义“正常行为模式”，如大多数用户的交易频率和还款规律；利用统计方法或机器学习模型（如孤立森林、聚类）识别偏离正常模式的行为；将异常行为作为高风险信号纳入评估体系。意义：异常行为往往与欺诈、恶意逾期等高风险事件相关，有助于提前预警信用风险，提高风控系统的敏感性和安全性。6.什么是用户画像？在本案例中如何通过聚类分析实现用户分群与画像展示？用户画像：用户画像是基于用户多维数据，对其特征、行为和风险水平进行综合刻画形成的标签化描述。通过聚类分析实现方式：选取关键特征（如收入、负债率、借款频率、逾期次数）；采用聚类算法（如K-means）对用户进行自动分群；分析各群体的特征均值和行为特征，形成如“低风险稳健型”“高频高风险型”等用户画像。7.金融风控中常用的风险评分模型有哪些？如何评估风控模型的有效性与实际应用价值？常用模型：逻辑回归（LogisticRegression）：经典、可解释性强；决策树及其集成模型：如随机森林、XGBoost；评分卡模型：基于统计建模，广泛应用于银行信贷；神经网络模型：适合复杂非线性风险模式。模型评估方式：区分能力指标：AUC、KS值；稳定性指标：PSI（群体稳定性指数）；业务效果评估：坏账率、通过率、收益提升情况；可解释性与合规性：是否满足监管和业务落地需求。第5章旅游大数据个性化推荐应用案例1.本案例使用的数据结构包括哪些主要类型？它们分别承载什么信息？在本旅游大数据个性化推荐系统中，核心数据主要由景点信息、用户画像和用户行为记录三类结构化数据构成，分别存储于三张核心数据表中，共同支撑推荐系统的运行与优化。（1）景点信息表（attractions）该表用于存储旅游景点的基础属性、地理位置及用户评价信息，是推荐系统的内容数据基础。表中包含景点的唯一标识、名称、类型、所属城市与区县、经纬度坐标、评论数量及评分等字段，为景点相似度计算、内容匹配和地图可视化提供必要支撑。（2）用户画像表（user_profile）该表记录用户的基本属性信息，如年龄、性别及所在城市等，用于刻画用户的静态特征。通过用户画像数据，可实现用户分群、兴趣偏好建模以及差异化推荐策略的制定，是个性化推荐的重要依据。（3）用户行为表（user_behavior）该表详细记录用户在平台上的行为日志，包括用户对具体景点的浏览、点击、收藏、点赞或下单等操作及其发生时间。该类数据能够真实反映用户的兴趣变化与行为路径，是行为分析、动态画像更新及推荐模型训练的核心数据来源。综上，三类数据表从内容、用户与行为三个维度构成了旅游推荐系统的核心数据结构，共同形成完整的数据闭环，为后续的数据清洗、特征工程和推荐模型构建奠定基础。2.在旅游推荐系统中，常见的数据清洗方法有哪些？请结合案例简述其重要性。常见的数据清洗方法包括：缺失值处理：对缺失的评分、价格等信息进行填补或删除；异常值处理：剔除明显不合理的价格、评分或访问频次；重复数据处理：去除重复的用户行为记录或景点信息；数据格式统一：统一时间格式、地理坐标格式及类别编码。数据清洗的重要性在于提高数据质量，避免噪声数据干扰推荐模型学习，从而提升推荐结果的准确性与稳定性。3.旅游大数据整合后，可视化初探阶段有哪些典型的分析图表或指标？请举例说明。在可视化初探阶段，常见的分析图表或指标包括：景点访问量分布图：展示不同景点或城市的受欢迎程度；用户行为比例图：如浏览、收藏、下单等行为占比；时间序列折线图：分析不同时间段的访问或订单变化趋势；地理热力图：展示旅游活动在空间上的分布情况。这些图表有助于快速发现用户偏好、热门区域及季节性规律。4.用户行为分析通常包括哪些类型？这些行为数据如何辅助推荐系统进行决策？用户行为分析通常包括：浏览行为：反映用户的即时兴趣；收藏与点赞行为：体现用户的明确偏好；下单与消费行为：反映用户的真实需求和价值贡献；评价与反馈行为：体现用户满意度与偏好强度。推荐系统可根据不同行为赋予不同权重，从而更准确地判断用户兴趣，实现个性化推荐。5.如何根据用户的时序行为数据评估其活跃度？活跃度指标在推荐中的作用是什么？可通过以下方式评估用户活跃度：统计用户在一定时间窗口内的访问次数或行为频率；分析用户最近一次行为距当前时间的间隔；构建综合指标，如“近期活跃指数”。活跃度指标可用于动态调整推荐策略，对高活跃用户提供更个性化内容，对低活跃用户推荐更通用或热门资源。6.在用户画像构建中，静态标签和行为偏好模型各自承担什么作用？两者如何结合？静态标签：描述用户的基本属性，如年龄、城市、出行偏好类型，具有稳定性；行为偏好模型：基于用户历史行为刻画其兴趣变化，具有动态性。两者结合可以在冷启动阶段依赖静态标签进行初始推荐，在行为数据积累后通过行为模型不断优化推荐结果。7.请简述三种常见的推荐算法（如协同过滤、基于内容的推荐、热门推荐），并说明其适用场景。协同过滤推荐：基于用户或物品之间的相似性进行推荐，适合用户规模较大、行为数据丰富的场景；基于内容的推荐：根据用户历史偏好匹配相似内容，适合内容特征明确、个性化需求较强的场景；热门推荐：基于整体访问量或评分进行