版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
第3章大数据的处理流程
第1节处理流程概述
一、单选题
1、D
2、C
3、B
二、多选题
1、ABC
2、AC
三、填空题
1、信息
2、存储
四、问答题
如电商平台采集用户浏览记录、购买行为、搜索关键词等数据,通过服务器
日志、APP埋点等方式获取,为后续推荐系统提供原材料。
五、辨析题
1、错误。通常先存储后预处理,但数据质量差/实时性要求高时,可先预处理再
存储(如实时清洗敏感数据),流程需根据需求灵活调整。
2错误。大数据处理需人工设计流程(如预处理规则)、解读结果(如分析报告),
例如电商推荐系统需人工设定算法逻辑,非完全自动化。
3.错误。个人使用短视频APP、网购时,平台对其行为的分析属于大数据处理,
只是个人作为数据提供者,而非处理主体。
六、案例分析题
参考答案:
1、采集骑手位置、订单位置、配送时间要求、路况数据等。
2、分析骑手历史配送速度、订单密度,通过算法动态分配订单(如就近派单),
减少配送时长。
七、实操题
形式采用流程图,内容大致是:采集(浏览/购买数据)f存储(分布式
数据库)玲预处理(清洗异常订单)玲分析(用户画像)玲可视化(消费趋
势图)玲应用(个性化推荐)
第2节数据采集
一、单选题
1、D
2、A
3.C
4、B
二、多选题
1、答案:ABCD
2、ABC
3、答案:ACD
三、填空题
1、一致性
2、数据脱敏
3、数据采集目的
4.传感器
四、问答题
1、数据采集是后续存绪、预处理、分析和决策的基础,数据质量直接影响后续
分析的准确性:
•准确性不足会导致决策错误(如错误的客户电话无法联系);
•完整性缺失影响分析全面性(如医疗记录缺少过敏史影响诊断);
•一•致性冲突导致数据整合困难(如不同系统地址格式不一致);
•时效性过时使分析失去参考价值(如金融数据延迟导致投资失误)。
2、答案:遵守《数据安全法》《个人信息保护法》,不非法获取、使用个人信
息;采集前明确告知用户数据用途,取得同意;不绕过平台防护(如反爬机制)
批量采集;不泄露、倒卖采集到的敏感数据。
3、答案:通过部署传感器(如红外感应)、智能摄像头、定位器等设备:
•入口闸机采集游客数量;
•摄像头结合人脸识别技术追踪行程轨迹;
•环境传感器监测空气质量、温度;
•设施传感器采集游乐设备运行状态,实现客流量预警与资源调配。
五、辨析题
1、错误-数据质量是分析基础,不准确/不完整的数据会导致错误决策(如错误
的用户画像导致营销失败),后续清洗成本更高'必须在采集阶段确保质量。
2.错误。企业必须遵守《数据安全法》《个人信息保护法》,未经同意采集个人
信息、泄露数据等行为涉嫌违法,如湖南郴州爬虫案中被告人因非法获取用户信
息获刑。
3、答案:错误。是否侵犯隐私取决于采集目的、范围、方式、授权、脱敏和安
全保护措施。合法采集需获得用户授权(如购票时提示“采集轨迹用于流量管
理〃),且数据匿名化处理(不关联个人身份),属于合理的管理措施,未侵犯
隐私。
六、案例分析题
1、(1)属于埋点采集。(2)应明确告知采集目的和范围,取得用户授权,只
采集必要数据,并采取加密、访问控制和脱敏等措施。
2.摄像头仅识别人流密度,不进行人脸识别;
数据仅用于景区管理,不存储个人轨迹记录;
公示采集目的,接受游客监督。
七、实操题
1、无标准答案,言之有理即可。示例答案:职位名称、公司名称、薪资范围、
职位描述、工作地点、发布时间……(任选5个)
2.无标准答案,言之有理即可。数据脱敏可通过掩码、替换、泛化、删除敏感字
段等方式,降低个人信息直接暴露风险
3、无标准答案,言之有理即可。答案:
①明确采集目的(优化食堂服务),告知学生采集内容(就餐评价、偏好);
@采用匿名问卷,不采集姓名、学号等敏感信息;
③使用合规问卷T具(如腾讯问卷),避免爬虫抓取非公开数据:
④数据仅用于内部分析,不对外分享。
第3节数据存储
一、单选题
1、B
2、B
3、C
4、A
5、B
二、多选题
1、AC
2、BD
3、AC
4、ABD
三、填空题
1、分布式
2、非结构化;半结构叱
3、ORC
4、数据仓库
四、问答题
1、分布式存储(如HDFS)将数据切分为小块,分散存储在多台服务器,通过多
副本冗余(如默认三副本)保障可靠性。例如4GB文件拆分为4个1GB块,存
储于4节点,每块保留3副本,突破单节点容量限制,同时支持线性扩展存储节
点应对数据增长。
2、HDFS:适合海量结构化/半结构化数据的批处理(如电商用户行为日志),强
调高吞吐量与低成本存储;
NoSQL:适合非结构化数据(如社交媒体图片、日志),支持灵活数据模型
与高并发读写(如同时处理千万用户动态发布)。
3、数据湖:存储多源异构数据(结构化+非结陶化),如未处理的原始E志、
视频,灵活性高但分析性能较低;
数据仓库:存储结构化数据,经清洗建模后用于分析(如超市销售报表),
强调查询效率与业务决策支持。
4、人工智能通过智能分层存储(如AWSS3Intelligent-Tiering)分析数据访问模
式,自动将高频数据存丁高速层,低频数据归档至低成本层;预测性维护利用
AI模型提前识别硬盘故障,减少数据丢失风险;生成式AI还可自动化标记元数
据,提升数据检索效率。
五、辨析题
1、错误。HDFS适合海量、批处理数据(如日志分析),但对实时读写(如电商
秒杀交易)性能不足。实时场景更适合NoSQL或内存数据库,需根据业务需求
选择存储技术。
2、错误。云存储安全性取决于厂商措施(如加密、备份),本地存储若管理得
当(如物理隔离、权限控制)也可保障安全。例如金融机构核心数据常采用本地
加密存储,避免云端传输风险。
3、错误。列式存储(如Parquet)虽主要用于结构化数据,但也可通过嵌套结
构存储半结构化数据(如JSON日志),通过列级压缩优化查询效率,并非完全
局限于结构化场景。
4、错误°边缘存储处理本地实时数据(如工厂设备监控),但无法满足海量数
据长期归档、跨地域共享需求。例如智慧城市的交通数据,边缘节点处理实时流
量调控,云端存储历史数据用于城市规划。
六、案例分析题
1、
(1)单机存储无法应对PB级数据增长,HDFS通过分布式架构扩展存储节点,
支持线性扩容,满足抖音数据爆炸式增长需求。
(2)HDFS数据分散存储于不同节点,单节点故障时自动从其他副本读取,结合
自动故障恢复机制,保障日志数据不丢失。
2、
(1)图片属于非结构化数据,对象存储支持灵活存储,而关系型数据库存储图
片效率低、扩展性差。
(2)OSS为每个图片对象添加元数据标签(如商品ID、分类),用户可通过标
签快速检索(如搜索“女装-夏季-连衣裙”图片),提升查询效率。
3、
(1)列式存储仅读取目标列(如“交易金额”“时间”),无需加载整行数据,
例如查询“2024年交易额>10万的记录”,可直接定位金额列,速度提干10
倍以上。
(2)行式存储需读取整行(如客户姓名、账户余额等无关信息),Parquet通
过列级压缩(如字典编码)减少存储空间,同时提升分析查询性能。
4、
(1)驾驶数据(如车速、刹车频率)需毫秒级响应,内存数据库读写速度达每
秒百万次,满足实时控制需求(如自动刹车决策)。
(2)Redis通过持久化机制(RDB快照+AOF日志),即使断电也可恢复数据,
结合主从复制,保障车载系统数据可靠性。
5、
(1)湖仓一体化直接在数据湖上运行RI工具(如TANAAU),避免传统FTI
(提取-转换-加载)流程,分析效率有效提升。
(2)数据湖存储原始观影日志(如观看时长、快进记录),数据仓库对清洗后
的数据建模(如用户类型分类),两者结合支持快速生成推荐算法模型。
七、实操题
1、无标准答案,言之有理即可。答案:
选择NoSQL数据库(如MongoDB)+数据湖架构;
理由:用户行为数据(浏览、点赞、评论)多为非结构化数据,NoSQL支
持灵活存储;数据湖可存储原始日志,便于后续AI分析(如用户画像),两者
结合满足高并发读写与深度分析需求。
2、无标准答案,言之有理即可。答案:
采用“天存储十磁带归档”组合:
①近1年财务数据存于云存储(如腾讯云COS),涉足高频查询;
②历史数据(>1年)归档至LTO磁带,利用其大容量低成本特性,降低存储
成本。
3、无标准答案,言之有理即可。答案:
实时订单:内存数据库(如Redis)存储,满足毫秒级读写;
历史订单:HDFS分布式存储,支持海量数据批处理(如季度销售分析);
非结构化数据(如订单评论):对象存储(如AWSS3),灵活存储图片、
文本。
4、无标准答案,言之有理即可。答案:
配置HDFS三副本策略,数据分散存储于3台服务器;
启用自动故障恢复机制,某节点故障时,系统自动从其他副本读取数据,保
障消费记录不丢失;
定期备份元数据,避免集群元数据损坏导致数据不可用。
5、无标准答案,言之有理即可.答案:
边缘节点:部署边缘存储(如AWSloTGreengrass),实时处理传感器数据
(如设备温度、运行状态),仅上传异常数据至云端;
云端:对象存储(如阿里云OSS)存储历史数据,用于长期趋势分析(如设
备故障预测),降低带宽压力与存储成本。
第4节数据预处理
一、单选题
1、D
2、A
3、B
4、B
5、A
二、多选题
1、ABCD
2、AC
3、ABC
4、ABC
5、ABD
三、填空题
1、填充缺失值数据
2、数据联邦(或数据仓库)
3、HOUR
4、特征(或维度)
四、问答题
1、数据清洗可提高数据质量(修正错误、删除重复)、减少分析误差(处理异
常值)、提升数据可用性(统一格式)、节省后续处理资源,并优化机溶学习模
型性能(去除噪声数据)。例如电商交易数据中的负金额需通过清洗修正,避免
影响销售分析准确性。
2、数据集成:整合多源数据(如ERP与CRM系统),解决数据分散问题,形
成统一视图,例如连锁超市汇总各门店销售数据;
数据转换:将数据转为适合分析的格式(如日期标准化、文本转数值),解
决格式不一致问题,例如将“2024年5月”转换为“20240501”格式。
3、预处理操作可能因柒删、格式错误等导致数据损坏,备份原始数据可在处理
失误时快速恢复,避免不可逆损失。例如WPS中误删关键列时,可通过备份文
件还原数据,保障业务连续性。
4、高维数据(如包含上T特征的图像数据)处理复杂且易引发“维度灾难”,
降维通过保留关键特征(如主成分分析PCA)减少计算量,提升模型训练速度。
例如人脸识别中通过降维将数万像素特征压缩为数百维,加速识别算法运行。
5、选中数据区域,按F5或CtH+G打开定位对话框;
选择“空值”定位所有空白单元格;
输入填充值(如“出货成功”),按Ctrl+回车批量填充。
五、辨析题
1、错误。异常值(如交易数据中的负金额)会严重影响分析结果,例如电商销
售分析中负金额会导致利润计算错误,需通过统计方法(如QR)或业务规则识
别并修正,而非忽略。
2、错误。数据集成不仅是物理合并,更需解决数据格式、语义不一致问题(如
不同系统中“客户ID”字段命名差异)。例如企业整合ERP与CRM数据时,
需统一字段定义、清洗冲突值,而非简单拼接表格。
3、正确。WPS在处理大规模数据时存在性能瓶颈(如排序、筛选卡顿),且内
存占用高。100万行以上数据更适合用Python(Pandas)或专业工具(如
FineDataLink),通过分布式计算提升效率。
4、错误。合理降维(如PCA)会保留主要特征(如95%方差),丢失的是噪
声或冗余信息,反而能提升模型泛化能力。例如图像识别中降维可减少计算量,
避免过拟合,并非盲目删除信息。
5、错误。文本数据规范化同样重要,如客户地址可能存在“北京市朝阳区”“北
京朝阳区”等格式,需统一为标准地址格式,否则影响地址匹配与分析。文本
规范化还包括大小写统一、缩写标准化等。
六、案例分析题
1、
(1)手动合并无法处理每口百万级数据量,且易因格式差异(如销售金额带货
币符号,物流数据为纯数字)导致错误。ETL工具(如阿里DataWorks)可自动
化提取、清洗、转换数据,保障一致性。
(2)步骤:
提取:从订单系统、物流API、客服系统提取数据;
转换:统一金额格式(去除符号)、清洗无效订单(如退款订单);
加载:按订单ID关联数据,存入数据仓库供分析。
2、
(1)对缺失用户ID,该APP采用分场景处理:
未登录用户:标记为“游客”,后续通过设备ID关联;
登录后缺失:用Pandasfillna(method=¥fill')向前填充最近登录ID。
(2)异常点击(如1秒内点击100次)可能被误判为用户兴趣,导致推荐算法
偏差,APP通过IQR识别异常,用中位数替换或删除,提升推荐准确性。
3、
(1)建立单位转换表(如1升=33.8杯),用Pythonmap。函数将销量统一转换
为“杯”;对无单位数据,通过门店所在地区推断(如美国门店默认“杯”)O
(2)日期规范化为YYYY-MM-DD后,可直接按时间排序分析季度趋势,避免因
格式差异导致排序错误(如“01/02/2024”可能被误判为1月2日或2月1日)。
七、实操题
1、无标准答案,言之有理即可。
答案:选中年龄列,右键选择“设置单元格格式”;
在“数字”分类中选择“数值”,小数位设为0;
对“二十五”等文本格式,使用=VALUE(文本)函数转换为数值,或通过查找替
换将“岁”“二十五”等替换为数字。
2、无标准答案,言之有理即可。答案:
选择ETL(提取-转换-加载)工具(如Informatica);
步骤:
从存款与贷款数据库提取客户旧、金额等字段;
转换数据格式(如统一金额单位),清洗异常值;
按客户ID关联数据,加载至中央数据仓库。
3、无标准答案,言之有理即可。答案:
使用“数据透视表”功能:
将各门店数据复制到同一工作表;
插入数据透视表,行标签选“销售月份”,值字段选“销售额”并求和;
筛选或分组查看各月汇总数据。
4、无标准答案,言之有理即可。答案:
选中时间列,右键“设置单元格格式”;
在“自定义”类型中输入yyyy-mm-ddhh:mm,点击确定即可转换。
第5节数据分析和挖掘
一、单选题
1、c
2、D
3、B
4、B
5、C
二、多选题
1、ABD
2、ABD
3、ACD
4、AC
5、AB
三、填空题
1、数据可视化
2、机器学习算法
3、xlsxwriter
4、预测
四、问答题
1、数据分析侧重解释过去和当前现象,通过统计、可视化等方法提供业务洞察
(如销售趋势分析);数据挖掘利用机器学习等复杂算法,发现数据中潜在模式,
用于预测未来(如客户流失预测)。前者依赖经验,后者自动化程度更高。
2、用pandas统计各电影类型数量;
调用matplotlib的pie()函数绘制饼图,或bar。函数绘制条形图;
设置图表标题、标签、颜色等属性,增强可读性;
使用show()或savefig。展示或保存图表。
,个性化推荐:通过关联规则挖掘用户购买行为(如买手机的用户常购耳机),
推送相关商品;
库存预测:利用时间序列算法分析历史销量,预测未来需求,优化库存管理;
欺诈检测:识别异常订单(如短时间内跨地区高频消费),防范刷单或盗刷
风险。
五、辨析题
1、错误。数据分析和数据挖掘均可处理结构化与非结构化数据。例如,Python
通过pandas分析结构化表格,通过NLP技术(如spaCy)处理文本等非结构化
数据,两者差异在于分析深度和目标。
2、错误。Excel不适合海量大数据分析,但适合中小规模数据(如万条以内)的
快速分析,通过POWHQuery、数据透视表等功能可完成清洗、统计和可视化。
对于TB级以上数据,Hadoop和Spark的分布式计算更具优势。
3、错误。数据挖掘发现的模式需结合业务逻辑验证。例如,算法预测某商品销
量上升,但实际可能因市场竞争或政策变化失效。结果需经专家评估和A/B测试
后,才能辅助决策。
4、错误。matplotlib需编程实现,灵活性高但开发成本大;Tableau以可视化界
面为主,支持多人协作和交互分析,更适合企业快速生成仪表板,满足非技术用
户需求。
5、错误。数据清洗是关键步骤,缺失值、异常值会干扰分析。例如,电影数据
中缺失评分会导致高分电影筛选错误,清洗后才能保证统计和可视化的准确性。
六、案例分析题
1、(1)属于数据挖掘。平台通过机器学习算法(协同过滤)挖掘用户行为模式,
预测用户偏好,属于典型的预测性分析,而非解释性分析工
(2)核心问题是“如何从海量用户行为数据中发现潜在兴趣关联”,通过
算法推荐个性化内容,减少用户流失.
2、(1)使用商业智能(BI)工具。优势在于快速连接多源数据,通过拖拽式
操作生成交互式图表,无需编程即可实现复杂可观化。
(2)可视化报表(如热力图展示各地区商品销量)直观呈现销售趋势,帮
助管理者定位问题商品,调整采购和促销计戈上
3、(1)Python实现文本清洗(去除停用词)、分词、关键词提取和情感分类
(正向/负向评价)。
(2)情感分析结果用于改进商品页面文案,优先展示好评功能;对负评集
中的问题(如物流延迟),推动供应链优化。
4、(1)Excel无法承载TB级数据的实时计算,Spark的分布式架构支持高并发
处理和内存计算,满足平台的性能需求。
(2)应用场景包括:通过历史订单预测热门路线,动态调整司机调度;利
用时空数据挖掘分析不同区域的出行规律,优化车辆投放。
七、实操题
1、参考答案:
插入数据透视表,行标签选“商品类别”,值字段选“销售额”并求和;
右键点击数据透视表值列,选择“值显示方式•占总和的百分比”;
用Excel图表功能生成饼图展示结果。
2、参考答案:详见文件夹的“清洗数据.py”和相关运行结果。
3、参考答案:详见文件夹的“高频词.py”文件和相关运行结果。
第6节结果可视化与解释
一、单选题
1、c
2、B
3、C
4、B
5、B
二、多选题
1、ABCD
2、ABC
3、ACD
4、ABC
5、ABCD
三、填空题
1、折线图
2、PowerQuery
3、人机协作
四、问答题
1、确定可视化目标:明确要传达的信息(如趋势、比较)和受众需求,为后续
设计提供方向;
选择图表类型:根据数据类型和目标选择合适图表(如折线图展示趋势,饼
图展示占比);
设计图表布局:规划标题、轴标签等元素,确保信息清晰;
确定视觉风格:选择颜色、字体等,增强可读性和品牌一致性。
2、Tableau:企业级数据分析,适合非技术用户快速创建交互式仪表板;
Python的Matplctlib:定制化图表开发,适合数据科学家进行复杂可视化;
D3Js:Web端交互式图表,适用于创建动态网页数据展示。
3、人工解释:依赖业务专家经验,适合复杂场景下的深度解读;
软件辅助:利用工具内置功能(如自动生成标题、趋势线),快速提供基础
解释;
机器学习模型:通过SHAP值等技术解释算法决策逻辑,适用于复杂模型
的透明化分析。
4、可视化:用折线图展示历史销量趋势,用饼图分析商品类别占比;
解释:结合业务经验判断季节性波动(如节日促销),利用机器学习预测未
来需求;
应用:根据分析结果调整库存备货量,避免积压或缺货。
五、辨析题
1、错误。过度复杂的可视化可能导致信息过载,干扰核心数据传达。设计应遵
循“简洁有效”原则,根据目标选择合适图表,使用协调的颜色和字体,确保
受众快速理解。
2、错误。解释工作可通过人工(业务专家)、软件辅助(如PowerBI快速见解)
和机器学习(SHAP值)实现。简单场景下,非技术人员可借助工具内置功能完
成基础解释。
3、错误。Excel适合中小规模数据的快速可视化,通过数据透视表、图表和Power
Query功能可满足日常需求。对于大型企业,可结合BI工具(如PowerBI)实现
更复杂的分析。
4、错误。数据钻取是可视化后的交互分析功能,允许用户深入查看数据细节;
数据预处理指在可视化前对数据进行清洗、转换等操作,两者属于不同阶段。
5、错误。D3Js是交互式Web可视化库,支持动态图表、数据绑定和用户交互
(如缩放、筛选),适用于创建高度定制化的动态数据展示。
六、案例分析题
1、地图直观展示碳排放地理分布,折线图呈现时间趋势,符合“比较差异”和
“展示趋势”的可视化目标;
通过可视化揭示高排放国家和增长趋势,为国际气候协议谈判提供数据支持,
推动减排政策制定。
2、交互式大屏支持实时刷新和深度交互,满足双十一期间对数据时效性和动态
分析的需求;
管理层可通过大屏快速掌握业务进展,调整营销策略(如追加广告投放),
物流团队可优化配送调度。
3、FCharts支持网页端动态展示,便于公众通过浏览器访问,且可定制交互功能
(如数据筛选);
CDC通过官方数据源更新、专家审核解释文字,并提供数据下载链接,增强
透明度。
4、Python库灵活性高,适合深度定制分析流程,满足特斯拉对电池数据的复杂
建模需求;
通过可视化发现电池性能与温度、充放电次数的关联,指导电池温控系统和
充电策略优化。
5、多源数据整合(如人口统计、交通数据)、地图可视化和交互式筛选功能,
帮助评估区域潜力;
根据热力图识别高流量区域,结合业务经验制定开店计划,并通过后续销售
数据验证决策效果。
七、实操题
1、参考操作步骤:
先把数据按绩效分降序排列,然后选中绩效评分数据,点击“插入-柱状
图”;在图表工具中选择“添加数据标签-数据标签外”;调整标题、轴标签
和颜色,完成可视化,图表效果可参考本题参考答案。
2、操作步骤参考:“PowerBi中删除、删除列的操作步骤.docx”,操作结果参
考:“添加季度后的交易数据.pbix”
3、参考代码:详见“销售额—折线图.py”,效果参考:“欢欢母婴用品店销售
额—全中文图表.png”。
第4章大数据的未来
第1节大数据和云计算、物联网、人工智能
一、单选题
1、B
2、C
3、B
4、D
5、D
二、多选题
1、AC
2、AC
3、AB
4、ABD
三、填空题
1、虚拟化
2、感知
3、模式
4、多租户
四、问答题
1、虚拟化技术:将物理服务器虚拟为多台虚拟机,提高硬件利用率,降低大数
据处理成本;分布式计算:拆分复杂任务至多台计算机并行处理,如Hadocp处
理PB级数据;弹性扩展:根据数据量动态调整资源(如电商大促时自动扩容),
避免资源浪费;多租户架构:中小企业按需付费使用大数据资源,降低使用门槛。
2、物联网为大数据提哄数据源:通过传感器(如工业设备传感器)实时采集环
境、设备状态等数据;
大数据为物联网提供智能决策:分析物联网数据(如交通流量),输出优化
方案(如智能交通信号调整)。
3、大数据为人工智能模型训练提供大量样本和特征,数据规模越大、质量
越高,模型越容易学习规律,因此可以把大数据理解为人工智能的“燃料”。
4、言之有理即可,参考答案:
扫码支付场景:
物联网:手机通过Wi-Fi连接支付平台;
云计算:云端实时处理支付请求(验证账户、扣款);
大数据:分析消费习惯推荐商品:
人工智能:实时监控交易安全,识别欺诈行为。
5、参考答案:
深证云通过大数据分析交易日志,实时监控异常交易行为,故障预测准确率达
91%,确保证券交易系统稳定运行,同时通过资源使用数据优化服务器调配,降
低IT成本。
五、辨析题
1、错误。AI模型需海量数据训练(如自动驾驶需千万级路况数据),缺乏数据
会导致模型泛化能力差,无法准确识别未知场景,大数据是AI的“燃料”。
2、错误。物联网数据需经清洗(去噪声)、标注(如传感器数据关联物理意义)
等预处理,否则脏数据会导致分析偏差,如工业传感器故障数据需剔除后再分析。
3、错误。云计算通过虚拟化、分布式计算、弹性扩展等技术全面支持大数据:
分布式计算处理PB级数据(如Hadoop);
弹性扩展动态调整资源应对流量波动;
非仅存储,更提供计算资源优化。
4、错误。深证云通过大数据分析交易日志,实现异常交易实时监控和故障预测
(准确率较高),不仅存储数据,更通过分析优化服务,保障证券系统安全。
六、案例分析题
1、物联网通过传感器实时采集设备振动、温度笔数据,为大数据提供生产环境
的实时数据源。
大数据分析历史故障数据,AI算法(如机器学习)建立故障预测模型,提前
1-2周预警设备故障,减少停机时间,优化维修计划。
2、大数据整合历史车流数据(如早晚高峰流量),识别拥堵规律,为AI优化提
供依据。
AI算法根据实时车流数据动态调整红绿灯时长,部分路段通行效率提升,
体现大数据与AI的协同优化。
3、物联网传感器采集无人机位置、电量等数据,通过5G传输至腾讯云实时处
理,保障飞行安全。
大数据分析历史配送数据(如订单密度),AI算法规划最短路径,无人机配
送效率提升明显,体现数据与算法的协同优化.
七、实操题
1、言之有理即可,参考答案:
物联网:部署土壤湿度、光照传感器采集农田数据;
云计算:云端存储数据并通过分布式计算处理:
大数据:分析历史数据预测灌溉需求;
人工智能:根据分析结果自动调整灌溉系统,优化农作物生长。
2、言之有理即可,参考答案:
数据采集(用户行为)玲云计算弹性扩容服务器玲大数据分析流量趋势3云
计算动态调整资源玲数据可视化展示销售情况
3、言之有理即可,参考答案:
智能家居:温度传感器+Wi-Fi传输数据;
工业设备:振动性感器十工业以太网传输;
智能交通:摄像头+5G传输车牌数据。
4、言之有理即可,参考答案:
大数据:收集患者病历、影像等数据;
AI:用深度学习分析医学影像(如CT扫描),辅助医生诊断;
协同点:大数据训练AI模型(如癌症识别),AI输出诊断建议后,医生结
合临床经验决策。
第2节大数据带来的创新和机遇
一、单选题
1、B
2、A
3、B
4、C
5、C
二、多选题
1、ABD
2、ABC
3、AC
4、ABC
5、AB
三、填空题
1、智慧农业
2、隐私保护
3、AI智能安检系统
四、问答题
1、数字挛生技术:如通用电气为设备创建虚拟模型,通过实时数据交互优化运
行状态;
供应链协同:海尔COSMOPIat连接全球企业,提升供应链效率;
预测性维护:通过设备传感器数据提前识别故障,减少停机损失。
2、联邦学习:分布式训练模型,原始数据不出本地;
同态加密:加密数据上进行计算,结果解密后可用;
多方安全计算(MPC):多参与方协同计算,不泄露各自数据;
可信执行环境(TEE):硬件隔离确保数据处理安全。
3、数据分类分级保护体系应根据数据重要程度和泄露后的危害程度采取不
同措施。核心数据需最严格保护,重要数据需加密存储、风险评估和重点管理,
一般数据也需采取基本安全防护。
4、降本增效型:工厂没备预测性维护降低停机损失;
服务创新型:保险业基于驾驶行为数据动态定价(如UBI保险);
普惠共享型:区域医疗数据共享提升基层诊断准确率。
5、“数”指数据资源,“算”指算力资源。“数”与Volume、Variety、Velocity
等特征相关,“算”与大数据处理速度、计算能力和实时响应能力密切相关。
五、辨析题
1、错误C大数据应用可能带来隐私风险,但通过合法合规采集、脱敏、加密和
隐私计算等措施可以降低风险。
2、错误。数据交易需“技术+政策”双驱动:
技术:区块链确权、隐私计算保障安全;
政策:《数据安全法》规范交易流程。如深圳数据交易所“晃牛保”产品,
既需技术支撑,也需合规审核。
3、错误。行业融合需重构业务流程,非技术简单叠加。例如精准农业不仅用传
感器,更通过“数据建模3智能决策3精准施药”闭环,将大数据转化为种植
方案,提升产量同时降低化肥用量。
4、错误。伦理约束确保创新方向正确。例如在线教育平台引入多维评估模型,
避免“唯分数论”伤害学生,既符合伦理.,又开辟更可持续的市场空间,证明
伦理是创新的“护航者〃。
5、错误。边缘计算解决实时性问题,与云计算互补:
云计算:海量数据存储分析(如抖音视频存储);
边缘计算:本地实时处理(如智能摄像头大幅度压缩数据)。
六、案例分析题
1、属于“产业智能化转型”中的智慧农业方向;
通过多源数据建模生成精准种植方案:
智能感知:无人机巡田识别病虫害;
动态决策:仅病害区施药,减少农药用量;
资源优化:根据土壤养分调整施肥,降低成本同时提升产量。
应识别数据类型和敏感程度,对重要数据和个人信息进行脱敏、加密、访问控制
和使用记录管理。
2、属于“服务创新型”模式,通过多源数据融合创造新保险产品;
大数据技术可用于分析设备状态、发现生产瓶颈、预测故障并支持生产决策。
3、该案例解决了医疗数据跨区域共享难、隐私保护要求高、协同分析效率低等
痛点。
4、(1)数据海关通过规则监管、安全评估、合规审查和技术防护,在促进
数据跨境流动的同时降低安全风险.(?)该案例属于融合驱动和制度创新支撑
下的数据流通创新模式。
七、实操题
1、参考答案:
种植数据(传感器)3加工记录玲物流轨迹玲区块链上链存储玲消费者
扫码查询玲数据不可篡改验证
2、区域医疗数据共享:基层医院诊断准确率提升;
农业技术开放平台:中小企业获取种植决策模型;
政务数据开放:开发者基于交通数据优化导航
APPO
第3节大数据面临的挑战
一、单选题
1、c
2、B
3、C
4、B
5、C
二、多选题
1、ABC
2、ABD
3、ABCD
4、ABCD
5、AC
三、填空题
1、重要数据
2、篡改
3、数据掩码(或数据脱敏)
四、问答题
1、数据安全侧重保护数据免受未授权访问、篡改和泄露(如企业防止黑客窃取
用户信息);
隐私保护侧重个人信息的合法使用(如医院保护患者病历不被滥用);
前者是技术与管理范畴,后者更聚焦个人权益保护。
2、纳入重要数据目录,明确保护范围;
采取加密存储、定期风险评估等措施;
访问日志留存6个月以上;
出境需通过安全审查。
3、监测与预警:实时设别异常行为,发布不同级别预警;
事件响应:按I-IV级启动处置,数据处理者先行报告处置;
协调指挥:监管部门组织研判,采取紧急措施;
解除调整:消除隐患后解除响应。
4、数据分类分级保护制度的核心依据是数据在经济社会发展中的重要程度,以
及数据遭到篡改、破坏、泄露、非法获取或非法利用后可能造成的危害程度。
五、辨析题
1、错误。数据安全侧重技术层面防止数据泄露(如加密传输),隐私保护侧重
个人信息的合法使用(如用户同意机制)。例如,天院加密存储病历是数据安全,
未经患者同意共享病历则违反隐私保护。
2、错误。一般数据需遵循行业规范(如匿名化处理、最小化收集)。例如,商
场会员消费记录虽为一般数据,但若未脱敏导致泄露,仍需承担法律责任(参考
《个人信息保护法》)。
3、错误。重要数据出境需通过安全审查(《数据出境安全评估办法》)。例如,
某车企向境外传输自动驾驶数据,需经主管部门审查,否则最高处1000万元罚
款。
4、错误。应急处置涉及多方协作:技术部门修复漏洞,法务部门对接监管,公
关部门通报用户。例如,某平台数据泄露后,需技术、法务、公关联合处置,单
部门无法完成合规上报与用户通知。
5、正确。核心数据需物理隔离、多因子认证,重要数据仅需加密与定期评估。
例如,国家电网数据(核心)需离线存储,传染病数据(重要)可在线加密存储。
六、案例分析题
1、传染病患者病历属于重要数据,普通病历属于一般数据;
保护措施:
重要数据加密存储,访问日志留存6个月;
定期开展风险评估(如每季度一次);
参考《网络安全法》部署漏洞扫描系统。
2、违反“最小化收集原则”(《个人信息保护法》);
界定标准:
功能相关性:美颜APP仅需摄像头权限,无需通讯录;
用户知情同意:需明确告知收集范围并获授灰;
案例参考:微信读书仅收集阅读偏好,不获取通话记录。
3、违反《数据安全法》第二十七条,未及时上报安全事件;
正确流程:
发现漏洞后2小时内上报监管部门;
启动IV级响应,技术部门修复漏洞,法务部门准备报告;
参考《工业和信息化领域数据安全事件应急预案》流程。
4、银行核心交易数据属于核心数据,需最严格保护;
分类方法:
依据《金融数据安全数据安全分级指南》;
核心数据物理隔离,重要数据加密,一般数据脱敏;
七、实操题
1、事前:依据《数据安全法》划分数据类别,确定评估频率(如金融机构每半
年一次);
事中:评估全生命周期风险(收集-存储-传输-销毁),重点分析泄露
对国家安全的影响;
事后:形成报告上报主管部门,含风险类型、控制措施、改进计划;
案例:某银行按《银行保险机构数据安全管理办法》每半年评估,发现数据
库漏洞后及时修复。
2、企业申请玲提交数据清单与风险评估报告f主管部门审查玲合规通过
后出境T持续监测风险
3、组织架构:明确应急小组职责(技术、法务、公关);
监测机制:部署实时异常检测系统;
响应流程:按I-IV级启动处置,2小时内上报监管部门;
案例参考:某电商平台遭遇数据泄露,按预案启动IV级响应,48小时内
修复漏洞并通报用户。
4、参考答案:
是否遵循最小化收集原则(如APP仅获取必要权限);
敏感数据是否加密存储(如身份证号SHA-256哈希);
出境数据是否通过安全审查;
案例:某社交APP因过度收集通讯录被处罚,自查清单需包含权限申请合
理性评估。
《大数据应用基础》综合练习(A卷)参考答案及评分标准
一、单选题(共15题,每题2分,共30分)
1.D2.B3.B4.C5.A
6.B7.B8.D9.B10.C
11.B12.C13.B14.C15.A
二、多选题(共5题,每题3分,共15分;多选、少选、错选均不得分)
1.ABC2.ABD3.ABC4.BCD5.ABCD
三、填空题(共10空,每空1分,共10分)
1.真实性
2.埋点
3.数据规范化
4.一致
5.弹性扩展
6.身份验证
7.图表(或可视化)
8.智能传感
9.核心数据
10.数据预处理(或数据清洗)
四、简答题(共3题,每题10分,共30分)
1.(10分)
任选三点:
电子病历整合分析:打通多医院数据,辅助疾病诊断与治疗方案优化;
精准医疗:结合基因数据与临床数据,制定个性化用药方案;
疾病预测预警:分析人群健康数据,提前防控传染病或慢性病;
医疗资源优化:根据就诊数据调整医护人员与设备配置。
2.(10分)
核心要求:准确性、完整性、时效性、合法性(4分);
原因:准确性确保分析
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 装岩机司机岗中实操测试考核试卷含答案
- 2026年福利彩票服务行业市场趋势报告及未来五至十年数字化与智能化升级
- 2026年供热设施维护行业洞察报告及未来五至十年发展趋势报告
- 2025-2026年粤教版高中二年级地理上学期期末测试卷地理重点
- 2025-2026湘教版高三生物上学期期末考试生物卷
- 北师大版高一语文上期末测试卷2025-2026
- 安全注射的意义
- 2026年七年级上册第5章 走进几何世界 第2套 基础巩固
- 2026年医学放射治疗专业医学放射评估测试试卷及答案
- 2026年医学病理生理学肿瘤诊断试题及答案
- 2026年芯片设计DFT工程师高频面试题包含详细解答
- 中粮粮食采购管理制度
- TAVR治疗卒中风险防控实操指南
- 2026中国通信服务浙江公司校园招聘易考易错模拟试题(共500题)试卷后附参考答案
- 2025年消化内科学科消化道肿瘤考试答案及解析
- 居家药学服务课件
- 交通事故案件追加被告申请书
- 大数据技术毕业论文
- 海绵城市建设专项汇报
- 医院改建工程施工期间医疗服务保障措施
- 【人教pep版】六年级英语阅读理解50题篇训练题(含答案解析)
评论
0/150
提交评论