《大数据分析技术》课程设计指导书

《大数据分析技术》课程设计指导书一、课程设计目的与任务本课程设计是为数据科学与大数据技术、应用统计学等相关专业设置的，是这些专业教学计划中实践环节的有机组成部分，在完成了数学分析（或高等数学）、高等代数（或线性代数）、概率论与数理统计、Python程序设计、大数据分析技术等课程的学习之后，接受本课程设计的综合训练，提升数据分析实践创新能力。本课程设计的任务是培养学生对源于生产或生活中的数据建立数据模型，然后运用Python开发一个数据分析或可视化的自建库函数（API），并将自建库函数推广应用于更广泛类型的数据，实现从数据资源中获取价值的目标，最后撰写设计说明书（或设计报告）等方面的能力，培养方式以上机操作和实践为主。通过课程设计的综合训练，让学生加深对数据科学概论、大数据分析技术等课程理论与方法的掌握，同时具备对源自生产生活实际的数据进行分析与挖掘并提供解决方案的能力，改变传统的理论教学与生产实际脱节的现象，从而解决实践创新能力相对薄弱的问题。二、课程设计组织及教学方式由指导教师向学生发放有关的课程设计背景资料，并向学生讲述课程设计的方法、步骤和要求，设计过程采取在实验室机房中集中辅导，学生独立设计的方式进行。在设计的每个环节中，学生每人1台计算机独立自主地进行操作，教师则巡回指导并回答学生的问题。三、课程设计课题及步骤（一）设计课题当前本课程设计的相关课题如下表所示。对下述所有课题课程设计要达到的目标是，就课题设计任务的解决过程及相关算法集成为一个PythonAPI，以解决普适性问题。序号课题设计任务1我国省域数字经济评估1.数字经济受到三大定律的支配，其中第一个定律是梅特卡夫法则：数字网络的价值等于其节点数的平方。请以梅特卡夫法则为准则，完成下述三问。（1）自定义网络价值；（2）按自定义的数字网络价值计算表中各省级行政单位的数字网络的价值；（3）可视化相关结果。2.根据当前数据，选用合适的方法预测各省级行政单位在2021年的数据。3.根据当前数据（不包括预测的2021年的数据），对各省级行政单位在各年的数字经济水平进行评估。2肾病综合征影响因素分析本设计要求根据所附数据集研究慢性肾病综合征（CKD）的影响特征，并据此对CKD患者进行识别。1.建立两个CKD识别模型，比如logistic模型和随机森林模型；2.对模型中的参数进行估计，并对模型精度进行评估（随机森林没有待估计的参数）；3.现有100份体检数据，见附件“体检待识别数据.xlsx”，试应用所建模型对这100份体检数据进行识别，给出识别结果。3帕金森病步态分析本设计根据所附数据集研究帕金森患者的步态特征，并据此对帕金森患者进行识别。1.建立两个帕金森病识别模型，比如logistic模型和随机森林模型；2.对模型中的参数进行估计，并对模型精度进行评估（随机森林没有待估计的参数）；3.现有如下3名受试者的步态数据，见附件“三名受试者步态数据.zip”，试应用所建模型对三名受试者进行识别。4胆囊术后胆漏病理因素分析由所附数据集进行胆囊术后胆漏病例分析。1.用至少两种相关性描述各变量与胆漏的相关性；2.建立胆漏识别模型，并对模型进行评估（包括混淆矩阵、ROC曲线，等）；3.根据模型提取各变量的重要性并可视化；4.提取重要性前10或前多个变量重新建模，并对模型进行评估。5小麦种子的识别本设计根据所附数据集研究小麦种子的识别规则，并据此对小麦进行识别。1.对数据先进行描述性统计分析，再进行标准化变换；2.应用标准化数据建立小麦品种的logistic识别模型及神经网络识别模型；3.对logistic模型，要求对模型中的参数进行估计，并提取各特征的重要性；4.对两个模型的精度进行评估，要求输出描述精度的混淆矩阵；5.现获得一批小麦麦粒在7个特征上的观测值，见数据集中“新样本”表，试识别这批小麦分别来自哪个品种。6城市重金属污染问题本设计要求完成以下任务：1.可视化8种主要重金属元素在该城区的空间分布；2.根据可视化结果分析重金属污染物的传播特征，确定污染的源和汇的位置；3.应用TOPSIS方法对该城区内不同区域重金属的污染程度进行综合评价；4.对该城区内不同区域重金属的污染程度进行聚类分析。7红葡萄酒的评价本设计要求完成以下任务：1.分析附件1中两组评酒员的评价结果有无显著性差异，哪一组结果更可信？2.根据附件1中两组评酒员的评价结果对葡萄酒进行质量分级。3.葡萄酒质量等级与酿酒葡萄的理化指标紧密相关，试建立以酿酒葡萄的理化指标为变量、以葡萄酒质量等级为目标的葡萄酒等级识别模型，并对模型进行评估。8雷达回波的识别本设计要求完成以下任务：1.对数据集进行描述性统计分析；2.对数据集进行标准化变化；3.应用标准化数据建立大气结构的决策树识别模型和支持向量机识别模型；4.对建立的识别模型进行评估，并以ROC及混淆矩阵来可视化评估结果。9鲍鱼年龄预测问题本设计根据所附数据集研究鲍鱼年龄的预测问题。1.按如下步骤对数据进行预处理：（1）对数据先进行描述性统计分析；（2）对定量变量识别其中的奇异值，并删除所发现的奇异值；（3）对定量变量进行标准化；（4）对定性变量进行独热编码。完成预处理。2.应用预处理后的数据建立鲍鱼年龄的下述预测模型：（1）线性回归模型（2）一次有理模型（3）logistic模型3.对上述模型的精度进行评估。10乳腺癌致病基因挖掘本设计根据所附数据集挖掘乳腺癌的致病基因。1.给出每个基因分别在Normal、DCIS、IDC三类组织中的表达信息进行探索性分析；2.自定义可视化方法对Normal、DCIS、IDC三类组织中前100个基因进行可视化；3.通过倍数差异法筛选DCISvsNormal、IDCvsNormal、DCISvsIDC的差异表达基因；4.通过两样本t检验方法筛选DCISvsNormal、IDCvsNormal、DCISvsIDC的差异表达基因；5.建立基因表达差异模型，筛选乳腺癌差异表达基因。11共享单车骑行量预测请根据所给数据完成下述任务。1.建立共享单车骑行量预测模型（非线性回归或随机森林或神经网络，三者之一即可）；2.给出表中影响骑行量的11个特征的重要性；3.将模型训练好后应用于预测“待预测数据”表对应的骑行量；4.将预测模型封装为一个预测函数，并通过Python实现，供相关企业使用。随着科技的发展及对生产生活实践数据的积累，本课程设计课题将保持增量更新。（二）设计步骤第一步：精读并深刻理解课题。精读设计课题，了解并熟悉问题背景，查找相关文献资料以帮助自己迅速深刻理地解课题中的各个设计任务。比如课题6“城市重金属污染问题”，该问题是对某城市表层土壤重金属污染情况进行分析，这就要求首先要了解环境污染的相关背景——污染物的分类、污染程度指标、污染级别分类，等等；这些要通过查询相关文献才能获悉。第二步：数据建模。在了解了课题背景、理解了课题中各个设计任务的基础上，基于所附数据就课题中的各个问题选用恰当的数学方法逐一、递进地建立数学模型（机器学习模型），一个问题可能会建立多个模型，这些模型互为补充、或相互印证，以更好地解决问题。比如课题6“城市重金属污染问题”，对于第一问，可以通过地貌叠加污染指数的四维图形来描述重金属污染的空间分布；污染程度则可建立内梅罗指数法模型；对于第二问，可建立多元统计相关性模型或模糊聚类模型分析各种重金属的相关性来探究重金属污染的主要原因；对于第三问，可建立Kriging插值模型来获得污染源的位置。第三步：模型训练。选用恰当的算法，运用Python相关库或模块对模型进行训练。比如课题6“城市重金属污染问题”，对于第一问，可调用Python插值模块erpolate及可视化模块matplotlib.pyplot作重金属污染空间分布图，计算污染指数后对污染进行分级，从而获悉污染程度；运用Python统计模块scipy.statsmatlab计算各重金属的相关性，以描述重金属的相伴性；对于第三问，依然调用erpolate对Kriging插值进行计算，获得污染源位置。第四步：模型评估。模型评估主要针对预测模型。对所求模型的参数进行检验，并进行灵敏度分析和可靠性评估。对所求模型的解进行检验，并进行灵敏度分析和可靠性评估，并据此对模型进行反复地修正、改进，直到得到问题的满意解为止。Python提供了丰富的模型评估模块，各模块又集成了丰富的评估方法。回归：RMSE（平方根误差）、MAE（平均绝对误差）、MSE(平均平方误差)、Coefficientofdetermination(决定系数R2)、MAPE（平均绝对百分误差）、MSLE（均方根对数误差），等。分类：混淆矩阵、精确率、召回率、准确率、F1值、ROC-AUC、PRC、G-MEAN等。聚类：兰德指数、互信息、轮廓系数等。第五步：模型应用。将评估好的模型应用于实践，主要是预测和决策。第六步：算法集成。将上述数据分析流程整理为一个综合算法，并利用Python来实现，集成为一个PythonAPI。第七步：撰写设计说明书或设计报告。为第六步集成的PythonAPI撰写一份使用说明书，包括API的功能，输入参数、输出参数、应用示例，等等。将上述六个步骤的整理为一篇设计报告。提交设计说明书或设计报告。四、课程设计的具体要求1、设计过程以个人为单位，独立自主完成设计任务；2、设计说明书或设计报告电子版一律按照提供的“设计说明书”或“课程设计报告”模板撰写，并打印纸质版；3、课程设计严格按照任务书上规定的时间和内容完成。五、课程设计基本目标理解并掌握数据科学和大数据分析技术等课程相关理论与方法，对设计课题所涉及的对象的背景、相关领域知识和材料有较好的了解,能灵活运用本课程理论知识和方法，对数据进行深刻分析、挖掘数据价值，为相关问题提供解决方案，通过本课程设计，达到如下目标：1.掌握运用大数据知识分析和解决生产实际问题的具体方法；2.培养遇到困难解决困难的坚忍不拔的精神，独立自主地分析问题和解决问题的能力；3.熟练运用python进行数据建模和数据分析的能力；4.将数据分析和应用的流程整理为算法并利用Python集成为API的能力；5.撰写设计说明书或设计报告的能力；6.为相关实际问题提供解决方案的能力。指导教师对本课程设计的内容，要求、方法、步骤有较深入的了解和把握。能熟练地指导学生完成设计任务，能熟练地处理课程设计过程所碰到的各种问题。要善于激发和培养学生独立思考和分析问题的能力和学生的创新能力，要善于组织和引导学生独立自主进行设计或按团队方式进行协作设计。六、建议参考文献（一）Python及数据分析相关文献[1]铜陵学院.大数据分析技术.2023[2]李子奈、潘文卿.计量经济学[M].北京：高等教育出版社，第四版，2015[3]Python实现逻辑回归(LogisticRegressioninPython)：/zj360202/article/details/78688070[4]周志华.机器学习[M].北京：清华大学出版社，2016[5]邱锡鹏著，神经网络与深度学习，第六章循环神经网络．GithubInc.,2020-06-14（二）设计课题相关文献1.我国省域数字经济评估[1]逄健,朱欣民.国外数字经济发展趋势与数字经济国家发展战略[J].科技进步与对策,2013,30(8):5.[2]赵梦.“十四五”时期数字经济赋能高质量发展的创新路径[J].西南金融,（排版定稿）网络首发时间：2023-03-2214:55:56.[3]李三希,武玙璠,李嘉琦.数字经济与中国式现代化:时代意义、机遇挑战与路径探索[J].经济评论.2023(02):3-14.2.肾病综合征影响因素分析[1]计建军,王长江,查丽,王小琴,徐佳禛,陶静.肾病综合征患者他克莫司血药浓度影响因素[J].中国药物应用与监测.2022,19(06):371-375.[2]杨昕彤.肾病综合征患者糖类抗原表达及影响因素分析[D].皖南医学院.2022.[3]郭瑞.肾病综合征合并感染的影响因素分析[J].医学理论与实践.2020,33(07):1109-1111.[4]戴彧君.肾病综合征患者肾功能影响因素分析评价[J].现代医药卫生.2018,34(19):3065-3067.3.帕金森病步态分析[1]秦静,马雪倩,高福杰,季长清,汪祖民.基于步态分析的帕金森病辅助诊断方法综述[J].计算机应用.（录用定稿）网络首发时间：2022-09-2112:34:31[2]陶文旭,彭紫莹,杨静,蒋剑军,郑志伟.基于随机森林模型的帕金森病步态分析[J].长江信息通信.2022,35(09):7-94.胆囊术后胆漏病理因素分析[1]姚德胜.腹腔镜胆囊切除术后胆漏的原因及对策探析[J].中国农村卫生.2019,11(22):44-45.[2]高源.腹腔镜胆囊切除术后胆漏的原因及处理[J].临床医学研究与实践.2017,2(22):29-30.5.小麦种子的识别[1]付雪丽,景琦,陈旭,祁曙明,邱军.我国小麦种子供需现状与产业发展趋势[J].中国种业.2023(02):20-23.[2]孙秀枝,张丽,贾代成,孟琳,罗汉民,陈凤龙,公丕峰.小麦种子健康度检测研究及应用[J].种子科技.2022,40(23):8-10.6.城市重金属污染问题[1]ANSARIAA，SINGHIB，TOBSCHALLHJ．ImportanceofgeomorphologyandsedimentationprocessesformetaldispersioninsedimentsandsoilsoftheGangaPlain:identificationofgeochemicaldomains[J]．ChemicalGeology，2000，162:245-266.[2]FORSTNERU，WITTMANNGTW．Metalpollutionintheaquaticenvironment[M]．Berlin,Heidelberg，NewYork:Springer，1981:486.[3]LIYH．Geochemicalcyclesofelementsandhumanperturbation[J]．GeochimCosmochimActa，1981，45:2073-2084.[4]郭大伟等，数学建模[M].合肥:安徽教育出版社，2009.[5]朱青等，两种模糊数学模型在土壤重金属综合污染评价中的应用与比较[J].环境保护科学，2004，123(30):54-55.[6]王栋，基于最大熵原理的水环境模糊优化评价模型[J].河海大学学报（自然科学版），2002，30(6):1-5.[7]张磊，宋风斌，王晓波，中国城市土壤金属污染研究现状及对策[J].生态环境，2004，2(13):258-260.[8]王从陆，吴超，段瑜，基于主成分综合的矿区农田重金属污染评价[J].中国工程科学，2008，7(10):181-182.[9]王学松，秦勇，利用对数正态分布图解析徐州城市土壤中重金属元素来源和确定地球化学背景值[J].地球化学，2007，1(36):98-102.[10]SiegalFR.EnvironmentalGeochemistyofPotentiallyToxicMetals[M].Heidelberg:Spring，2002:1-192.[11]韩忠庚，长江水质综合评价与预测的数学模型[J].工程数学学报，2005，7(22):68-69.7.红葡萄酒的评价[1]杨洁.基于多元统计分析的赤霞珠红葡萄酒感官特征描述符筛选研究[D].西北农林科技大学.2021.[2]缪子阳,李婷玉,祝梦琳.葡萄酒的评价模型[J].科技与创新.2017(16):22-24.[3]翟明娟.基于聚类分析法的葡萄酒评价[J].太原师范学院学报(自然科学版).2014,13(02):35-40.[4]王百姓,冯积社.模糊综合评价在干红葡萄酒感官品评中的应用[J].中国食物与营养.