《大数据案例分析与应用》教学大纲

《大数据案例分析与应用》教学大纲课程编号：06220229英文名称：BigDataCaseAnalysisandApplication学分：3学时：总学时64学时，其中理论32学时，实验32学时先修课程：管理信息系统、高等数学、数据挖掘原理与应用、软件开发工具实训课程类别：专业必修课程授课对象：大数据管理与应用专业学生教学单位：商学院修读学期：第4学期一、课程描述和目标本课程主要针对各个行业大数据的分析和处理，内容上涉及到之前所学到的大数据相关内容：包括大数据系统和平台技术、海量数据处理，数据采集和数据清洗，大数据生态，数据挖掘，可视化等。框架上会涉及到：Hadoop、Spark、kafka、kibana、redis、echarts等，目的是将所学习的技能进行综合应用，解决各行业实际项目中的真实问题。通过实际案例的分析和讨论，了解大数据在不同领域的应用，掌握大数据处理和分析的方法和技巧，培养解决实际问题的能力。课程目标：1．专业知识方面。掌握大数据的基本概念、特点，掌握大数据系统开发的基本概念只是和算法知识。2．专业能力方面。熟练掌握大数据的收集、存储、处理和分析技术运用能力，能够熟悉大数据工具和平台并运用大数据管理工具进行数据分析并解决实际问题。3．综合能力和素质方面。能够综合掌握数据整理、统计技术选择、大数据软件应用、海量数据处理、大数据挖掘和统计分析报告撰写等基本技能，实施完整的大数据分析。强化学生在应用大数据分析工具实践中的道德品质与伦理素养，要求学生在其中培养爱国敬业、诚实守信等基本素质。二、课程目标对毕业要求的支撑关系毕业要求指标点课程目标权重专业素养：2-1课程目标1M实践应用能力：3-1、3-2课程目标2、3H人文道德素养：1-1课程目标3M三、教学内容、基本要求与学时分配序号教学内容基本要求及重、难点（含德育要求）学时教学方式对应课程目标1大数据概述1.1大数据的定义和特点（1）介绍大数据的定义，强调其对数据量、速度、多样性和价值的要求（2）解释大数据分析的意义和作用1.2大数据的挑战和机遇：（1）分析大数据带来的挑战，如数据获取、处理和隐私保护等（2）探讨大数据的机遇，如商业洞察、科学研究和社会决策等4集中讲授课程目标1、22大数据技术与工具2.1分布式计算与存储技术（1）介绍分布式计算和存储的基本概念和原理（2）解释如何利用分布式技术处理大数据2.2大数据处理和分析工具介绍（1）简要介绍Hadoop、Spark、Flink等大数据处理和分析工具的特点和应用领域（2）强调在实际应用中如何选择适合的工具以及工具的生态系统4集中讲授课程目标1、2、33大数据收集与存储3.1数据收集的方法和技术（1）介绍传统和新型数据收集方法，如传感器数据、社交媒体数据和日志数据等（2）探讨数据采集过程中的挑战，如数据质量、数据安全和数据持续性等3.2大数据存储与管理（1）介绍大数据存储的不同方式，如关系型数据库、NoSQL数据库和数据仓库等（2）探讨大数据存储管理的挑战，如数据一致性、数据安全性和数据备份等2集中讲授课程目标1、24数据清洗与预处理4.1数据清洗的目的和方法（1）解释数据清洗的重要性和作用，如去除噪声、填充缺失值和处理异常值等（2）探讨常用的数据清洗方法和技术，如数据去重、数据归一化和数据转换等4.2数据预处理技术（1）介绍数据预处理的步骤和方法，如特征选择、特征变换和数据集划分等（2）解释数据预处理在大数据分析中的重要性和挑战，如维度灾难和特征选择等4集中讲授、案例讨论课程目标1、2、35数据分析与建模5.1数据分析的基本方法和技巧（1）掌握数据分析的基本步骤，包括数据探索、数据可视化和数据模型构建等（2）强调数据分析中常用的统计学和机器学习方法，如回归分析、聚类分析和分类算法等5.2数据建模与预测（1）掌握数据建模的概念和方法，如回归模型、决策树和神经网络等（2）熟悉数据建模和预测在实际应用中的挑战，如过拟合、模型评估和模型解释等4集中讲授、案例讨论课程目标1、2、36实时数据处理与流式分析6.1实时数据处理的概念和应用（1）熟悉实时数据处理的特点和优势，如低延迟和动态性能等（2）掌握实时数据处理的常用场景，如金融交易、网络监控和物联网等6.2流式数据分析的方法和工具（1）掌握流式数据分析的基本概念和流式计算模型，如Storm、Samza和Kafka等（2）掌握流式数据处理在数据实时分析和洞察中的应用和挑战2集中讲授、案例讨论课程目标1、27大数据在营销领域的应用7.1个性化推荐系统（1）分析个性化推荐系统的原理和应用场景，如电商和音乐推荐等（2）强调大数据在个性化推荐中的作用和挑战，如数据稀疏和冷启动等7.2智能广告投放（1）介绍智能广告投放的原理和应用，如定向投放和内容匹配等（2）解释大数据在智能广告投放中的作用和挑战，如隐私保护和用户反馈等4集中讲授课程目标1、28大数据在金融领域的应用8.1风险识别与控制（1）探讨大数据在金融风险识别和控制中的应用，如信用风险和市场风险等（2）分析大数据在风险识别中的角色和挑战，如数据质量和模型复杂性等8.2信用评估与欺诈检测（1）介绍大数据在信用评估和欺诈检测中的应用，如个人信用评分和交易欺诈检测等（2）强调大数据对信用评估和欺诈检测的贡献和挑战，如数据隐私和模型解释等2集中讲授课程目标1、29大数据在医疗领域的应用9.1医疗数据分析与预测（1）分析大数据在医疗数据分析和预测中的应用，如疾病预测和医疗资源优化等（2）探讨大数据对医疗数据分析和预测的挑战，如数据安全和数据隐私等9.2个性化医疗推荐（1）掌握个性化医疗推荐的原理和应用，如个体化治疗和健康管理等（2）熟悉大数据在个性化医疗推荐中的作用和挑战，如数据可靠性和模型解释性。2集中讲授课程目标1、210大数据在城市管理领域的应用10.1智慧交通系统（1）探讨大数据在智慧交通系统中的应用，如交通流预测和拥堵疏导等（2）分析大数据对智慧交通系统的挑战，如数据实时性和数据一致性等10.2环境监测与资源优化（1）熟悉大数据在环境监测和资源优化中的应用，如空气质量监测和能源管理等（2）强调大数据在环境监测和资源优化中的作用和挑战，如数据准确性和数据可视化等2集中讲授课程目标1、2合计32序号实验项目实验内容与要求学时类型对应课程目标1数据收集与清洗实验实验内容：学生需要选择一个特定领域的数据集，并使用相应的数据收集技术（如Web爬虫、API接口等）获取数据。然后，学生需要对收集到的数据进行清洗，包括去除重复数据、处理缺失值和异常值等。实验要求：1.学生能够选择适当的数据集和数据收集方法；2.学生能够独立完成数据收集和清洗的过程；3.学生需要展示清洗后的数据，并解释清洗过程中的处理策略。4演示课程目标1、22大数据处理与分析实验实验内容：学生需要使用大数据处理工具（如Hadoop、Spark等）对收集到的数据进行处理和分析。包括数据转换、特征提取、聚类分析等操作，并对分析结果进行解释和讨论。实验要求：1.学生能够熟练使用大数据处理工具进行数据处理和分析；2.学生能够选择和应用适当的数据处理和分析方法；3.学生需要展示数据处理和分析的结果，并进行结果解释和讨论。4演示课程目标1、23实时数据流处理实验实验内容：学生需要使用流处理引擎（如Flink、Kafka等）对实时数据流进行处理和分析。学生需要设计流处理任务，包括数据窗口计算、数据聚合和模式识别等，并实时监控和可视化处理结果。实验要求：1.学生能够理解实时数据流处理的基本概念和原理；2.学生能够使用流处理引擎设计和实现实时数据处理任务；3.学生需要展示实时数据处理的结果，并解释处理过程和效果。4综合课程目1、2、34大数据应用案例实验（一）实验内容：学生可以选择营销领域的一个具体应用案例（如个性化推荐系统），并基于收集到的数据进行分析和应用。学生需要设计和实现相关的算法和模型，并对应用效果进行评估和优化。实验要求：1.学生能够理解所选择应用案例的原理和关键技术；2.学生能够独立完成算法和模型的设计与实现；3.学生需要展示应用结果，并对效果进行评估和优化。4综合课程目标1、2、35大数据应用案例实验（二）实验内容：学生可以选择金融领域的一个具体应用案例（如风险识别与控制），并基于收集到的数据进行分析和应用。学生需要设计和实现相关的模型和策略，并对应用效果进行评估和改进。实验要求：1.学生能够理解所选择应用案例的背景和特点；2.学生能够独立完成模型和策略的设计与实现；3.学生需要展示应用结果，并对效果进行评估和改进。4综合课程目标1、2、36大数据应用案例实验（三）实验内容：学生可以选择医疗领域的一个具体应用案例（如个性化医疗推荐），并基于收集到的数据进行分析和应用。学生需要设计和实现相关的模型和算法，并对应用效果进行评估和调优。实验要求：1.学生能够了解所选择应用案例的研究现状和挑战；2.学生能够独立完成模型和算法的设计与实现；3.学生需要展示应用结果，并对效果进行评估和调优。4综合课程目标1、2、37实验项目七：大数据应用案例实验（四）实验内容：学生可以选择城市管理领域的一个具体应用案例（如智慧交通系统），并基于收集到的数据进行分析和应用。学生需要设计和实现相关的系统和算法，并对应用效果进行评估和优化。实验要求：1.学生能够了解所选择应用案例的需求和挑战；2.学生能够独立完成系统和算法的设计与实现；3.学生需要展示应用结果，并对效果进行评估和优化。4综合课程目标1、2、38大数据应用案例实验（五）实验内容：学生可以选择自己感兴趣的领域，设计并完成一个大数据应用案例项目。学生需要自行确定所选择领域的问题和数据，并采用适当的方法进行分析和应用。实验要求：1.学生需要设计和实现具体案例项目的整体流程和实施方案；2.学生需要独立完成案例项目的数据分析和应用实现；3.学生需要展示项目结果，并对方法和效果进行总结和讨论。4综合课程目标1、2、3合计32四、课程教学方法如集中讲授、小组讨论等教学方式五、学业评价和课程考核推行多元评价，对本课程所采用的评价和考核方式作具体说明，若采用多种考核方法请分别列出考核评价的方法、内容、考核标准、成绩占比等，考核方法、内容应突出“学生中心、产出导向”。（以下以工科某课程为例，仅供参考。各课程要按课程实际情况设计填写）（一）考核方式及具体要求1.课程成绩构成与要求课程考核注重形成性和终结性评价相结合，考核内容主要由平时作业、章节测试、期末考核组成，均按百分制计分，其中平时作业成绩占30%、章节测试成绩占10%、期末考核成绩占60%。2.课程目标达成考核与评价序号教学环节课程目标1（分值）课程目标2（分值）课程目标3（分值）合计1平时作业15105302章节测试532103期末考试30201060课程目标对应分值503317100（二）考核与评价标准1.平时成绩考核与评价标准分值观测点90-100分70-89分60-69分0-59分作业按时完成，90%以上的作业内容齐全，基本知识点理解、掌握到位。能够利用理论知识识别、分析大数据管理与应用相关专业问题。按时完成，70%以上的作业内容齐全，基本知识点理解、掌握较到位。能够较好利用理论知识识别、分析大数据管理与应用领域相关专业问题。延时完成，60%以上的作业内容齐全，基本知识点理解、掌握基本到位。利用理论知识对大数据管理与应用相关专业问题有一定的识别、分析。不交和补交，50%以下的作业内容齐全，基本知识点理解、掌握有偏差。不能利用理论知识对大数据管理与应用相关专业问题进行识别、分析。2.章节测试与评价标准章节测试根据测试题目及评分标注进行打分（