《数据采集方法》课程教学大纲

《数据采集方法》教学大纲课程名称：数据采集英文名称：DataCollectionMethod课程编号：F094092782学分：2.5总学时/课内实践学时：40学时/课内实验学时0+课内上机学时24+其他实践学时0课程性质：选修课程开课单位：数理科学与工程学院统计系基层教学组织适应对象：应用统计学专业课程简介统计方法是现代工程、信息、社会和经济等问题研究的基本方法。本课程讲授数据采集的基础知识，即利用网络爬虫收集互联网上的海量数据，包括使用第三方库requets、selenium等创建爬虫、使用scrapy框架构建复杂的爬虫。在学完本课程后，使学生掌握Python爬虫的基本思想和技术，为后续的课程(比如探索性数据分析、数据挖掘等)打下良好基础，并培养学生应用计算机解决和处理实际问题的思维方法与基本编程能力。教学过程中充分以学生为中心，课程思政全过程，通过数据采集在统计行业中的发展，丰富教学内容、激发学生学习兴趣，开拓学生视野，提升学生科学人文素养，树立专业信心。Statisticalmethodsarethebasicmethodsofmodernengineering,information,socialandeconomicresearch.Thiscourseteachesthebasicknowledgeofdatacollection,thatis,usingwebcrawlerstocollectmassivedataontheInternet,includingusingthird-partylibrarysuchasrequests,seleniumtocreatecrawlers,andusingtheframeworkScrapytobuildcomplexcrawlers.Bystudyingthiscourse,studentscanmasterthebasicideasandtechnologiesofPythoncrawler,andlayagoodfoundationforsubsequentcourses(suchasbigdataanalysis,datamining,etc.),andcultivatestudents'thinkingmethodsandbasicprogrammingabilitytosolveanddealwithpracticalproblemswithcomputers.Theteachingprocessisstudent-centeredandthewholeprocessofcurriculumideologicalandpolitical.Throughthedevelopmentofdatacollectioninthestatisticalindustry,theteachingcontentisenriched,students'interestinlearningisstimulated,students'visionisexpanded,students'scientificandhumanisticliteracyisimproved,andprofessionalconfidenceisestablished.课程目标思政目标：培养迎难而上，坚韧不拔，笃信躬行，科学精神，树立专业信心。知识目标：掌握python爬虫获取网页数据，能够编程python代码对数据进行预处理和可视化。能力目标：能使学生掌握python爬虫和分析的基本思想和技术，培养学生综合运用数据采集的基本技术和思想解决实际工程问题。Ideologicalandpoliticalgoals1:Cultivatetheabilitytofacedifficulties,betenacious,believeinpractice,scientificspirit,andbuildprofessionalconfidence.Knowledgegoals2:Masterpythoncrawlertoobtainwebpagedata,andbeabletoprogrampythoncodetopreprocessandvisualizedata.Abilitygoals3:Enablestudentstomasterthebasicideasandtechnologiesofpythoncrawlerandanalysis,andcultivatestudentstocomprehensivelyusethebasictechnologiesandideasofdatacollectiontosolvepracticalengineeringproblems.课程目标与毕业要求对应关系本课程的课程目标对应用统计专业毕业要求指标点的支撑情况如表1所示：表1课程目标与毕业要求对应关系毕业要求指标点课程目标毕业要求1：知识要求2.1具有扎实的数学基础，受到比较严格的科学思维训练。22.3掌握统计学的基本思想和收集数据的方法，并能够根据数据的特点选用恰当的数据采集方法进行采集和分析。3毕业要求2：能力要求2.2具有较强的计算机操作技能，熟练应用主要的统计软件、R和python编程，正确利用统计思想和方法分析判断相关的计算结果。2，32.4具有理论联系实际的能力和一定的创新能力，具备自主学习、知识更新和自我发展的能力。3毕业要求3：素质要求3.1思想道德素质。具有良好的政治思想素质、道德品质、法制意识、诚信意识和团队合作精神；具有良好的心理素质和积极的人生观。13.2知识素质。具有扎实的统计专业理论功底，具备与统计工作密切相关的数据分析和数据处理知识。1课程教学安排课程共有4项教学内容，具体安排如下。表2：课程教学安排表序号教学内容思政元素课堂教学学时实验/实践教学学时学时小计1大数据概述科学精神和爱国情怀222爬虫与大数据专业热情和科学精神68143Scrapy爬虫专业热情和科学精神48124数据抽取与采集专业自信4812合计162440教学安排1.大数据概述教学要求：了解大叔的定义、原理以及发展历程；并从国家层面和企业层面理解大数据的战略意义；掌握大数据的安装环境以及数据的分类。教学内容：引言及大数据的的定义、原理和发展历程；大数据的战略意义；在Windows中通过安装虚拟机安装Linux方法以及数据的分类重点难点：大数据的特征、大数据战略意义的理解、在Windows中通过安装虚拟机安装Linux方法，能够识别不同的数据类型。思政元素：讲授大数据发展史，介绍大数据的战略意义，培养学生科学精神，激发学生爱国情怀。2.爬虫与大数据教学要求：掌握爬虫的基本概念、作用和运行机制；掌握Python的安装与开发环境；掌握python3的书写风格，能够书写pyhton3的程序；掌握python3中的各种数据类型以及不同数据类型之间的转换；掌握网页结构和爬虫的实现方法；掌握python3中爬虫模块。会使用Requests库来编写爬虫。重点难点：爬虫的原理，python的安装和开发环境；熟练书写并运行python3程序以及不同数据类型的相互转换；urllib模块的应用和Requests的应用；网页结构的理解，爬虫代码的实现。思政元素：通过对爬虫原理和python的学习，引导学生深刻理解与认识所学数据采集对大数据智能信息处理等各方面的重要意义，使学生在学习过程中逐渐培养专业热情和科学精神；3.Scrapy爬虫教学要求：了解Scrapy爬虫，掌握Scrapy爬虫的安装和架构以及Scrapy爬虫的工作过程与代码的书写；掌握Request对象、Select对象以及Spider开发流程；重点难点：Scrapy爬虫的安装和架构；Scrapy爬虫的对象的应用；Spider的开发流程。思政元素：向学生介绍中国在大数据的发展布局，分析数据采集课程在各学科的应用，使学生在学习过程中逐渐培养专业热情和科学精神。4.数据抽取与采集教学要求：数据存储的基本概念，数据类型及字符编码;能够安装Kettle并掌握其在数据抽取中的用法。重点难点：Kettle安装和数据抽取方法。思政元素：讲述大数据匠人蒋步星的故事，增加学生的专业自信。课内实践教学内容及要求表3：课内实践教学内容及要求序号教学类型教学内容教学要求1上机使用python编写爬虫了解爬虫概念下，理解爬虫原理，掌握用python3编写爬虫代码。2上机Kettle及数据格式转换了解Kettle配置环境，理解并掌握kettle抽取数据的方法。课程考核与评价表4：成绩评定方式表考核环节分值考核/评价细则主题分享、课堂讨论30根据每次讨论和分享的参与度计算成绩考勤和作业20根据考勤和作业（上机操作）得分综合计算成绩课程论文和ppt答辩50根据课程论文和ppt答辩得分综合计算成绩合计100按各环节成绩的百分比计算综合成绩课程学习资源教材：大数据分析Python爬虫、数据清洗和数据可视化（第1版）.黄源、蒋文豪、徐收荣.北京：清华大