大数据分析项目实践

目录一、实训背景 大数据分析项目实践一、实训背景随着电子信息技术与应用统计学理论的迅速发展，具备大数据分析的能力已经成为了当代统计学专业人才应该具备的技能之一。大数据作为时下最火的IＴ行业的专有名词，随之而来的数据分析、数据挖掘等成为了相关商业人士、学术专家争相追捧的焦点。大规模、高速性、多样性的海量数据对我们人类进行数据分析的能力提出了全新的挑战。万维网成为大量信息的载体，如何有效地提取并利用这些信息成为一个巨大的挑战。搜索引擎(SearchEngine)，例如传统的通用搜索引擎AltaVista，Yahoo!和Google等，作为一个辅助人们检索信息的工具成为用户访问万维网的入口和指南。但是，这些通用性搜索引擎也存在着一定的局限性，如：(1)不同领域、不同背景的用户往往具有不同的检索目的和需求，通用搜索引擎所返回的结果包含大量用户不关心的网页。(2)通用搜索引擎的目标是尽可能大的网络覆盖率，有限的搜索引擎服务器资源与无限的网络数据资源之间的矛盾将进一步加深。(3)万维网数据形式的丰富和网络技术的不断发展，图片、数据库、音频、视频多媒体等不同数据大量出现，通用搜索引擎往往对这些信息含量密集且具有一定结构的数据无能为力，不能很好地发现和获取。(4)通用搜索引擎大多提供基于关键字的检索，难以支持根据语义信息提出的查询。为了解决上述问题，定向抓取相关网页资源的聚焦爬虫应运而生。聚焦爬虫是一个自动下载网页的程序，它根据既定的抓取目标，有选择的访问万维网上的网页与相关的链接，获取所需要的信息。与通用爬虫(generalpurposewebcrawler)不同，聚焦爬虫并不追求大的覆盖，而将目标定为抓取与某一特定主题内容相关的网页，为面向主题的用户查询准备数据资源。二、实训目的实训主要是锻炼学生的编程能力，把学习的理论知识运用于实践当中，并且让学生检验书本上理论的正确性，有利于融会贯通。同时，也能开拓视野，完善学生的知识结构，达到锻炼能力的目的。实训是为了让学生对专业知识形成一个客观、理性的认识，从而不与社会现实相脱节。并且通过对实际开发的模拟训练,让学生把学到的知识点付诸实战,这样可以让学生最大程度的体验实际开发的流程,完成理论到认知的全过程。三、实训形式实训以线上+线下相结合的形式，以循序渐进的方式,实训包括基础巩固,主体深入,扩展学习三大内容.通过对基础知识的深入讲解,汇总实践,巩固学生的基础。案例的讲解,并带领学生编写程序,让学生了解案例需要使用的技术.并且引导学生,激发学生对编程的热爱。实战讲解,带领学生编写实战案例,让学生学习当下开发使用的技术,让其能力达到工作级水平。实战,让学生以小组为单位体验实际开发过程,讲师帮助学生完成开发.主要培养学生的动手动脑能力,从而达到把他们培养成为一名优秀的技术人才。四、实训内容根据不同的阶段,制定不同的内容,层层推进,循序渐进。内容主要分为三个模块：基础模块、主体模块、扩展模块。基础模块:基础知识的面授,通过这个阶段,学生基本掌握编程基础。主体模块:主要知识点的面授,通过这个阶段,学生掌握开发所需知识。扩展模块:扩展知识点的面授,通过这个阶段,开拓学生的视野让学生了解更多的编程知识,引导学生,让其产生编程的兴趣。五、实训过程1、MySQL软件mysql是数据库系统的一种，下面是所有数据库系统中主要的组件。数据库系统由硬件部分和软件部分构成，硬件主要用于存储数据库中的数据，包括计算机、存储设备。软件部分则包括DBMS、支持DBMS运行的操作系统等。数据库系统中主要的3个组成部分：(1)、数据库：用于存储数据的地方。(2)、数据库管理系统：用于管理数据库的软件。(3)、数据库应用程序：为了提高数据系统的处理能力所使用的管理数据库的的软件。数据库(DatabaseSystem)提供了一个存储空间用于存储各种数据，可以将数据库视为一个存储数据的容器。一个数据库可以包含多个文件，一个数据库系统中包含多个数据库。2、SQL语句

对数据库进行查询和修改操作的语言叫SQL。在MySQL中输入相关命令，MySQL软件可以接受命令，并做出相应的操作。SQL是一种专门用来与数据库通信的语言。SQL语句包含以下4个部分：（1）数据定义：DROP、CREATE、ALTER等语句。（2）数据操作：INSERT、DELETE、UPDATE语句。（3）数据查询：SELECT语句。（4）数据控制：GRANT、REVOKE、COMMIT等语句。3、SQL基本语句选择：select*fromtablewhere范围插入：insertintotable(field1,field2)values(value1,value2)删除：deletefromtablewhere范围更新：updatetablesetfield1=value1where范围查找：select*fromtablewherefield1like’%value1%’排序：select*fromtableorderbyfield1,field2[desc]总数：selectcountastotalcountfromtable求和：selectsum(field1)assumvaluefromtable平均：selectavg(field1)asavgvaluefromtable最大：selectmax(field1)asmaxvaluefromtable最小：selectmin(field1)asminvaluefromtable4、学习FineReport(帆软)帆软是中国大数据BI和分析平台专业提供商，专注商业智能和数据分析领域13年，是国内大数据分析和商业智能领域中具有专业水准，且组织规模大、服务范围广、企业客户数量多的厂商。帆软已经成功服务于全国超过6000家企事业单位客户，成功打造了包括上汽集团，复星集团，云天化集团，仁和集团，永辉集团，万达集团，吉利控股，国药控股，宇通客车，洋河酒厂，哈药集团在内的多家世界及中国500强标杆客户。帆软通过类Excel的设计器一键连接数据源，拖拽字段绑定单元格，一张实时报表就可以制作完成。既可以独立部署，也可以与其他系统无缝集成。3种报表设计模式支持制作各类中国式复杂报表，数据填报表、响应式报表等，配合70余种图表样式提供数据可视化效果。老师为我们展示了制作大屏的教学过程，随后我们运用所学知识通过数据导入，版块设计等等进行了实际操作，最终展现出出乎意料的效果。5、学习Python软件1）Python发展历史Python是由GuidovanRossum在八十年代末和九十年代初，在荷兰国家数学和计算机科学研究所设计出来的。Python本身也是由诸多其他语言发展而来的,这包括ABC、Modula-3、C、C++、Algol-68、SmallTalk、Unixshell和其他的脚本语言等等。像Perl语言一样，Python源代码同样遵循GPL(GNUGeneralPublicLicense)协议。现在Python是由一个核心开发团队在维护，GuidovanRossum仍然占据着至关重要的作用，指导其进展。2）Python特点1.易于学习：Python有相对较少的关键字，结构简单，和一个明确定义的语法，学习起来更加简单。2.易于阅读：Python代码定义的更清晰。3.易于维护：Python的成功在于它的源代码是相当容易维护的。4.一个广泛的标准库：Python的最大的优势之一是丰富的库，跨平台的，在UNIX，Windows和Macintosh兼容很好。5.互动模式：互动模式的支持，您可以从终端输入执行代码并获得结果的语言，互动的测试和调试代码片断。6.可移植：基于其开放源代码的特性，Python已经被移植（也就是使其工作）到许多平台。7.可扩展：如果你需要一段运行很快的关键代码，或者是想要编写一些不愿开放的算法，你可以使用C或C++完成那部分程序，然后从你的Python程序中调用。8.数据库：Python提供所有主要的商业数据库的接口。9.GUI编程：Python支持GUI可以创建和移植到许多系统调用。10.可嵌入:

你可以将Python嵌入到C/C++程序，让你的程序的用户获得"脚本化"的能力。3）Python函数关键字参数及用法在定义

Python

函数时可定义形参（形式参数的意思），这些形参的值要等到调用时才能确定下来，由函数的调用者负责为形参传入参数值。简单来说，就是谁调用函数，谁负责传入参数值。

Python函数的参数名不是无意义的，Python允许在调用函数时通过名字来传入参数值。因此，Python函数的参数名应该具有更好的语义，这样程序可以立刻明确传入函数的每个参数的含义。

按照形参位置传入的参数被称为位置参数。如果使用位置参数的方式来传入参数值，则必须严格按照走义函数时指定的顺序来传入参数值；如果根据参数名来传入参数值，则无须遵守定义形参的顺序，这种方式被称为关键字（keyword）参数。例如如下程序：#定义一个函数defgirth(width,height):print("width:",width)print("height:",height)return2*(width+height)#传统调用函数的方式，根据位置传入参数print(girth(3.5,4.8))#根据关键字参数来传入参数print(girth(width=3.5,height=4.8))#使用关键字参数时可交换位置print(girth(height=4.8,width=3.5))#部分使用关键字参数，部分使用位置参数print(girth(3.5,height=4.8))上面程序定义了一个简单的girth()函数，该函数包含width、height两个参数，该函数与前面定义的函数并没有任何区别。感觉写爬虫真的是个经验活，一般的网站说白了就是不停往request里试参数。直接爬不行加headers=试试，看有提交的表单就加个data=试试。这里要区分下的是POST方法对应的是FormData，可以通过request的data参数实现而GET方法对应的是QueryStringParameters，一般采用拼接url的方法base_url+urllib.urlencode(data)至于提交表单的内容是什么，就要靠自己看html的标签或者js的函数得知，一般来说都能在html的源码里搜索到，可能是商品id，可能是页面相对路径的一部分，可能和时间相关，当然那些反爬网站提交的表单都是加密的，要想真正破解就要靠猜和试了。然后对于一些需要模拟登录的网站，不需要验证码的话利用上面说的GET和POST表单应该就能解决，但有的网站还需要提供cookies，这时request就要包含cookies参数。而对于一些需要验证码登录的网站，也可以考虑先登录进去，然后复制下来登陆后的cookies，再利用其模仿登陆后的状态，但这招不一定总能成功。六、实践体会在20天短暂的学习实践中，我们认识了解并学习了Mysql基本数据操作、爬虫理论基础和Python语言理论基础，通过爬虫程序，对网络上的数据进行抓取，并可以存储成excel或者数据库中，进行分析报表制作。通过对基础知识的深入讲解,汇总实践,巩固基础。案例的讲解,并带领我们编写程序,了解案例需要使用的技术.并且引导我们激发对编程的热爱。学习这些软件的使用来让我们实践数据分析的理论知识，使理论知识与上机实践有效的结合起来，增加对大数据分析的全面了解，丰富实践经验，提高自身的综合素质。同时，开拓了我们的视野，完善我们的知识结构。增强我们的动手能力、协作能力、专业技术能力，培养我们吃苦耐劳的精神，锻炼自己承受挫折的心理素质，以利于养成良好职业素养。通过这短暂的两个周的学习，使我认识和了解了一些编程软件的基本操作和使用方法，对我以后的工作和学习打下了基础。在学习编程的时候，不要妄想把所有跟这门编程相关的技术都同时学习。而是把握好这门编程最核心最基础的技术，把最核心最基础的东西掌握的是以不变应万变的基础，之后你会发现你的不足，你需要起来的技术来辅助补充来能使自己的这门编程技术提升，当你把基础学习到一定程度的时候，你就会发现你许要去学习更深入的东西来辅助自己，技术知识体系是这样一步步行程的，而不是一开始你就可以把这个体系看得一清二楚。以亲身感受来说，其实编程并不难学，而且编程的过程是一个非