关于Python网络爬虫的实现

一、实践目的通过学习及课后练习，熟练地运用python以及网络爬虫，并且能够独立地从网络上获取想要的资源，从获取到的想要的资源中分析并提取有用的数据。二、实践内容1.项目的分析爬虫是什么定义：向网站发起请求，获取资源后分析并提取有用数据的程序第一步：导入网络进行下载第二步：导入网络进行下载过程有报错异常，然后倒入一个报错库。第三步：导入RE第四步：爬出来的所有图片，文字存在这里（如下）。python进程池2.项目的设计在记事本中利用代码可以设计制作一个网页，如下图所示：3.项目的实现（代码）利用代码可以完成许多操作，包括但不限于以下几种操作：#4.li=[1,2,3,"你的学号",”你的名字”]，按索引删除，删除索引位置是1的元素，打印输出。然后判断你的名字和学号在不在元素里面.打印输出在不在（true/flase）。li=[1,2,3,"你的学号","文静"]delli[1]print(li)s="文静"inliprint(s)按照以上代码输入可得到结果。#5.将字符串s="woaixiancaijingdaxue"转化为列表，打印输出，然后再将转化完成的列表转化为字符串，打印输出。s="woaixiancaijingdaxue"li=[]li.extend(s)print(li)new_list=''.join(li)print(new_list)如此可得到想要的打印输出的结果。#6.输入3个数，并且使这3个数按照从小到大输出，a=input("请输入第一个数字：")b=input("请输入第二个数字：")c=input("请输入第三个数字：")将三个数输入后，对三个数的输出顺序进行排列，输入想要这三个数输出时遵循的输出排列规则。输入三个数以及三个数的排列规则后，设置输出内容：print(a,b,c)这样就可以使输出的三个数按照从大到小输出，如以下图片所示：4.项目使用说明使用爬虫将想要获取的网页的值爬取下来。第一步：//获取网址

第二步：//把网址变成网页

第三步：//提取网页的值（爬取网页的值/爬虫）

第四步：//把你的爬取下来的值放到桌面按照以上步骤，可以爬取想要获取的值。三、实践总结经过了这两周的夏季短学期实践，我从这两周的夏季短学期实践中明白了Python是一种较为高级的动态，而且它是一种完全的面向对象的语言，所有的函数、模块、数字、字符串都是他面向的对象，对于增强源代码的复用性python有着一定的作用，而且python是一种计算机程序设计语言，python具有代码较为少、操作比较简单、运行的速度比较慢的特点。它的语法特点十分鲜明而且容易辨认，在很多操作系统上都能使用，目前在国际上非常流行，目前正在得到越来越多的应用。通过python，我们可以随着自己的意愿发布这个软件的复制品，以及观看这个软件的源代码，又或者说对它做出你希望的修改，在另一个类似的软件上应用它或者它的其中一部分。在设计的方面看，Python属于一种容易使用的语言。也就是说，它旨在允许程序员在任何领域编写几乎所有类型的应用，而不是专注于一类特定的问题。同时Python非常容易上手，有非常简单的语法。Python通常被亲切地成为“所有事物的第二个最好的语言”，它很好地捕捉到了这样的情绪，尽管在很多情况下Python并不是用于特定问题的最佳语言，但它通常具有足够的灵活性和良好的支持性，使得人们仍然可以相对有效地解决问题。其实，事实是，Python可以十分有作用地使用在很多的不同领域中，学习Python这件事因为这个原因就可以变成一件十分有价值的事。毕竟若是作为一位编程师亦或者是作为一名程序员，如果可以使用一种方式实现想要完成的所有事情，而不用被动的选择多种方式复杂地不断变更，这显然是一件非常令人振奋的事。Python经常被应用于以下几个领域，第一个领域是Web应用开发，例如，全球最大的搜索引擎Google，在其网络搜索系统中就广泛使用Python语言。另外，我们经常访问的集电影、读书、音乐于一体的豆瓣网，也是使用Python实现的。第二个领域是操作系统管理着的十分自动化的运作开发，毕竟如果在平常的情况下，使用Python所编写的系统管理脚本，不管是在可以非常容易地理解这一方面，或者是在性能及代码的可用性的方面都比其他的shell脚本要优秀。第三个领域是使用python进行游戏的开发，很多的游戏在进行开发时都使用过它。不过，以上所说的几个方面都只不过是Python应用领域其中的一小部分，总的来说，Python语言不仅可以应用到网络编程、游戏开发等领域，还可以在图形图像处理、只能机器人、爬取数据、自动化运维等多方面展露头角，为开发者提供简约、优雅的编程体验。网络爬虫，它是一种按照一定的规则自动地抓取万维网信息的程序或者脚本。网络爬虫主要应对的问题有这样三个点：第一点是http请求，第二点是解析html源码，而第三点则是应对反爬机制。使用网络爬虫时要注意的问题有一点是，python的缩进是很重要的，缩进决定语句分组和层次，特别是在循环的时候一定要好好地看清楚。爬虫所抓取的所有的网页都会被保存在系统中，通过一定程度的分析以及挑选进行建立索引，以此方便于在这以后的搜寻或者检查，除此之外，你也可以使用爬虫作为工具爬取图片或者爬取视频以及很多你想要爬取的信息或者数据，只要你能通过浏览器访问的数据都可以通过爬虫获取，通过这个过程所得到的分析结果，我们还可以对以后的抓取过程发出指令，甚至还能得到相应的反馈。一直以来，网络爬虫都被大量使用作为网络的搜索引擎或者说作为其他的相似类别的作用，使用网络爬虫，我们可以收集所有通过网络爬虫可以访问到的页面内容，而且这一过程是不需要我们自己手动操作的，这一功能可以帮助我们获取并且更新这些网站的内容。通过网络爬虫我们可以抓取网络上的数据，而如果要实现网络爬虫，我们可以使用很多种的编程语言，在这些编程语言之中，python只不过是其中的一种。在进行编写代码的时候，Python并不会检测正在进行编写的代码是不是可以正常的被使用或者正常的输出你想要得到的结果，直到你点击开始运行的时候，python才会以你编写的方式进行运行或者输出结果，与此同时做出检查，所以你可能会得到一些不正常的或者你并不想要得到的反馈。需要注意的是，在Python禁止进行没有明确定义的操作，比如数字加字符串。Python内置丰富的数据类型，与Java、C++相比，这些数据类型有效地减少代码的长度。通过这两周的夏季短学期实践学习，我初步了解到了一些基础的编程知识，体会到了互联网带给人们的便利生活，从这次夏季短学期实践学习中感受到了互联网和编程的魅力，使用python爬虫的知识，我们可以独立地从网络上获取一些想要的资源，并且从获取到的想要的资源中分析并提取有用的数据。这给我们的生活带来了很多的便利以及增添了很多的乐趣，从网上我们可以了解到，Python是被称为最好的人工智能语言的一种编程语言，靠Python的程序编写我们可以实现开发人工智能各种各样功能的想法，Python各种第三方机器学习、神经网络模块的诞生大大降低了对机器学习算法、模型的建构、训练和测试的难度。使得普通人通过简单地调用模块的API就能够实现可进行预测的某某神经网络。但是Python的功能不仅仅体现在成就人工智能的发展上，人工智能的发展也不仅仅依赖于python，Python自从在二十世纪九十年代诞生之后，一直到现今，它从不过是一种简单语言一直到被称为通用语言，所能带给我们的，不仅仅是现今因为人工智能炙手可热所以备受关注的功能，作为一门计算机语言，python在其他领域的发展以及应用也是非常令人期待而且前景可观的，而且在这一方面我们也值得去了解并且应用。随着学习计算机的热潮被高高涌起，Python一步一步地成为了当今最是受到使用者们喜欢的一门语言。它操作简单，容易使用，逻辑十分严谨而且资源丰富好获取，因此它现在不仅仅成为了计算机学习与数据科学的语言的第一选择，而且与此同时，在数据爬取等方面成为了首当其冲的选择。而且，我们可以知道Python已经被纳入信息技术的高考，（即python已将被加进了全国计算机等级考试的内容），由此可见python已经受到了战略性的重视。我们都知道，很多编程语言的入门非常的困难，这直接导致大家刚刚学习语法的时候，很快就会丧失了一大半的兴趣，然而，拥有足够的兴趣是让我们继续学习一门新技术的重要条件，俗话说的好，兴趣就是最好的老师。编程很难，因此从绝对意义上来说，除非你曾经拥有过编程经验，否则编程语言很难学习。但是，相对而言，Python的高级属性、语法可读性和语义直白性使得它比其他编程语言更容易学习。在进行编程设计的时候，使用python就好像在做英语的语法设计一样，Python在设计上坚持了清晰划一的风格，这使得Python成为一门易读、易维护，并且被大量用户所欢迎的、用途广泛的语言。而且与其他许多编程语言相比，Python是一种相对而言比较”高级“的编程语言：它不需要（并且在许多的情况下，并不允许）用户担心太多底层细节，而这是其他许多编程语言需要去处理的。这一点就使得Python极其容易上手。而且Python是一套比较平衡的编程语言，各方面都可以，无论是对其他编程语言的调用，和数据源的连接、读取，对系统的操作，还是正则表达和文字处理，Python都有着明显优势。而统计学作为一门专门与数据打交道的学科，与计算机的关系密不可分，所以python爬虫技术在对统计学的实践方面也非常有帮助。通过这个夏季短学期实践学习，我们可以发现，编程语言对我们的专业——统计学有着极大的帮助，大量的统计数据可以用表格处理（即使用office中的excel表格进行处理），数据收集可以用网路文件传递，抽查用随机选取。必要时还可以安装数据采集器，自动完成数据采集和收集整理。通过编程语言的帮助，我们可以更加迅速，更加精确的分析统计数据，这使我们的效率大大地提升了。所以，在统计学的专业里，掌握一门编程语言是非常有必要的，而在这个基础上，我们可以发现，python以他简单易学，容易上手，能力均衡等的特点，成为了我们一个很好的的选择。通过在本专业——统计学几个学期的学习，我们学习了包括数学分析，高等代数，概率论与数理统计以及空间解析几何这些课程在内的许多课程，与此同时我们也接触了一些计算机基础知识，例如我们学习了word文档，excel表格，PPT等基础的办公软件的使用方法，众所周知，统计学属于应用数学,主要职能就是通过利用概率论的知识建立起相应的数学模型,收集希望得到的数据,然后进一步进行量化分析以及总结,就此做出结果推断，此后情况的预测,为与所收集数据的相关决策提供有效直观的依据以及参考，统计学不仅仅是表现在表面的单纯的数字,而是在这之中包含了大量的复杂步骤,应用十分广泛。我们可以知道，统计学是以数学作为基础知识支撑，以计算机编程知识作为辅助技能的一个学科。在计算机使用普及之前，统计学在处理一些数据时使用的方法非常的复杂繁琐，