大数据采集与应用课件 项目二-任务四-在计算机上完成使用Anaconda安装Scrapy_第1页
大数据采集与应用课件 项目二-任务四-在计算机上完成使用Anaconda安装Scrapy_第2页
大数据采集与应用课件 项目二-任务四-在计算机上完成使用Anaconda安装Scrapy_第3页
大数据采集与应用课件 项目二-任务四-在计算机上完成使用Anaconda安装Scrapy_第4页
大数据采集与应用课件 项目二-任务四-在计算机上完成使用Anaconda安装Scrapy_第5页
已阅读5页,还剩22页未读, 继续免费阅读

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

《大数据采集与应用》大数据采集与应用项目二配置爬虫环境任务四安装数据库、存储库及爬虫框架回顾知识点1安装lxml库回顾知识点2安装BeautifulSoap库回顾知识点3安装pyquery,MySQL以及pymysql库回顾任务引入数据爬下来了,可是如何存储数据呢?任务描述:本任务介绍数据库和存储库的安装以及相关Pythoon库的安装。这里的数据库或存储主要指NoSQL数据库,例如MongoDB和Redis。本任务介绍爬虫框架的安装。任务教学目标:掌握Mongodb和Redis数据库在Windows和Linux下的安装。掌握pymongo、Redis-py和Redisdump的安装。掌握Scrapy的安装过程。任务概要教学内容安装MongoDB和Pymongo安装Redis,redis-py和rdisdump一二安装Scrapy三安装MongoDB和pymongo库知识点一MongoDB是文档数据库,在Windows下安装mongoDB,需要下载安装文件。下载地址为:/try/download/community?jmp=nav(一)在Windows下安装MongoDB1.安装MongoDB接下来可以创建目录data\db,比如在C盘下创建该目录结构。接着运行如下命令启动MongoDB服务:(一)在Windows下安装MongoDBC:\MongoDB\data\dbC:\mongod–dbpathc:\data\db2.启动MongoDB服务如果要持续使用MongoDB,这个命令行窗口就必须一直打开,不可关闭。接着用管理员身份再打开另一个命令行窗口,输入mongo命令,连接到Mongodb数据库:(一)在Windows下安装MongoDB3.连接MongoDB数据库在Linux下安装MongoDB只需要运行apt-get命令:apt-getinstallmongdb安装完成后输入如下命令,输出mongoDB版本号则表示安装成功:mongo-version(二)在Linux下安装MongoDB1.安装MongoDB数据库Pymongo是Python与mongodb交互的库,如果Python程序需要访问mongodb数据,就必须通过Pymongo库。使用pip命令安装:pipinstallpymongo(三)Pymongo库的安装安装Redis、redis-py和dumpredis知识点二Redis是一个基于键-值对的数据库系统,即键值对非关系型数据库。是一个高性能的key-value数据库。Redis的安装程序可以到GitHub上下载,也可以到官网上下载。(一)Redis的安装1.Redis简介在Windows下双击下载的安装文件即可安装。(一)Redis的安装1.Redis在Windows下的安装Redis在Linux下通过解压后采用源码编译方式安装。命令如下:(一)Redis的安装2.Redis在Linux下的安装~$make~$makeinstall安装完成后输入如下命令启动Redis:~$cd/usr/local/redis~$./src/redis-server出现如下画面则安装成功:(一)Redis的安装2.Redis在Linux下的安装为了使用Redis,保持上面窗口不要关闭,再开一个新的窗口,输入如下命令即可使用Redis:(一)Redis的安装2.Redis在Linux下的安装~$cd/usr/local/redis~$./src/redis-cli为了使Python能够访问Redis数据需要安装redis-py库,同样使用pip命令:pipinstallredis输入如下代码查看redis-py是否安装成功:(二)安装redis-py库和dumpredis1.安装redis-py库>>>importredis>>>redis.VERSION>>>(3,5,3)RedisDump是一个将Redis与Json转换的工具,用于导入导出Redis数据,它是基于Ruby开发,因此安装RedisDump需要首先安装Ruby。(二)安装redis-py库和dumpredis2.安装dumprdis库~$apt-getinstallruby-full#安装Ruby~$Ruby–v#验证Ruby是否安装成功~$Ruby2.3.1p112(2016-04-26)[x86_64-linux-gnu]~$geminstallredis-dum#安装dumprdis安装Scrapy知识点三如果已经安装了Anaconda,就可以运行condainstallscrapy安装。Scrapy不能在Python3.9以上版本安装,Scrapy支持的版本范围为:2.7~2.8,3.5~3.6,3.6~3.7,3.7~3.8,3.8~3.9。安装命令如下:(一)在Anaconda下安装Scrapycondainstallscrapy在Windows下安装Scrapy只需要输入pipinstallscrapy命令即可。在安装过程中会将scrapy依赖的库一起装上。(二)在Windows下安装Scrapy在Linux下安装Scrapy首先需要安装相关库,然后再安装Scrapy。命令如下:(三)在Linux下安装Scrapy~$sudoapt-getinstallpython-devpython-piplibxml2-devlibxslt1-devzlib1g-devlibffi-devlibssl-dev~$pipinstallscrapy本任务学习了数据库和存储库的安装过程。包括如下内容:1.MongDB和pymongo的安装。2.Redis以及redis-py,dumpredis库的安装。3.安装Scrapy任务小结在计算机上完成MongoDB的安装,并验证。在计算机上完成pymongo的安装,并验证。在计算机上完成Redis

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

评论

0/150

提交评论