就业扩展课-MongoDB-40TP01

第一章使用idea开发网络爬虫,课程地位,2/22,本课目标,学完本门课程后，你能够,使用maven管理项目,使用网络爬虫爬取所需要的数据资源,开发微信公众号项目,使用MongoDB开发应用程序,3/22,课程项目展示,4/22,本章任务,任务1：使用新型IDE-intelliJIDEA开发项目任务2：使用网络爬虫爬取网络相关数据,5/22,本章目标,学会使用一款新型的编辑器IDEA了解网络爬虫的相关知识,6/22,IDEA下载和安装,下载地址,IDE多种多样,eclipse和idea是企业目前使用最广的两个IDE,7/22,IDEA项目管理,新建项目字体样式快捷键编译项目buildPathtomcatdebug项目打包,演示示例：使用idea创建，编译运行helloWorld项目,8/22,课堂练习,需求说明：使用idea创建演示案例中的helloWorld应用程序使用idea编译,调试,运行,打包helloWorld程序。,完成时间：7分钟,共性问题集中讲解,9/22,网络爬虫,360抢票二代/猎豹抢票百度/google搜索引擎一点资讯企业内部获取互联网数据,10/22,数据库,DOM解析,网络爬虫原理,11/22,请求URL,2,网络爬虫之网络请求,网络爬虫步骤,12/22,网络爬虫之DOM解析,javascript对DOM的操作,13/22,网络爬虫之DOM解析,jsoup,14/22,Element,Elements,Document,网络爬虫之DOM解析,15/22,Documentdocument=Jsoup.connect(URL).get();,/编写元素选择器类似于jquery选择器Stringselector=aclass=login;/选择元素Elementselements=document.select(selector);,jsoupAPI,网络请求DOM解析,16/22,Elementselements=document.select(selecter);selecter元素类型属性名称=属性值attr=value:包含属性且其值以value开头attr$=value:包含属性且其值以value结尾attr*=value:包含value的元素,元素1类型属性名称=属性值元素2类型属性名称=属性值,#id/Elementelement=document.select(#test);,jsoupAPI,按照属性选择元素根据多级元素选择按照ID选择,17/22,演示示例：使用jsoup基于idea开发挖段子网络爬虫,网络爬虫-开发流程,使用jsoup开发网络爬虫需求：爬取挖段子网的段子url：,18/22,演示示例：使用jsoup基于idea开发网易网络爬虫,网络爬虫-开发流程,使用jsoup开发网络爬虫需求：爬取挖网易的新闻url:,19/22,课堂练习,需求说明：使用idea爬取csdn的IT资讯使用idea爬取趣图网的趣图url:,完成时间：7分钟,共性问题集中讲解,20/22,总