基于Python的招聘信息爬虫系统设计

1、202x 年软 件202x./bl 4l,no. 10第 41 卷 第 10 期computer engineering & software国际 it 传媒品牌设计叩充与应用基于python的招聘信息爬虫系统设计孙亚红(西安制详学院摘 s：本文详翘伊迷了运用pyihons取51job上相关相聆信息的过程，并升所抓取的信息逸行处现和分析. 按西不同拖区，不同蓄资把招琦信息以阳表的形式进行展示，以期帮的高校毕业生在择业时能够快速茨以特定的笥 求信息，并通过快速敷据分析得到白身择业的准琬定位，从而做出史好的逸择。关键词：爬虫；python;招聘中图分类号：tp3文献标识码：a doi: 1

2、03969.j.issn.1003-6970.202x.10.055本文著录格式：孙亚红.基于python的招聘信息爬虫农统设计(jj.软件,202x、41 (10): 213-214+235the design of recruitment information crawlersystem based on pythonsun ya-hongxi'an farryi universify)(abstract : this paper describes the process of using pylhon to crawl the relevant recruitment inf

3、ormation on 51)ob. and processes and analyzes the captured information. according to different regions and different education rvquirefnenls. the rvcruilment information is disphyed in the fbrni of chart、in order (o help college gnmlutes quickly obuin specific demand information when choosing 3 job,

4、 and obtain the accuracy of their own cinploynwnt thiough rapid data analysis.(key words : crawler： python; recruitment information0引言伴随着网络信息的爆炸式增长.大数据时代悄然 而至如何在海仙的数据当中获取诃以有效利用的关 牌数据信息.成为各界研究的热点气网络爬虫是一 种按照设计者所设定的规格，模拟成为浏览器.自动 骡动抓取网页信息的程序或脚本"利用|的络爬虫.设 计者可结合a l1的日标需求从海m的互联网信息中抓 取目标倩息数据并存储,为进一步的数据

5、分析,用户 画像做好准备.i系统设计流程设il招聘信息爬虫系统的流程如下：步骤1：分析url>步骤2：访何待抓取页而 该模块访问被抓取页 面的相关职位信息.利用requests库下载待抓取页面 的html代码。步骤3：卜载.解析.抽取信息°在该模块.使 julxml等python噂解析页面.并根据预先制定的规那么， 抽取信息。步骤4：存储。在该模块中.针对不同类型的数 据创立mysql表格.把爬取的数据存储在mysql数据 库的表格中。步骤5：分析数据并可视化2系统实现各关键技术2.1抓取模块翻开51 job.在职位搜索栏中轴人.,数据分析师二 页而上显示所右关于.,大数据分析

6、而”的岗位信息共 169页,多翻儿页，分析出该类页面的地址现律，发现 不同的页面其url根本上都为mht(ps:/-rsearch.5ljob. convlisu000000,000000,0()00,00,9,99,%25e6%2595%25 b0%25e6%25xd%25ae%25e5%2588%2586%25e6%2 59e%2590%25e5%25b8%2588.2.七hlm'只有 处的数字发生了变化，因此.编写网页获取代码如下:def get.html(dataj):url-” s:segh51job.8m/lisi/000000.000000. 0000.00,9.99,w

7、+daia+m.2,%s.htmlm%iheader = fuscr-agcnt':,mozilla/5.0, #头部信息 r-rcqucsts.gcl(url.hcadcrsheader) r coding-r.apparcnt encoding rcunn(r.tcxt) #谪数返向html页面的内容2.2定义xpath表达式，荻取目标数据xpalh将xml文档君成个节点树模型，它能够 通过一个通用的句法和语义对xml文档中的节点进 行检宗和定位.是在xml文档中遂行j址的表达式语 ho本论文中针对下载的网页文档.通过编写相应的 xpath表达式进行目标数抿的抽取 核心的代码如下：

8、def get data(htmlnumc):htinl=etrcc.html(html)本舍攻目：的仑丈得到而安翻译学院：散据绐构课h教学团队(t1那顼h的资助作者简介：孙亚tt(!977-).女，硕士研究生.w9.研究方向:复杂网介计算机教任divs=html.xpath('7/div(id=,rcsuhlist,pcliv class=-crw)print(divs)for div in divs:job 1 =div.xpath(,'./pyspan/a/titlcm) print(jobl(oj) joburll=div.xpath(*jpi'span/a/h

9、rcf*) printjoburl i)jobcompanyl =div.xpath("./span(class=print(jobcompany 1) jobarcal=div.xpath(w./spanclass-t3r/ tcxt()m)print(jobarcal)jobsalar), i =div.xpath(',./spanclass=,t4,j/ text()")prinujobsalar)*!)iry:jobsalary.append(job$alary i 0) jobarea.append(jobarea 1 0j) shuju.append(j

10、ob )0.joburll0.jobcompany i 0.jobarea i 0 jobsalary 1(0)except:pnnt(-异常”)2.3存储设计针对不同的1作岗位，获得大m的招聘数据.因 此，角妥将数据进行存储python中,常用数据存慵 方式有两神，一伸是数据昨，可以足mysql故据咋， rcdis数据库；另外一种是文件存外.如csv文件, excel文档等。本文中采用mysql数据库进行数据存 储，核心代码如下：def mysqldala(namc.shuju): clicnl-pymysql.connccl(uscr-"r0otm,host-*loc4i- lh

11、ost*,passwdw"l 23456".db-mdatashiyanh charse(w*utfbm) cursor-client.cursor()sql=*'inscrt into tabic %s'*%name+"valucs(%s,cursor.cxecutc(sqlshuju) clicnt mit() cursor.closc() clicnt.closc()利用mysql的可视化i：具navicat对爬取的局部 数据进行显示如图1所示。2.4数据顶处理通过xpath表达式从网页中获取的数据均为文本 数据.不适合宜接避行数据分析，因此

12、，在数据分析 之前.先姿对数据避行预处固如工资数据的数字化 处理.城市数据的分割等。3数据分析与可视化处理3.1岗位绢化“大数据分析师”在不同的行业中又细化出假设干 工作岗位.如电商大数据分析师.房地产大数据分析 师.交通大数据分析师等。相关的岗位需求人数统计 图如图2所示,»2 “大敢援分析”相关岗位fig.2 °bic djis /naly$ism related positions从图中可以frill.与“大数据分析”相关的岗位 主要是“大数据分析师”需求数fit到达100多,其他 的相关岗位舜较少.故址均在20人以卜。3.2地区分布地区是人们选择作时要考虑的重要因素

13、。从图 3诃以看出北京.广州，上海的大数据分析帅需求量达 到49%.儿乎占到总需求人数的一半。图3大敷据分析特岗位施区分布fig.3 regioml distribution of big data analyst poshloits3.3薪资分布新资是人们在找t.作肘的乂一个成要因素,，从图 4中可以看出，我汉大数据分析师以年薪25.54万位居 榜首.接下来是北京23.29万，杭州22.5万。lllllllllllllllllllllll图4大数据分析地区年薪fig.4 big dutu analyxis regional annual «alar>'(下转第235页

14、)牧件杂志欢送推存投裕：cowrttvip.i65 2144展望本文在二级倒立摆的模朝控制研究方面取得了一 定的成果，但由于个人水平和时间所限，仍然有很多 工作需要后续深入研究。(1) 木文主要研究了二级倒立挨系统.目前巳经 有学者在对四级倒立摆进行研究.后续的t.作"i以用 绕三级甚至更多级数的倒立摆系统进行研究；(2) 筷常控制具有自适应的特点,这是其优势, 但是单纯的模制控制有响应速度慢等问题.囚此可以 与电模糊控制同pid控制等传统控制策略相结合的方 式.以提高倒立摆系统控制的动态特性；(3) 目前控制理论开展迅速.更多的智能控制理 论出现在控制器设汁中.例如最优控制、神经网

15、络控 制等，后续”以尝试采用更智能的控制策珞；(4 )本文的理论睑证是在matlab/simulink 仿我环境下进行的，后级可以考地在实际的二级倒立 摆试於台中对控制策略进行实物处证。参考文献(1) 肝戮虎.辎牛才.二级倒立拢的伸控帝方法的豺比研充j|. 住木斯大学学报(自然科学版).20xx. 35(2): 263-266.2茨浒，布面感.自线二级洗的双团拜中级模般控制研究j】. 兰州父通大学学jk. 20xx(1)： 99-102.p1 55®.邹丽枸、钱学毂.耳于模烈仿立技术的pid客故整定优化s.制业fl动化,20xx. 37(15): 22-24.(4) knowlton

16、 e. barber. john f. adams. leonard d. sosinski. control of incontinent urine by using external drainagcj|. a jn, american journal of nursing* 1949,49(8)： 15-19.(5 yin. jialin. research on the optimization pid paramelers based on genetic algorithm(j). en. 1974. 7(11): 21-22.(6|李lima. aisiskw法优化isil候制

17、控制系统的 研究j . ii 动化仅表20xx. 37( 12): 5-9.7田力!«华于快蜘神经阳塔的三级倒立挨稔定控制研究 (d).燕山大学20xx.7(3)： 10-11.w 焦炎快.模俺控割在倒立挨系统中的鹿川研52(d).西安 工业大学.20xx. 2(2): 5-11.9 赵明明.u i pid的二蛾倒立援控制器的设计d】.曲阜师 葩大学,20xx. 3(2): 10-14.10 湖.市海除直技二皱拢的双削环卅级快制控制研究用. 兰州交谄大学学itt. 20xx(1): 99-102.11 torsten bertram. ferdinand svaricek. zur

18、fuzzy-regeiung cines aufrcchtsuhcndcn pcndcis'on fuzzy-control of an inverted pcrkiulumj|. al*autommisicmngslcchnik. 20i4. 40(8): 78-88.12 张新荣.马杰.张才斗.等.基于matlab俐立isw视化 建模伪底与校制j】. hntflt.程与12计.20xx. 39(10): 3214-3219.13 齐心部.智境控新食法设计及苗立.摆实现(d).内较吉大 学,20xx.(叫马杰.4£tmatlab.simuhnk的环形倒立按建模与控制方法 实舲研究(d.於安大学.20xx.<±835 214 页4结束语本文基于python实现了 51 job上相关职位的爬虫 编写文中共提取有效信恩35540,通过爬虫程序， 可以方便的获取目标散据一通过去重.标准化等数据处 理后.以可现化图表形式直观的对不同地队的薪资.岗 位进行展示.为求职者在找匚作的过程中提供了便利。参考文献(1|技关ft>,崔艳0b胡建伟.基于虫的留能话行算法研究.计算机成川勺软件.20xx,35(11):215-219.【2却冬冬，hkk.推志明.deep web爬虫研究与