版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
基于Flask的招聘网站息爬取可视化设计摘要在科技网络迅速崛起,社会逐步进入大数据时代的当下,如何处理海量数据信息成为研究的热门话题。本课题主要探究如何有效使用数据挖掘技术,对已知信息进行抽取和展示,从而提高信息的利用率。2020年,新冠疫情横扫全球,足不出户成为大家的生活常态,线上招聘成为企业与求职者之间的唯一桥梁,那么如何高效求职便成了一大难题。本文主要采用基于Python的Flask框架来实现企业职位招聘信息的可视化。以51job招聘网站中python岗位的职位信息为研究对象,利用Python爬虫技术对职位的相关信息进行抓取,并对信息进行预处理后存储到数据库中,最后使用ECharts可视化图表将数据展示到前端界面,从而帮助求职者有效地理解数据,进而做出更好的职业规划。关键词:爬虫技术;数据存储;数据预处理;可视化展示目录1806第1章绪论 [22]。通过不同步地实现对服务器的响应和用户请求,就等价于在服务器端与客户端之间隔了一个抽象的中间层,而Ajax引擎就是这个中间层。为了减缓服务器的压力,我们不会将非必要的一些请求上交到服务器,而是把这些非必要的数据验证与数据处理的任务交给Ajax引擎。而当必须要从服务器获取到更新之后的数据时,我们才借助Ajax引擎给服务器发送请求。4.3可视化模块设计4.3.1Flask框架搭建在使用PyCharm创建项目时,点击选择Flask,该软件能够直接给用户自动生成所需框架。其中静态文件存储在静态(static)文件夹里面,例如CSS、js、图片以及视频等,为制作网页提供相关的素材。html页面文件存于在模板中,run.py文件是用来处理路由信息以及作对应的配置。首先在run.py文件中导入Flask库,使用语句实例化flask,为默认路由配置相应的get_echart_data()方法,并将请求方式设置为post和get方式。使用render_template跳转到前端界面index.html,并将查询到的json格式的数据传送给Ajax引擎。最后使用app.run(port=5022)在5022端口启动flask。4.3.2Ajax数据传输本设计是利用Ajax引擎来实现后端数据库表中的招聘信息传送到前端html界面显示。Ajax发送url请求给flask,Flask通过调用get_echart_data方法从数据库中查询对应数据。使用json格式完成Ajax数据的传输。使用Ajax异步传输方式能够有效减少数据的传输量,从而加快页面的响应速度。本文对Ajax的设计如图4-2所示。Ajax在发送请求后服务器为其反馈的是json格式的数据信息,将json格式对象里携带的数据获取到,然后使用获取到的数据来构建可视化图表。图4-2Ajax设计代码图4.3.3ECharts图表设计在获取到前端界面展示所需数据之后,通过ECharts插件来进行数据图表的可视化。首先在index.html中引入Echarts.js和Jquery.js插件,并设置每一个图表所需的相应高度和宽度的DOM容器,然后对echarts初始化。对每一个图表定义一个Function,每一个Function中包含一个option对象。通过option对象对该图表的一些属性进行相关的设置,例如title、series、type以及本图表的数据data等相关属性,然后通过myChart.setOption(option)将该option对象设置给图表。在option中设置图表的data属性是通过key-value的方式来加载图表数据的,因此这就需要Flask后台数据库将相对应的数据先以json格式传递给Ajax引擎,然后通过Ajax引擎异步传输数据给每一个图表中的option对象。同时为了实现本招聘信息爬取可视化平台的实时性和有效性,这里对每一个图表的传输的数据仅为当日的有效数据,因为岗位信息每天都会新增,分析之前的无效数据就没有实际意义。因此在每一个图表查询方法定义时,查询并且传输的仅为当日的对应数据。可视化模块的组成部分如图4-3所示。图4-3可视化内容4.4平台可视化界面实现4.4.1整体界面本平台的整体前端界面使用了JavaScript和rem(等比例缩放,使得页面缩放大小一致)来实现。界面简洁美观,求职者可以清晰得看到各个模块的展示。如图4-3所示。图4-4整体界面图4.4.2行业与公司规模情况通过将Python岗位招聘数据进行可视化实现,对行业及职位数量的分析,可以发现Python招聘的顶级应用行业是计算机软件设计、互联网行业、电子技术、数据服务和金融行业。能够了解到,由于近些年来Python语言越来越火爆,越来越多的互联网网站和软件产品程序开发中开始用到Python技术,因此人才市场对Python工程师的需求也开始大幅增加,如图4-5所示。图4-5行业情况图图4-6公司规模情况图通过对招聘企业的规模情况分析,可以发现招聘Python岗位的企业中占比最多的是职工人数为150人以下的中小型民营企业。如图4-6所示。4.4.3地区分布与薪资情况依据采集到的招聘信息,并对数据进行预处理之后,根据工作地区的分布情况绘制了工作地区分布图。如图4-7所示,并将排名前五的地区通过紫色光标的形式在图中标注,招聘数量越多,光标越大。从地图中可以看出,招聘职位的工作地区分布最多的是上海、北京和深圳等地。并且可以直观的看出,东部沿海地区对于Python岗位的需求更大。这是因为随着信息技术的迅猛发展,5G时代即将全面到来,东部沿海区域的地理位置相对比较优越,经济发展也较为先进,更加容易吸引到企业的注资,从而加快了技术的发展,并且技术更新迭代的速度也比较快,再加上Python语言在计算机编程语言中的影响力日益增强,自然Python职位的需求量也比较大,招收的人数也就比内陆省份多。图4-7工作地点分布图工资状况也是影响求职者在就业方面的一个非常重要的因素。本课题对国内范围内的Python职位工程师的薪酬分布进行了采集和可视化展示,如下图4-8所示。图4-8薪资情况图在图中,横轴表示薪资数额,纵轴表示在该薪资范围内企业的数量,从图可以看出,在全部范围内,对于Python职位,企业给定的总体平均薪资水平主要集中在6000/月~15000/月,这说明Python职位具有良好的就业前景。4.4.4学历和工作经验需求情况近些年来我国研究生报考人数持续上涨,各大名校的各类热门专业更是爆满。也从侧面反映出在当下社会中,学历对应届毕业生就业的影响很大。由于应届毕业生欠缺专业简历和工作经验,所以学历是企业招聘人员用来了解求职者的教育背景、专业知识掌握程度和学习态度的重要依据,可以帮助企业进行初步的人才评估。多数招聘单位一般都会在招聘需求中指明他们对应聘者学历的要求。通过对学历需求的分析,可以了解当前企业中对Python相关人才的学历水平定位。通过学历要求的饼图,我们可以知道,大部分的Python职位对学历的要求并不高,而且大多数学历需求都限定在本科和大专学历上,如图4-9示。这也说明了Python是一个相对容易上手的课程,只要技术过硬,就不必担心找工作。图4-9学历要求情况图图4-10工作经验要求图招聘公司对于求职者的工作经验也非常看重,因为有着工作经验的人能更加快速的适应岗位。从图4-10所示的工作经验柱状图中可以看出绝大部分的岗位要求应聘人员有3~5年的工作经验。所以对于Python岗位也不例外,大部分的企业依旧更偏爱有一定的从业经验的人才。因为这样可以为招聘单位节省培养人才的时间,招收的员工可以直接上岗而不需要太多的培训时间,为自己公司节省了物力财力,提升了效益。第五章结论与展望5.1结论本文将当下人才市场对Python岗位需求情况进行爬取,实现数据的可视化构建,并对用于构建该平台所用技术的研究,得到以下结论:本文利用网络爬虫技术,实现了对平台所需数据自动爬取的功能,可以对预先设定的目标网站Python岗位的招聘信息进行实时性的统一爬取工作,并且可以把已经采集到的数据保存到mysql数据库里面,实现平台数据的实时性爬取工作和记忆性存储工作。本平台将数据可视化技术与数据爬取技术友好结合,将浏览器、服务器与数据库紧密结合,实现了对于现阶段招聘网站中Python岗位招聘信息的爬取和可视化功能。Python岗位的求职者就可以通过此平台来实时了解人才市场的相关招聘信息,通过可视化图表了解目前的行业现状,从而制定自身的职业生涯规划,找到称心如意的工作。本课题运用Flask框架搭建了一个可视化系统,运用实例实现了对前程无忧网站Python招聘信息数据进行信息爬取、信息预处理、信息保存以及数据可视化显示功能。该系统运行稳定,各功能实现良好。本系统的优点在于实时性,当求职者需要了解最新的Python岗位信息时,便可以立即进行爬取最新的招聘信息,然后进行展示,可以做到用户什么时候想看什么时候就有,为用户提供了便利。通过这个项目的锻炼,完成了Python岗位信息爬取展示系统的完整功能,使我收获颇丰。对可视化展示的相关技术有了一定的了解,也对于数据挖掘和数据存储方面的知识体系构建的更加完整,提升了学习技术的能力,从而让自己在以后的工作学习中遇到这方面的问题时能够从容不迫的处理。5.2展望虽然本文的设计在总体上完成了基本的任务,但是在设计过程中还存在一些比较局限的问题,这些问题还有待进一步的设计研究来进行改进。增加招聘网站种类。招聘数据获取功能是本平台的基础功能,本平台选择的是爬取前程无忧网站Python岗位的职位信息,因此在获取网站内容时也是依据前程无忧的网站内容进行获取。然而目前招聘网站种类较多,为了使得招聘数据多元化、增加本平台的基础数据,从而使得平台的数据展示结果更加具有说服力,所以在后续的设计中希望可以获取到其他招聘网站中Python岗位的相关信息,并且依据不同网站网页内容和反爬策略设计出可以共用的数据获取功能模块。做薪资预测。对于求职者来说,不仅需要充分了解目前招聘市场的人才需求现状,而且想要知道依据自身当前的学历、工作经验、想要就业的地点等要素,可以获取到什么范围的薪资,所以本系统后续完善可以进行薪资预测,使得求职者输入自己可以达到的水平,从而明确自己可以获取到的大概薪资。增加职位种类。本设计仅针对Python职位进行的可视化展示,希望在后续改进中可以实现更多职位类别的展示,如java职位、艺术类职位等。为本平台添加福利待遇词云图,有助于求职者对招聘企业提供最重要福利待遇情况的直观了解。参考文献章胤,赵文慧,包恒玥,李亚健,周克强.基于k-means和关联度分析的网络招聘信息数据挖掘[J].软件工程,2017,20(05):10-14.张俊峰,魏瑞斌.国内招聘类网站的数据类岗位人才需求特征挖掘[J].情报杂志,2018,37(06):176-182.Shenoy,VarunandAithal,P.S.andPai,Ramesh,OnlineE-CampusRecruitmentProcessofBergerPaintsIndiaLtd.(June30,2018).刘畅.数据类岗位招聘需求信息研究[D].兰州财经大学,2019.俞琰,陈磊,赵乃瑄.基于网络招聘文本挖掘的课程知识模型自动构建研究[J].图书情报工作,2019,63(10):134-142.郑思雨.网络招聘信息的数据挖掘研究[D].杭州电子科技大学,2020.潘承佳,刘冬冬.基于python的招聘信息爬取与分析[J].电脑知识与技术,2020,16(27):102-104.李琳.基于Python的网络爬虫系统的设计与实现[J].信息通信,2017(09):26-27.樊宇豪.基于Scrapy的分布式网络爬虫系统设计与实现[D].电子科技大学,2018.陆承佳.基于Python的网络爬虫在物流信息追踪中的应用[J].信息与电脑(理论版),2020,32(12):133-136.秦成鑫,黄锎靓,康华,黄依婷,海龙菊.基于Python的基因表达数据网络爬虫研究与设计[J].信息与电脑(理论版),2020,32(10):143-145.李远龙.基于Scrapy框架招聘信息检索系统的设计与实现[D].西安电子科技大学,2017.杨众.基于Python语言的招聘信息可视化分析[J].计算机与网络,2020,46(02):61-64.殷丽凤,张浩然.基于Python网上招聘信息的爬取和分析[J].电子设计工程,2019,27(20):22-26.檀冬宇.基于Python的大众点评网数据抓取技术研究[J].计算机产品与流通,2019(05):116.王芳.基于Python的招聘网站信息爬取与数据分析[J].信息技术与网络安全,2019,38(08):42-46+57.王译庆.Flask框架下成品油销售系统设计与实现[D].西安电子科技大学
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 2025年四川省甘孜藏族自治州新龙县三下数学期末达标检测模拟试题含答案
- 2026年基础医学综合知识模拟题库带答案
- 2026年陕西省安全员C2证考试模拟试卷带答案
- 2026年N1叉车司机特种作业证考试题库带答案
- 2026年计算机文化基础考试模拟试卷一(含答案)
- 2026年劳动关系协调员四级劳动关系基础章节题库带答案
- 2026年工商管理专升本综合能力检测模拟试卷(含答案)
- 2025年幼儿园保健医考试题库(附答案)
- 2026年道法数据类型试题及答案
- 2026年国家开放大学电大考试工程建设监理概论考题题库(含答案)
- YY/T 0493-2026牙科学弹性体印模和咬合记录材料
- (2026)发展对象考试测试题库附参考答案
- 2026客服面试题及参考答案
- T/GDNSA 011-2025成人机械通气雾化吸入技术规范
- 人教版四年级(上)英语1-6单元语法专项训练
- 第6课 人民当家作主 第1课时 课件(内嵌视频)2026-2027学年道德与法治五年级上册统编版
- 药品经营和使用质量监督管理办法培训试题及答案
- 港口陆域形成施工方案
- 食材配送中心仓储管理操作手册
- 《新能源汽车电工电子技术》课程标准
- 中医胆囊结石护理要点说课
评论
0/150
提交评论