基于SpringBoot的CNKI数据精炼与展示计算机专业

目录摘要 [26]，这样可能就会导致系统在运行中出现问题，破坏系统的口碑，甚至造成更大的损失。故此软件测试十分有必要。

结论每个人一生中都处于不断学习的状态，无论是刻意的学习还是被动的吸收，都是广义上的学习。而学习最重要的就是懂得借鉴，学会如何利用参考文献从别人的经验中转化为自己的知识，但参考文献又是多知为杂，如何从浩如烟海的参考文献中快速获取所需要的知识引起了众人的思考，由此产生了本项目的设计，知网包含庞大的文献信息，通过对这些数据的计算，进行数据计量分析，探索这些论文间各种数据之间的关系，总结文献数据的内在规律，帮助用户进行判断和决策，以便采取适当策略与行动，以期为用户获得科研选题灵感，为科研课题提供研究思路。本文的系统在设计与实现的过程中充分考虑了系统二次开发的可能，以及随时可变的需求等要求，所采用的SpringBoot技术保证了系统具有效率高、耦合性低的特点。项目还存在爬取数据不稳定、计算数据时间较长、文献关键词较少等问题，下一阶段还需要针对这几个问题作出修改。本系统利用爬虫技术爬取CNKI网站的文献数据信息，利用Java语言进行数据的综合分析，ECharts数据可视化技术动态交互式显示分析结果，服务器采用阿里云平台部署，项目的开发成本仅为阿里云服务器的购买，项目主旨在于为需要查询文献的人提供相关参考，不考虑收益问题，并且本项目开发人员基数小，人力费用小，因此项目非常有意义和可行性。

致谢经过四个月左右的时间，基于SpringBoot的CNKI数据精炼与展示系统得以实现，独立完成一个这样的系统遇到了许多困难，大部分问题是由于基础信息没有掌握，这让我意识到了掌握基础知识的重要性，以及需要将学到的知识应用好的重要性。这四年的大学生活即将结束，我马上将要开始人生的另一个征程。在完成这次毕业设计的过程中，首先感谢我的指导老师高丽老师、聂菲老师对我的耐心教导，通过老师的指导，我论文的总体结构、功能结构和系统设计以及数据库设计都得到了完善的修改。感谢董超老师在实习期间传授我很多新的知识和经验。四年时间里，我跟老师学会的不仅仅限于课堂上的知识，更多的是教会我如何为人，还有一些实用的职场技能，让我在求职的道路上少走了不少弯路。最后还要感谢其他在这四年里教授过我知识的所有老师，感谢您们可以让我的学识更加渊博，同时也感谢在这四年里帮助过我的同学们，还要感谢我的企业内的指导教师，可以包容和纠正我的各种小错误，让我成为更好的自己。

参考文献SaketBahador,EndertAlex,RhyneTheresa-Marie.DemonstrationalInteractionforDataVisualization.[J].Pubmed,2019,39(3).胡艳.数据可视化在新闻报道中的应用前景探析[J].西南民族大学学报(自然科学版),2014,40(05):745-749.李舒颖.移动应用缺陷报告的文本聚类技术研究[D].南京大学,2017.高亚山.基于Web的大数据可视化系统[J].信息与电脑(理论版),2019(15):149-150.HatmaSuryotrisongko;DedyPujiJayanto;ArisTjahyanto.DesignandDevelopmentofBackendApplicationforPublicComplaintSystemsUsingMicroserviceSpringBoot[D].ProcediaComputerScience,2016.焦鹏珲.基于SpringBoot和Vue框架的电子招投标系统的设计与实现[D].南京大学,2018.江接宝,余卫红.基于开源的数据汇聚与可视化技术研究[J].电脑知识与技术,2019,15(10):235-236.闫昶.基于协同过滤的景点推荐WebGIS平台设计与实现[D].西安科技大学,2017.杨娇,陈强,王加宾,梁鉴如,周玲.基于Echarts的地铁屏蔽门数据监控系统的实现[J].智能计算机与应用,2018,8(04):144-148.王梧权.具有风格特征的信息可视化设计和算法[D].天津大学,2017.郑雪.基于HDFS的大数据快速可视化系统的设计与实现[D].哈尔滨工业大学,2018.张立.内蒙古气象局综合信息系统的设计与实现[D].内蒙古大学,2015.高佳忆,魏乃晓,徐文辉,贾燕.基于Web前端开发的公司网站设计研究[J].无线互联科技,2018,15(11):65-67.孙仕云.WEB系统前端开发技术分析[J].通讯世界,2017(12):267-268.石贵民.基于Visio的站内搜索系统的UML建模过程[J].信息技术,2007(01):106-108+111.张璇,王旭,李彤,白川,康燕妮.软件非功能需求权衡代价[J].软件学报,2017,28(05):1247-1270.SirishaAdamala,N.S.Raghuwanshi,AshokMishra.DevelopmentofSurfaceIrrigationSystemsDesignandEvaluationSoftware(SIDES)[J].ComputersandElectronicsinAgriculture,2014,100.ZakariaMaamar,WathiqMansoor.DesignandDevelopmentofaSoftwareAgent-BasedandMobileService-OrientedEnvironment[J].E-Service,2003,2(3).张良.电网公司基建管理系统设计与实现[D].电子科技大学,2014.吴毅良,罗序良,陆庭辉,郭凤婵.基于Java和Selenium的自动化操作工具的设计与实现[J].机电信息,2019(06):56-57.许丽光,翁花群,曾福山.基于Delphi的定时重启特定服务的程序设计与实现[J].电脑知识与技术,2019,15(12):284-286.王莹钰.无线射频识别技术在高职院校图书管理系统应用浅析[J].科技风,2018(10):5.刘敏.基于SpringBoot框架社交网络平台的设计与实现[D].湖南大学,2018.陈少龙.面向视障学生的无障碍教学互动APP设计与开发[D].华中师范大学,2018.李香菊,孙丽,谢修娟,操凤萍,朱林.软件工程课程设计教程[M].北京：北京邮电大学出版社，2016.01.孙辉.针对某软件的系统测试的设计与实施[D].北京邮电大学,2015.

附录：源程序清单@RestControllerpublicclassPaChongController{ @Autowired LiteratureServiceliteratureService; @Autowired RecordServicerecordService; @Autowired KeywordServicekeywordService; @Autowired JournalServicejournalService; @Autowired AbnormallServiceabnormallService; @Autowired RunningServicerunningService; @RequestMapping("/pachong") publicvoidpachong()throwsException{ RecordBeanpageBean=recordService.selectByRecordName("页面索引数"); RecordBeanliterBean=recordService.selectByRecordName("文献总数"); RecordBeankeywordBean=recordService.selectByRecordName("关键词序号"); List<KeywordBean>keywordBeans=keywordService.select(); //关键词总数 intkeywordNum=keywordBeans.size(); //页面索引数 intpageDigit=pageBean.getRecordint(); //文献总数 intliterNum=literBean.getRecordint(); //关键词序号 intkeywordDigit=keywordBean.getRecordint(); //调整高度 Thread.sleep(1000); journalService.insert("本次启动爬虫的关键词总数："+keywordNum+",文献总数：" +literNum+",关键词序号："+keywordDigit+",页面索引数："+pageDigit+"。",3); //第一层循环是关键词循环，对每个关键词进行爬取工作 try{ for(inti=keywordDigit-1;i<keywordNum;i++){ Stringkeyword=keywordBeans.get(i).getKeyword(); Stringurl="/search?keyword="+keyword+"&db=CFLS&p="+pageDigit+""; journalService.insert("当前循环爬虫的关键词："+keyword+",页面索引："+pageDigit+"，即爬虫链接："+url+"。",4); ((ChromeDriver)driver).get(url); Thread.sleep(1000); //第二层循环是页面循环 while(true){ journalService.insert("正在进行页面循环，当前关键词为："+keyword+",页面索引为"+pageDigit+"。",2); //首现判断该页面是否有效，以找到第一个文献标题为准 inttemp=1; if(pageDigit>300){ WebElementnextBtn=((ChromeDriver)driver).findElementByXPath("/html/body/div[2]/div[25]/div/a[last()]"); if(!nextBtn.getText().equals("下一页")){ journalService.insert("该关键词无下一页，下一页的内容为："+nextBtn.getText()+"。",2); keywordDigit++; keywordBean.setRecordint(keywordDigit); recordService.updata(keywordBean); pageDigit=1; pageBean.setRecordint(pageDigit); recordService.updata(pageBean); journalService.insert("完成关键词"+keyword+"的爬取工作，该关键词以无下一页，将关键词序号修改为："+ keywordDigit+"，页面索引重置为："+pageDigit+"。",3); } } while(!doesWebElementExist(driver,By.xpath("/html/body/div[2]/div[3]/div/h3/a"))){ //先刷新页面试一试 if(temp==1){ Thread.sleep(5000); driver.navigate().refresh(); journalService.insert("页面出现问题，正在进行页面刷新工作，当前关键词为："+keyword+",页面索引为"+pageDigit+"。",3); Thread.sleep(5000); temp++; } if(temp==2){ WebElementnextBtn=((ChromeDriver)driver).findElementByXPath("/html/body/div[2]/div[25]/div/a[last()]"); if(!nextBtn.getText().equals("下一页")){ journalService.insert("该关键词无下一页，下一页的内容为："+nextBtn.getText()+"。",2); keywordDigit++; keywordBean.setRecordint(keywordDigit); recordService.updata(keywordBean); pageDigit=1; pageBean.setRecordint(pageDigit); recordService.updata(pageBean); journalService.insert("完成关键词"+keyword+"的爬取工作，该关键词以无下一页，将关键词序号修改为："+ keywordDigit+"，页面索引重置为："+pageDigit+"。",3); } else journalService.insert("爬虫出现问题，请尽快处理。",4); break; } } //第三层循环对每页的每个文献信息进行爬取 for(intj=3;j<23;j++){ //判断是否有这个文献资料 if(!doesWebElementExist(driver,By.xpath("/html/body/div[2]/div["+j+"]/div/h3/a"))) break; LiteratureBeanliteratureBean=newLiteratureBean(); literatureBean.setLiteraturetitle( driver.findElement(By.xpath("/html/body/div[2]/div["+j+"]/div/h3/a")).getText()); Stringauthor=driver.findElement(By.xpath("/html/body/div[2]/div["+j+"]/div/div[1]/span[1]")).getText(); if(author.length()>100){ author=author.substring(0,98); journalService.insert("作者长度较长，进行裁剪,裁剪后的内容为："+author+",标题为"+literatureBean.getLiteraturetitle()+"。",1); } literatureBean.setLiteratureauthor(author); literatureBean.setPublicationunit( driver.findElement(By.xpath("/html/body/div[2]/div["+j+"]/div/div[1]/span[3]")).getText()); try{ date=simpleDateFormat.parse(publicationdate.substring(5)); }catch(Exceptione){ journalService.insert("时间格式有问题，选择默认时间："+date+",标题为"+literatureBean.getLiteraturetitle()+"。",1); } literatureBean.setPublicationdate(date); literatureBean.setSource( driver.findElement(By.xpath("/html/body/div[2]/div["+j+"]/div/div[1]/span[5]")).getText()); if(literatureService.selectIsTitleAndAythor(literatureBean.getLiteraturetitle(),literatureBean.getLiteratureauthor())){ literatureBean.setQuotenum(1); literatureService.insert(literatureBean); literNum++; } else{ System.out.println("此数据已存在数据库"); } } //第三层循环对每页的每个文献信息进行爬取工作结束 literBean.setRecordint(literNum); recordService.updata(literBean); pageDigit++; pageBean.setRecordint(pageDigit); recordService.updata(pageBean); journalService.insert("完成进行页面循环，当前关键词为："+keyword+",页面索引已修改："+pageDigit+"，文献总数已修改："+literNum+"。",2); RunningBeanrunningBean=runningService.selectByNname("爬虫运行状态"); runningBean.setState(1); runningService.updata(runningBean); try{ WebElementnextBtn=((ChromeDriver)driver).findElementByXPath("/html/body/div[2]/div[25]/div/a[last()]"); Thread.sleep(5000); Syst