【基于爬虫技术的STEAM市场数据分析系统的设计10000字（论文）】

I基于爬虫技术的STEAM市场数据分析系统的设计 1.1设计背景及意义 21.3主要研究内容和研究目标 1.4论文组织结构 4第2章相关技术 5 52.2正则表达式 52.3Maven管理项目框架 62.4Idea开发软件 72.5移动Web技术 7第3章网络爬虫技术 83.1网络爬虫种类 83.2网络爬虫搜索方式 93.2.1深度优先遍历 93.2.2广度优先遍历 93.2.3聚焦式搜索 3.3网络爬虫框架体系 第4章系统设计及可行性 4.1系统架构设计 4.2功能模块设计 4.2.1前端功能模块设计 134.2.2后端爬取模块设计 134.2.3数据处理模块设计 4.3系统需求分析 4.4系统可行性分析 154.5系统实现 4.5.1前端页面实现 4.5.2数据获取实现 164.5.3数据处理实现 第5章系统测试 5.1环境配置 5.2功能测试 5.2.1前端模块功能测试 195.2.2数据获取功能测试 195.2.3数据处理功能测试 20 6.1总结 参考文献 21STEAM作为一个近几年来玩家数量剧增的游戏平台，它的热度提高也带来了饰品交易量的巨大增长，饰品从一个游戏的装饰道具逐渐变成了商品性质的道具，玩家之间饰品交易越来越多。既然饰品有了商品性质，那么必然会有市场交易的形成，玩家之间的饰品交换难免会出现欺诈问题，然而STEAM平台自身的市场交易所带在STEAM市场地消费，再加上市场本身高额的手续费，每一单交易会收取5%的手续费，这对于很多玩家来说很不方便。第三方平台交易相比STEAM市场交易少了手续费，也能够将交易所获资金提现。但是不同平台之间有着价格差异，分价格数据，只要能获得相应数据那就对具体项目目的分析有很大帮基于爬虫程序的STEAM市场数据分析及应用，项目包括爬虫数据获取端和前端数据展示页面。爬虫数据获取部分实现对于饰品价格数据的获取功能，前端页面展示相应饰品价格数据。爬虫程序采用JAVA语言编程，前端页面展示实现利用HTML、css等技术。第1章绪论STEAM作为PC游戏界最大的数码发游戏软件，还能在玩家社区对于游戏内容进行讨论和分享。同时STEAM平台也有自己的一套市场交易体系，方便玩家之间交易各种游戏以及游戏衍生品。STEAM平台最为人所熟知的游戏就是半条命了，作为1998年推出的第一个科幻类型的第一人称射击游戏，开创家人数达到了2300万。各种游戏以及衍生品的交易次数也呈现几何式增长，但是由于STEAM平台的交易限制，玩家在交易中获得的虚拟货币只能用于在平台中购买游戏或者游戏饰品，并不能进行提现，并且每一笔在STEAM市场的交易都会收取13%的手续费。这就导致了众多的第三方平台的出现，在众多第三方平台里网易BUF大的第三方平台，每天的成交量，成交金额巨大。游戏饰品根据它价值，近几年来由于玩家数的突增，以及游戏的热度提升，导致游三方平台的出现，玩家能够在饰品的交易从中获利，同平台之间同样的游戏饰品价格差异很大，同时饰品的价格还在不断波动的变化中。STEAM市场交易的发展前景非常可观，玩家数量一直在增长，交易额每日都有提升。因2此如果能够利用爬虫程序去分析STEAM市场与第三方平台之间的价格数用相应的数据信息分析来获取相对优惠的价格。所以整个项目重要的部分就是爬虫程序实1)一个高性能的爬虫程序需要有能够进行海量数据抓取的能力，并且可以通过增加2)需要提高下载质量，在规定时间内，抓取互联网上比较有价值的网页，不丢失重3)在设计爬虫时，要能在有限的带宽以及时间内，要确保信息的更新效率；4)现在越来越多的动态网页数量，进行爬取实现的话，服务器端会产生很多垃圾页面。需要设计一个成本较低、高效的方法用来应对6)安全性是网络爬虫一直需要考虑的问题，它在会占用网络带宽，增加WEB服务器社交攻击等等。更严重的可能泄露用户的密码，账号等机密信息，义。当然网络爬虫存在的问题也不能否认它在信息筛选在考虑了爬虫技术在数据处理的很多方面的优异性，打算利用此技术在游戏热度不断提高的今日，同时在线玩家数不断提高，如图1.1所示。玩家对于第三方平台的饰品价格数据的分析的需求不断提高。网易BUFF作为现在国内最大的第三方饰品交易平台，每天的成交量与日俱增，玩家也为了能够做到将饰品玩家选择第三方交易平台进行交易，网易作为现在最大的第三方平台，对于交易的保护，玩家的数据保护都做的很到位。因为考虑各种货币之间的汇率，第三STEAM平台的价格的75%,但是还是会有部分饰品价格不太相同，也有很多人对不同的平台之间的价格数据分析，利用不同平台之间的差价3所以在相关市场不断发展的同时，不断涌现出了基于是对原STEAM平台的数据进行获取、整合、处理之后作为平台的运营数据基础，所以第三方平台也需要实现对STEAM数据的获取。既然整个过程中最为重要的就是对数据取，理所应当的怎样设计利用爬虫程序是整个项目的聚焦网络爬虫：聚焦爬虫更加注重网页抓取的精确性，其利过滤掉与所需主题无关的网页链接，从而最大程度上保留所需要直重复上述过程，直到可以达到设定的终止条件。因此，续的系统设计。聚焦网络爬虫中的搜索策略包括3种，广度优先搜索、深度优先搜索和最在早期搜索引擎时代，查准率低、查全率低、内容不符等问题，1.3主要研究内容和研究目标STEAM平台有着一套自己的交易体系，以及市场体系，但由于玩家在市场交易所获得的货币无法提现，且有高额的手续费，因此很多玩家只能将货币用于购买STEAM游戏4或者与游戏相关的饰品。正是这种原因导致很多的第三方平台出现，但是由于第三方平台爬取不同第三方平台的价格数据进行比较分析。为了解决对不同平问题，本项目基于JAVA语言爬虫程序技术，对STEAM游戏饰品在不同的第三方平台的价格数据进行分析及应用，设计一套基于爬虫技术的STEAM市场数据分析系统，实第二对于获取到的饰品价格相应数据还要进行1.4论文组织结构第一章主要介绍论文项目开发背景及意义、项目研究现状、项目实验所需要解决的问第三章具体阐述网络爬虫技术的数据获取方法相应细节及原第五章主要是进行系统测试.5第2章相关技术 正则表达式目的：正则表达式的目的主要是对给正则表达式在本项目中主要负责对于数据的处理语言中，前端JavaScript和后端的Java都提供相应的接□用来支持正则表达式。第一：元字符，元字符是构造正则表达式的一种基本元素，如图2.1下面一些常用的6说明匹配除换行符以外的任意字符匹配字母或数字或下划线或汉字匹配任意的空白符匹配数字匹配单词的开始或结束A匹配字符串的开始$匹配字符串的结束图2.1:元字符第二：重复限定符，对于一些无规律的重复的元字符，正则符把重复部分筛选出。如图2.2所示。说明*+?第四：转义，如果需要进行匹配的字符串本身就包括小括号2.3Maven管理项目框架7作为一个项目管理工具，Maven包括一个项目对象模型、一组标准生命周期、一个依赖管理系统，以及于运行和定义在生命周期阶段中的插件目标的逻辑。用横切的逻辑，更好的细致划分了项目代码中的各种依Maven管理框架优点JAR文件。2.4Idea开发软件本项目主要采用IDEA作为开发平台，IDEA作为一个JAVA开发的集成环境，提供了开发集成环境工具，它可以帮助用户在电脑上轻松地进行编程，提高程序员的开发速度，近些年来，移动WEB开发技术迅速发展，比如HTML技术等。全新的HTML技术能第3章网络爬虫技术网络爬虫工作原理如图3.1所示。首先从选取的网站上读取网页上的信息，对每一个需要访问的URL地址进行数据获取。准备下一个请求news_crawler3.1网络爬虫种类相比于批量型爬虫没有很多限制，网页可能信息是不断不断的进行爬取，不断的获取实时有效信息，这种类型的主题爬虫又称聚焦爬虫，主题爬虫主要获取那些与设93.2网络爬虫搜索方式搜索HTML文件的叶子节点。然后返回HTML文件，按照上述流程重复搜索文件其余的超链。如图3.2所示。BBDHBEDE特定时间，对于搜索有特定的顺序，相当于最佳优先搜索，选3.3网络爬虫框架体系对象，再根据URL地址创建URL对象，使用HttpClient中的Get方法获取到相关信息。相比其他方法，它有着更高级的API接口，能够最快实现WEB渲染。JsoupHtml解析器先获取URL地址，从中解析出相对于的网页。通过css选择器进行遍历，获取需要的数据。通过正则表达式进行过滤，获取到用户需要的信息，能根据用户的需要过滤字符串，按照规范格式输出HTML数据。如图3.4所示。第4章系统设计及可行性整个项目主要是以搜索功能为基础，同时数据也是整个项目很重目如何获取相应数据的环节也十分重要。用户希望搜索到的饰品价格数据做到及时应第三方平台，所以需要它的及时性。为了能够对比STEAM平台，需要在前端页面有一个对比显示的效果，这样用户就能清晰的了解到不同平台中间的价格差距以及相应比例。经过相关分析以后，本项目基于STEAM市场价格数据，主要由三个部分组图4.1系统结构图本项目可以分为两层。前端页面作为交互层，主要是负责能以及搜索完成以后的数据展示，相应用户的相输入需要搜素的端爬取模块主要完成整个项目的数据获取工作，保证数据的准确获取多个平台的同一物品的数据，不同平台之间的数据结构考虑完善。同时数据的传输也是需要考虑的问题，不能出现数本项目对于数据的处理方式主要是利用正则过滤，正则过滤用之间的差别，将一些异常的数据或者无用数据筛选先根据用户输入的名称，使用正则过滤无关字符串，以体数据处理流程如图4.4所示。前端页面后燕数据管理数据皇示本地储存整个STEAM市场爬虫项目需要分析与对比几个第三方平台与STEA价格数据，这是整个项目的目标实现的必要措施。在STEAM平台饰品价格数据不断变动4.4系统可行性分析可行性分析的目的在于从整个项目建设的内容和其其中可能存在的问题。这是整个项目开展前一项十分重要整个项目通过程序分析数据，可以仅仅使用普通的笔记本电脑和目的配置，不需要很高的成本，开发时间以及费用相对较少、周期也相技术方面的可行性分析，不需要复杂的技术，通过网络爬虫搜索模块能让用户快速检索，主要实现的功能也是搜索。整个搜索模块设计依赖与传递到爬取程序模块。搜索模块如图4.5所示。饰品价格数据饰品价格数据对于搜索结果的显示，需要做到简洁明了，在用户完成搜索之后同平台的价格数据，他们之间的差价，与STEAM市场的比例为多少。帮助用户更好分析价格数据。结果展示模块如图4.6所示。C5:C5:在售数量：33件在售售价：¥64.98数据获取是整个系统的重要部分，是系统完成工作的核心。该模块主要利用JQuery脚本库，编写JS脚本开发，获取第三方平台后台API接□,进行对接。获取到API接口传递的数据。主要利用是网络爬虫相关算法，数据获取相应代码如图4.7所示varlist=5('<ulclass=“m-menurm-S5-animatera-nenu-expanded”aria-hidden="false"varitemName=$(this).find('svarigxeURL-'https://ww,/csgo/730?keyword='+itemName;variexeLi-$('<liclass="rm-menu-itemc5li"$(list).append(igxeLi);addTGXE(igxeURL,igxeLi,itemame);//获取igxe上的数据varbuffURL-/api/market/goods?game=Csgo&page_num=18search='+iemName.trim()+'&_-'+(neuvarbuffLi·$('<licla5="rm-menu-itemc51i"><spanclass-"myTit1e">BUFF:</span><span>载addBUFF(buffURL,buffLi,itemName);//获取BUFF上的数据varv5URL='https:///esgo/θ-0?keyword='+itemName;varv5Li=$('<liclass="rm-menu-itemc51i"><spanclass="myTit1e">BUFF:</span><span>载入中..</1i>');$(list).append(v5Li);addv5(v5URL,v5Li,ite对于获取到的数据，需要对数据进行预处理，首先得要使用正则信息，相关处理方法如图4.8所示varurl="Ssearch'+itenlane,tria()+"Be'+(neuDote(),valueof()tostring();oddbUFF"https:/buff.163.Ssearch'+itenlane,tria()+"Be'+(neuDote(),valueof()tostring();oddbUFF"第5章系统测试整个项目运行在网页上，后台管理可通过相关软件查看代码层面个人电脑运行环境，windows系统，相应电脑配置如图5.1所示。Intel(R)Core(TM)i5-7200UIntel(R)Core(TM)i5-7200UIntel(R)Core(TM)i5-7200uIntel(R)HD:\:\Users\小葛炮>java-versionJavaHotSpot(TM)64-BitServerVM(bui创建项目过程如图5.3所示。ProjectSDK:后11javaversion>com.atlassian.maven.a>com.atlassian.maven.archetypesjira-plugin-ar>de.akquinetjbossccjbossc-s>netliftweb:fift-archetype-blank>netsfmaven-5ar:maven-archetype-s>org.apache.camel.archetypescamel-archetype-a>org.apache.camelarchetypescamel-archetype-co>org.apache.camel.archetypescamearc>org.apache.camel.archet