比价系统体系结构设计

关注 逻辑视图（Logical 最终结 风 1高易用功能需求/提供高易用性，兼容同义词2搜索结将符合条件的多种商品经过3特搜索结果中可以特定的定搜 商品，例如刚刚爆新4浏览器要求用户使用时FirefoxChrome、IE等主流浏览器均要求可兼容，IE6容5爬取商自动从其他中爬取商 性6爬取信要求爬取时兼容各个的，2Amazon文7爬取信功能需求/商品信息爬取能够定期执行，更新库，并且信息更新时不能影响用更新间隔为7天，最多为108评论商用户可以查看商品信息，评论信息，并可进行评论、对论信功能需求/用户发布评论时，检查评论中的汇（定义词汇，除该评论，要可以在修改后水军检功能需求/在用户的评论中发现汇后，自动检查该用户之前的评价词汇，分析是否是水军（汇出现大于某制候选在用户的评论中发现汇后，如果是商品商家特殊要求的候选词汇，通知商品商用户决定某一商品时可通过提供转向此商城进行服务器服务器出现故障时要能够及时发现，并且不能影响时间在10min数据库数据出现故障时要能够不能影响这点基本无灵活大 最大要能1量时间效保证对数据库数据的存取效在期时间（例如节假日50050020%，进行可能的检测和，必须实现短时间内频繁的IP（即插件扫描攻击）并；发现特定IP地址（Agent）的并可拓展爬取兼容技术方案要更加开放；将来可能增加其他队访问的检测规则；将来可以设计新的评论检测条件，并在满足条件的情况下通知熟悉爬虫技术、检测技术的数量有员项目是多团队并行开发，每发布计项目进行分阶段研发，关于客户端的功能在后续版本中第一阶段期限62个月商业目系统要符合商业目标，要求系统实现竞价策略，即可按照的方式对某些搜索998响使

表 的

6的IP（并51规则代价小于0.254信息爬取、检557用户、商家用例系统管理数据库管理R1C1制 搜索商品同义词匹配模响 根据搜索条件与同义词表进行搜响应的度搜索结果中包含惠普产品项 内R2搜索结果排 C2允许使用竞价规响应的度项 内可特定搜索结果（例如刚刚爆品R3特定搜索结可响应的度品项 内R4C4Firefox兼容IE版本号>=6刺 网页请求：在Firefox、Chrome、IE中且版本号响应的度返回页面显示不正常率项 内兼容各个的不一致性（定义匹配格式例如R6爬取信息兼 C7至少实现2响应的度项 内R7爬取信息更 C10更新信息时不能响应的度汇R论信息检 C12允许定响应的度项 内R10根据以往评论历史判断是否为水军，若为则显示响应的度项 内R11商家定制候选词 C14允许商家定制候 响应的度R13C16服务器故障应该在响应的度项 内R13服务器可靠 C17服务器故障时不响应的度项 内R14数据库可靠 C18数据库出现故障 响应的度量间间R14数据库可靠 C19数据库恢复时间<1响应的度数据库恢复时间<1项 内R16时间效 C21反应以内，1s-响应的度项 内在期时间（例如节假日要允许5百万用户时使R17并发 响应的度期为1天内服务器故障次数不超过1次项 内新新击）R18C23发现短时间内频IP（ ）过1000次则将此IP加入IP列表响应的度30min项 内nt）的R18安全性 Error响应的度项 内文R19可拓展性 C25增加一个1响应的度项 内R19可拓展 C26增一种检测 响应的度项 内R19可拓展 C27增加新的评论检测响应的度来源&由用例图可知，系统分为主要功能为查看商品信息、搜索商品、评论、商品信息爬取与、评论信息、水军检测，数据库与服务器的。其中搜索商品包含对搜索结果进行竞价排序、特定商品；爬取商品信息包括对信息爬取、信息解析、爬取信息更新。系统包括检测：发现短时间内频繁IP定IP的。因此将系统主要分为如下几个模块：搜索、查看、评论商品信息模块；爬取、、数据；检测、；。比价系统的部件类型、连接件类型描 patibler：主要功能是前台显示浏览器兼容。端口comPro对外提供兼容显示处理服务，可以有多个实例。部件View的主要功能是前台显示以及向服务器发送服务请求。端口compatiblerequest负责向服务器请求部件SafeGuard的主要功能是系统的检测与。端口plug负责插件扫描检测。端口ip负责特定IP检测。部件PlugAttackCheck的主要功能是检测插件扫描。端口plugCheck负责对外提供服务接口，可以有多个实例。端口update负责更新插件扫描IP的共享数据。部件FrontController的主要功能是客户端请求的分配。端口responsesearch口view负责查看商品详细信息请求。端口buy负责商品请求。端口publish负责评论请求。端口safe负责请求系统检测部件SearchGoods的主要功能是搜索商品服务。端口请求商品服务。端口search负责对请求商品搜索处理服务。端口ViewGoodsInfo的主要功能是查看商品详细信息。端口端口SIPCheck的主要功能是检测特定IP，例如搜索引擎。端口ipCheck负责对外提供特定IP检测服务，可以有多个实例。端口getData负责从共享数据查询信息。部件BuyGoods的主要功能是商品。端口buyProceeding负责对部件 ment的主要功能是评论。端口publishProceeding负责对外提供评论服务。端口ment负部件synProcessor的主要功能是搜索商品的同义词处理。端口sortProcessor部件shieldProcessor的主要功能是搜索商品的特定商品进行。端口shieldPro负责对外提供服务。部件searchProcessor的主要功能是搜索商品的控制逻辑。端口评论信息的。端口addAuctionRules负责更新竞价信息的共享数据。端口comment负责请求评论信息。部件CommentMaintenance的主要功能是评论信息。端口commentProupdate部件Data的主要功能是共享数据。端口getData负责对外提供数据的使用情况。端口update负责对外提供更新数据服务，可以有Crawlerinitial供建立爬虫程序服务。端口store负责请求爬取信息。端口ysis负责请求对爬取到的信息进行分析。端口getUrl负责获取端口starter负责请求建立爬虫程序。部件Pageysis的主要功能是分析爬取信息，发现有用数据以url。端口ysis部件StorageProcessor的主要功能是爬取信息。端口getData负责获取分析数据来源。端口storePro负责对外提供服务。端口compatible负责请求数据兼容服务。UrlDataUrlgetData负责对外提供Url数据的使用情况。端口updater负责对url数据进CrawlingDatagetData负updater patibler的主要功能是对爬取信息进行兼容处理。端口comPro负责对外提供服务。端口price负责请求价格信息兼容部件patibler的主要功能是对爬取的价格信息进行兼容处理。端口pricePro负责对外提供服务。连接件HttpRequest，描述HTTP协议下的通信机制。角requesterresponserPC（ProceduralCall），描述了常见的程序调用机制。角色caller调用另一个角色callee的程序。ShareDatainitializer的数据共享给一个或多个其他角色user使用。部件、连接件配置比价系统的模块组比价系统的子系统R1 C3允许定 方案：同义词表 商品列表

R11C14汇表、候选词汇 于数据库中

R2R23C31详细设计约束：隐藏竞价排序规则细 R5C5R4R6R19理由：封装价格、语言兼容方案利于复用；封装每个兼容技术方案符R7C10更新信息时不能影 OCPR11 C12R10R19R13R16R13R17 详细设计约束：分配器允许动态增加、删除处理器 新的体系结构约束CA1：一致性更新与Cluster C19<1R15 R16R14详细设计约束：数据库故障时，分配器能够随时启动备份数据 藏藏，增加controller 特定IP、C24发现特定IP地址 R19 R18 R22R13最终结逻辑视图与开发视图之间的关系描部件/连接实现模块/构无Network开发视图接口描构件功能voidresponse(HttpRequest后置条件 构件功能语 voidresponse(HttpRequest 无 构件功能 GoodsListsearchGoods(string 构件功能语 GoodsInfogetGoodsInfo(stirng 无构件接功能voidbuyGoods(URL口无 构件 接功能 ment(Useruser,String口无构件接功能语istsynProcessing(String无口 构件功能语 GoodsListshield(GoodsList 构件功能GoodsListsort(GoodsList无无构件接功能语istgetSynList(String无口构件接功能SortRuleType口已无无构件接功能语ist无无口构件接功能access(IPType口前置条 Ip为合法ip地后置条 不变 构件功能access(IPType无无构件功能booleanisSpecialIP(IPType无无构件功能booleancheckAttack(IPType无无 构件功能语 voidframing(FrameContent前置条 数据库已建立且正常运后置条 不变 content= 构件功能语 void updateShedular的计时器清零 构件接功能口前置条 Type为枚举类型,list中存放爬取网页来源后置条 构件接口功能getCrawlerAlgorithm(CrawlerRuleType无无CrawlerConfig. 构件接口功能语 Url 前置条 IOService中存在后置条 IOService中UrlData游标cursor后移一不变 功能语 ge 后置条 Page已经过处理存入文 接功能功能 voidaddUrl(Urlurl) url为合法url地址 voidsetWgeContent(WgeContent WgeContent为已经解析好的wen网页内容 口接口构件接功能语 void口后置条件 pageysis已经将解析好的页面存入文 Crawler.构件接功能geContent口无构件接功能 geContent口无StorageProcessor构件 接功能 void geContent口 构件 接口功能 PricesetPrice(String 构件 接功能StringsetLanguage(String口前置条 content为从页面中解析出来的某种语言的信后置条件 将content转化为另一种语言信息 patibler.构件功能语法 后置条 voidinitial() commentMaintenanceeventManager被创 无构件功能语法 后置条 voidinitial() EventManagerEvent加入到eventManager管理的事件队列 无构件：EventListener,接功能voidregister(Event口EventListener前置条 Event已经被创后置条 构件：EventManager,功能语 voidperform(Event 前置条 event发后置条 处理此event发生之后的情不变 构件 功能 voidsetAlgorithm(AlgorithmType ment.构件 接功能 voidsensitiveCheck(List口 构件接功能booleanisSensitive(String口无无SensitiveCheck.构件接功能booleanisParticular(String口无无构件接功能语ist 无口构件：IlegaluserCheck,功能UserInfogetUserInfo(String 无构件：ParticularDirectory,接功能语ist无口 构件：SynDirectory,功能 ist前 构件：SortRules,接功能String口string无构件：ShieldDirectory,接功能语ist口无无构件功能语 voidupdate(SortRule后置条件 rule 构件：StorageProcessor,功能语法voidupdate(Stringcontent 数据库中保存content商品