毕业设计（论文）-网页采集系统设计与开发.docx

太原理工大学毕业设计(论文)用纸太 原 理 工 大 学本科生毕业设计课题：网页采集系统设计与开发学院:软件学院专业:软件工程学号:学生姓名:指导教师:日期:2014 年 6 月太原理工大学毕业设计(论文)用纸网页采集系统设计与开发摘要传统的 Web 信息采集的目标就是尽可能多地采集信息页面，甚至是整个 Web 上的资源，在这一过程中它并不太在意采集的顺序和被采集页面的相关主题。这就使得所采集页面的内容过于杂乱，其中有相当大的一部分利用率很低，大大消耗了系统资源和网络资源。这就需要采用有效的采集方法以减少采集网页的杂乱、重复等情况的发生。同时如何有效地对采集到的网页实现自动分类，以创建更为有效、快捷的搜索引擎也是非常必要的。网页分类是组织和管理信息的有效手段，它可以在较大程度上解决信息杂乱无章的现象，并方便用户准确地定位所需要的信息。关键词Web 信息采集；网页分类；抽取信息；抽取特点全套设计加扣 3012250582i太原理工大学毕业设计(论文)用纸Design and development of Webpage acquisition systemAbstractThe traditional Web information collection goal is gathering information page as much as possible, and even the whole the resource on the Web, in the process it is not too concerned about the collection order and are collected pages related topics. This makes the acquisition pages of content too cluttered, there are quite a large part of the utilization rate is very low, greatly consumes system resources and network resources.At the same time how to effectively for the collected web achieve automatic classification, to create more efficient, quick search engine is very necessary. Web page classification is organization and management information effective means, it can solve the information in great degree desultorily phenomenon, and convenient for the user to accurately position the required information.key words Web information collecting; Web page classification; Information extraction; Feature extractionii太原理工大学毕业设计(论文)用纸目录摘 要.iAbstract.ii1 绪 论.11.1课题的背景及研究现状.11.2课题的研究目的.11.3课题的国内外研究现状.21.4发展趋势.42 系统分析.52.1可行性分析.52.1.1研究的基本内容.52.1.2基本框架.52.1.3可行性分析.52.2研究的重点和难点.62.3研究的方法及措施.72.3.1ASP 的概述.72.3.2ACCESS 的概述.92.3.4提取网页正文的方法.112.4预期研究成果.113 系统概要设计.123.1系统功能设计.123.1.1系统的主要功能.123.1.2系统功能模块图.123.2系统业务流程图.123.3数据流程图.133.3.1数据流程分析.133.3.2数据流图.144 系统详细设计.154.1系统总体功能.154.1.1系统具体功能.154.1.2系统功能模块图.154.1.3网站链接图.15太原理工大学毕业设计(论文)用纸4.2管理员登录.164.2.1管理员登录 IPO 图.164.2.2管理员登录页面.164.3系统管理主界面.164.4系统主要功能设计.164.4.1网站管理端功能分析.164.4.2采集设置.174.4.3采集模块的实现.184.5输入输出设计.214.5.1输入设计.214.5.2输出设计.214.6代码设计说明.234.7数据库的设计.234.7.1数据库的设计.234.7.2E-R 图.244.7.3数据库逻辑设计.244.7.4使用数据库连接池.244.7.5数据库连接.255 系统测试.265.1测试的目的.265.2测试的重要性.265.3测试方法.265.4测试方案.275.5测试结果.286 系统的运行与维护.316.1系统运行环境.316.2系统维护.316.3安全性问题.31结束语.32参考文献.33致 谢.34外文原文.35中文翻译.48太原理工大学毕业设计(论文)用纸1 绪论1.1 课题的背景及研究现状随着信息技术的迅猛发展，信息经济的特征日趋明显，人们越来越重视对信息资源的开发和利用。Internet 已经发展成为当今世界上最大的信息库和全球范围内传播知识的主要渠道，站点遍布全球的巨大信息服务网，为用户提供了一个极具价值的信息源。无论是个人的发展还是企业竞争力的提升都越来越多地依赖对网上信息资源的利用。新闻媒体机构需要跟踪全球热门网站，采集网络媒体，涵盖所有权威的媒体，每天要采集大量的新闻。电信行业需要及时呈现国内外的时事资讯，关注最新发生的社会事件，娱乐新闻，大量发布来自全球各地的资讯内容。党政机关需要实时收集与业务工作相关的信息资源或新闻，为网民提供各方面的资讯和服务。金融、证券与企业需要定期或实时追踪、收集竞争对手的相关情报资料， 收集竞争对手公开的用户信息以及其他公开的商业情报，每日掌握国内外财经信息等。网络监控部门需要对网络信息进行监控。网络公司需要降低运营成本、加大信息量。基于 B/S 模式的信息管理系统是现阶段研究开发的一个热点。它是建立在国际互联网上的应用系统，客户端的配置可以极为简单，使使用者不受地域的局限。在本系统中，将利用 B/S 模式，构建一个网页采集系统。1.2 课题的研究目的Internet 上网站的情况复杂多样，很多站点，尤其是大型站点，都包含了多个领域的内容。面对海量的信息，人们无所适从，难以从杂乱的信息当中筛选出对自身有用的部分，找不到想要的信息。为了解决这个问题，有关网上各种信息源的内部结构及相互联系的论述日益增多。目前国际上对超文本页面的研究主要集中在对页面内部结构和格式的分析理解。对由链接相连接的页面之间的关系的分，以及在浏览和检索等应用中如何利用页面间的这些联系。随着互联网的普及和网络技术的飞速发展，网络上的信息资源呈指数级增长，我们已经进入了信息化时代。信息技术渗透到社会生活的方方面面，人们可以从互联网上获得越来越多的包括文本、数字、图形、图像、声音、视频等信息。然而，随着 Web 信息的急速膨胀，如何快速、准确地从浩瀚的信息资源中找到自己所需的信息却成为广大网络用户的一大难题。因而基于互联网上的信息采集和分类日益成为人们关注的焦点。为了解决信息检索的难题，人们先后开发了如 Archive、Google、Yahoo 等搜索引擎。这些搜索引擎通常使用一个或多个采集器从 Intemet(如 www、FTP、Emall、News)上收集各种数据，然后在本地服务器上为这些数据建立索引，当用户检索时根据用户提交的检索条件从索引库中迅速查找到所需的信息。Web 信息采集作为这些搜索引擎的基础和组成部分，发挥着举足轻重的作用。Web 信息采集是指通过 Web 页面之间的链接关系，从 Web 上自动地获取页面信息，并且随着链接不断的向所需要的 Web 页面扩展的过程。传统的 Web 信息采集的目标就是尽可能多地采集信息页面，甚至是整个 Web 上的资源，在这一过程中它并不太在意采集的顺序和被采集页面的相关主题。这样做的一个极大好处是能够集中精力在采集的速度和数量上，并且实现起来也相对简单。但是，这种传统的采集方法存在着很多缺陷。因为基于整个 Web 的信息采集需要采集的页面数量十分浩大，这需要消耗非常大的系统资源和网络资源，但是它们中有相当大的一部分利用1太原理工大学毕业设计(论文)用纸率很低。用户往往只关心其中极少量的页面，而采集器采集的大部分页面对于他们来说是没有用的。这显然是对系统资源和网络资源的一个巨大浪费。随着 Web 网页数量的迅猛增长，即使是采用了定题采集技术来构建定题搜索引擎，同一主题的网页数量仍然是海量的。那么如何有效地对网页实现较有效的分类是非常必要的。传统的操作模式是对其人工分类后进行组织和管理，这种分类方法分类比较准确，分类质量也较高，对网页进行分类可以在很大程度上解决网页上信息杂乱的现象，并方便用户准确地定位所需要的信息，因此，对网页信息分类是一项具有较大实用价值的方法，也是组织和管理数据的有效手段。这也是本文研究的一个重要内容。1.3 课题的国内外研究现状国内现状，现在国内的系统：中国科学院软件技术研究所在国内外已有主题采集系统的基础上，开发了“天达”主题 web 信息采集系统。为实现对基于主题的信息自动采集，将整个处理过程分成七大模块：主题选择、初始 URL 选择、Spider 采集、页面分析、URL 与主题的相关陛判定(链接过滤链接预测)、页面与主题的相关性判定(页面过滤)、数据存储。缺点：采用综合扩展元数据增加了错判相关页面(不相关的页面判断为相关页面)的可能性。综合扩展元数据方法主要是利用链接周围的 Meta 信息来预测所链到的页面主题，可靠性与页面语义方法相比有一定差距。国外现状，国外的系统有：cc Research Laboratories 开发的 WTMS(基于主题的网络信息采集分析系统)。WTMS 提供了几种不同层次的可视化的信息提取，用户能够在搜索的同时进行浏览，除了传统的基于关键字的搜索，结构化分析技巧使得用户能够对于收集结果获得几种有用的知识。它整合了查询和浏览，超越了基于关键词的查询，用户能够成批的收集相关信息，过滤不重要的信息。用户很容易的共享收集到的信息。优点：引入了最佳中心页面和权威页面作为过滤信息的技巧。它通过减少超过 20 的下载页面改进了性能，同时只丢失了很少无关紧要的页面。缺点：结构化分析不容易使用传统的搜索引擎或以前的主题管理系统，由于是外国人开发的所以还不支持中文处理。网页采集技术发展现状：网络正在不断地改变着我们的生活，Internet 己经成为当今世界上最大的信息资源库，如何快速、准确地从浩瀚的信息资源库中寻找到所需的信息已经成为网络用户的一大难题。无论是一些通用搜索引擎(如谷歌、百度等)，或是一些特定主题的专用网页采集系统，都离不开网页采集，因而基于 Web 的网页信息采集和处理日益成为人们关注的焦点。传统的 Web 信息采集所采集的页面数量过于庞大，采集的内容也过于杂乱，需要消耗很大的系统资源和网络资源。同时 internet 信息的分散状态和动态变化也是困扰信息采集的主要问题。为了解决这些问题，从 20 世纪 80 年代起人们就开发一些检索工具，如 wAls、Archive、veronica 等，到 90 年代中期起又出现了 Web 搜索引擎技术，并开发出如 Google、Yalloo 等各种搜索引擎。这些搜索引擎通常是通过一个或多个采集器从 internet 上收集各种数据，然后在本地服务器上为这些数据建立索引，当用户检索时根据用户提交的检索条件从建立的索引库中迅速查找到所需信息。传统的采集方法存在着很多缺陷。首先，随着网页信息的爆炸式增长，信息采集的速度越来越不能满足实际应用的需要。即使大型的信息采集系统，它对 Web 的覆盖率也只有 30 一 40%左右。即便是采用处理能力更强的计算机系统，性价比也不是很高。相对更好的方法是采用分布式方法来2太原理工大学毕业设计(论文)用纸提高并行能力，但并行能力提高的同时又增加了系统的开销和设计的复杂性，效益也随着并行采集器数目的增加而显著减小，改善效果仍远不能满足人们的需要。其次，Internet 信息的分散状态和动态变化也是影响信息采集的原因。由于信息源可能随时处于变化之中，信息采集器必须经常刷新数据，但这仍无法避免采集到失效页面的情况。对于传统的信息采集来说，因为需要刷新页面数量的巨大使得很多采集系统刷新一遍需要几周或更长时间，这使得页面的失效率非常局。再次，传统的基于整个网页的信息采集需要采集的页面数量也十分浩大，这也消耗了非常大的系统资源和网络资源，但是却没有提高采集到页面的利用率。在采集到的页面中有相当大的一部分利用率很低。因为，用户往往只是关心其中极少量的页面，并且这些页面往往是集中在一个或几个主题内，而采集器采集的大多数页面对于他们来说是没有利用价值的。较低的利用率显然是对系统资源和网络资源的一个巨大浪费。这些问题的产生主要是因为传统的 Web 信息采集所采集的页面数量过于庞大并且所采集页面的内容过于杂乱。如果将信息检索限定在特定主题领域，根据主题相关的信息提供检索服务，那么所需采集的网页数量就会大大减少且主题统一。这类 Web 信息采集称为定题 Web 信息采集，由于定题采集检索的范围较小，所以查准率和查全率相对较高。但是随着网络的迅猛发展，Web 网页数量的爆炸增长，即使采用了定题采集技术来构建定题搜索引擎，相对于广泛的主题来说，同一主题的网页数量仍然是海量的。所以，如何有效地将同一主题的网页按照某种给定的模式进行分类，以创建更为有效、更为快捷的搜索引擎是一个非常重要的课题。网页分类技术发展现状：网页自动分类是在文本分类算法的基础上结合 HTML 语言结构特点发展起来的，文本自动分类最初是配合信息检索 (InformationRetrieval，IR)系统的需求而出现的。信息检索系统必须操纵大量的数据，其文本信息库占据其中大部分内容，同时，用来表示文本内容的词汇数量又是成千上万的。在这种情况下，如果能提供具有良好的组织与结构的文本集，就能大大简化文本的存取和操作。文本自动分类系统的目的就是对文本集进行有序的组织，把相似的、相关的文本组织在一起。它作为知识的组织工具，为信息检索提供了更高效的搜索策略和更准确的查询结果。文本自动分类研究始于 50 年代末，H.RLulm 在这一领域进行了开创性的研究。网页自动分类在国外经历了三个发展阶段:第一阶段 (1958-1964)主要进行自动分类的可行性研究，第二阶段(1965-1974)进行自动分类的实验研究，第三阶段(1975-至今)进入实用化阶段。国内自动分类研究起步较晚，始于 20 世纪 80 年代初期。关于中文文本分类的研究相对较少，国内外的研究基本上是在英文文本分类的基础上，结合中文文本和汉语语言的特性采取相应的策略，然后应用于中文之上，继而形成中文文本自动分类研究体系。1981 年，候汉清对计算机在文献分类工作中的应用作了探讨。早期系统的主要特点是结合主题词表进行分析分类，人工干预的成分很大，如香港中文大学的 WaiLam 等人将 KNN 方法和线性分类器结合，取得了较好效果，召回率接近 90%，准确率超过 80%。 c.K.Pwong 等人研究了用混合关键词进行文本分类的方法，召回率和准确率分别为 72%和 62%。复旦大学和富士通研究开发中心的黄首著、吴立德、石崎洋之等研究了独立语种的文本分类，并以词汇和类别的互信息量为评分函数，分别用单分类器和多分类器对中文和日文文本进行了实验，最好的结果召回率为88.87%。上海交通大学的刁倩、王永成等人结合词权重和分类算法进行分类，在用 VSM 方法的封闭式测试实验中分类正确率达到 97%。此后，基于统计学的思想，以及分词、语料库等技术被不断应用到分类中。3太原理工大学毕业设计(论文)用纸万维网大概载有 1 巧亿多的可索引的网页，且每天都有几千万或更多的网页被添加。如何组织这些大量有效的信息网络资源是一个很大的现实问题。网页数量的爆炸式增长，导致了搜索工具的普及。文本分类已经成为帮助网络搜索引擎的重要进程。文本分类可以使得结果更容易浏览。如果搜索引擎返回的结果被分为指定类别，用户可以选择感兴趣的类别继续浏览。传统的网页分类是由人工来完成的，在分析了网页的内容后，给它一个比较合适的类别。这需要大量的人力资源。然而，手动的分类是不可能跟上 Web 的增长速度。随着网页信息的快速增长，用手动去处理如此庞大的网页，对成千上万的功能，以及数百个类别进行分类处理是不切实际的。在这种情况下，技术和工具来支持有效的信息检索正变得越来越重要。一个网页自动分类不仅可以解决人工分类缓慢，还可以通过模糊引导各类提供了一个专题的路径列表。大量的技术提出分类的重点在中文网页分类，然而要实现自动网页分类，仍存在一个处理大规模数据集的问题。而且随着网页的爆炸性增长这种情况越来越糟。因此，网页分类己成为一项具有较大实用价值的关键技术。1.4 发展趋势采集系统开发目的就是提供一个有力的工具，帮助普通用户(熟悉基本的 HMTL) 而非编程人员从异构数据源收集信息并转换为他所需要的信息，功能包括网页采集、分析下载、直接入库、自动分类整理、内容定期更新监测等，整个采集过程基于参数和配置管理控制，提供图形化界面编辑或向导式操作。系统将为最终用户提供一步到位的信息再整理过程，将浩瀚信息从无序化到有序化，可广泛用于情报收集、信息监控、行情跟踪、专业信息资源站、搜索引擎上二次开发、内部知识系统或天气预报、股市、汇率、商情、动态新闻等的实时采集更新等。设计时充分考虑最大程度的通用性、易用性。网络信息采集系统具有广阔的应用前景，可以广泛地用于以下方面：（1）数字图书馆建设：建设现代化数字图书馆的一个核心问题就是网络信息资源的收集和保存问题。在当今这个信息爆炸的时代，如果不能实现网络信息资源的自动收集和保存，那么建设数字图书馆就是一句空言。网络信息采集系统可以自动地收集网络信息资源，并将其分门别类地存人各个主题数据库，从而可以为构建学科门户网站打下基础。（2）企业情报采集：信息化时代，一个企业若要在高竞争中立足并在行业中取得优势地位，离不开对政府部门的相关政策以及对竞争对手行动的跟踪与调查。网络信息采集系统可以根据企业自己的需求，自动地为企业收集相关情报，并提出预警分析等。如此，企业就可以对政府有关的政策导向和对手的动向了如指掌， 从而制定正确的企业运行战略，并最终在竞争中取胜。（3）知识信息积累：对于任何提供信息服务的部门而言，如何获取大量的信息都是一个相当棘手的问题。网络信息采集系统可以自动地进行网络信息资料的收集，并对信息进行分类处理，最终形成知识信息的积累。（4）个性化信息采集：某些专业用户( 如某个领域的科技人员等) 对信息的需求是非常特殊和专业的，网络信息采集系统可以根据他们的个人兴趣为他们进行个性化专题的自动收集，为他们提供其所在领域的最新信息。总之，网络信息采集系统作为网络信息收集工具有着很好的应用前景。4太原理工大学毕业设计(论文)用纸2 系统分析2.1 可行性分析2.1.1 研究的基本内容本文研究的基本内容是基于 B/S 模式的信息管理系统是现阶段研究开发的一个热点。它是建立在国际互联网上的应用系统，客户端的配置可以极为简单，使使用者不受地域的局限。在本系统中，将利用 B/S 模式，构建一个网页采集系统。2.1.2 基本框架本文采用的基本框架如图 2-1 所示。收集者（用户），通过自主对原始信息进行辨识，从而进行自主采集并保存入数据库。收集者（用户），可以通过查询特征信息来查询所需的信息。图 2-1 业务流程图2.1.3 可行性分析首先，技术可行性。本系统采用 Active Server Pages：“动态服务器网页”，一般简称为“ASP”，ASP 所产生的执行结果都是标准的 HTML 格式，而且这些程序是在网络服务端中执行，使用一般的浏览器（如 IE 或 Netscape）都可以正确地获得 ASP 的“执行”结果，并且将这 ASP 执行的结果直接在浏览器中“浏览”，不像 VBScript 或 JavaScript 是在客户端（Client）的浏览器上执行。ASP 简单、快捷、方便，可以满足本系统的要求。其次，经济可行性。由于本系统是采用 ASP 和 ACCESS 数据库，ASP 的程序是在网络服务端中执行，经济实用，节约了大量资源。当系统投入运行后可以节约大量的人力，物力。所带来的效益远远大于系统软件的开发成本。在经济上完全可行。第三，操作可行性。界面设计时充分考虑用户的使用习惯，使得操作简单；信息采集迅速、规范、可靠；查询准确；适应力强；容易扩充。5太原理工大学毕业设计(论文)用纸2.2 研究的重点和难点本次的开发内容信息采集系统指的是按标准格式采集指定网络信息，同搜索引擎的区别在于其采集的目的性更强，采集源范围也比较小。这里简单介绍一下信息采集系统实现上的几个关键问题:（1） 采集网页数据VC，Java，VB 的网络通讯功能都足够实现信息采集，VC 中的 Get/Post 方式可采集网页信息，也可以直接用 socket 方式采集，但一般用前一 种模式，另外为了提高采集效率都采用多线程技术，在网上的一些 Spider 程序都是多线程的,可以借鉴.（2） 如何按关键字来采集信息信息采集的一大特点是按多个关键字将信息拆分出来，例如供求信息中的商机标题、联系 人、电话、Email、内容等，实现时需要事先定义好这些关键字，然后在网页中搜索，将夹在两个关键字当中的信息采集出来，另外还要注意，网页中的许多关 键字是包含空格的，空格数量也不能确定，例如邮 件,这就要求在查找关键字时要把关键字按单个汉字拆开来匹配，遇到中间的空格要跳过去.这一步实现了，信息就会变的非常有规则，也就可以导入本地库了.（3） 网页中的链结获取算法了解 HTML 的应该清楚，网页中的链结都是通过的标签定义的，但也会分很多情况，例如: 这是常见的链结格式，但要注意采集出来的链结可能是完整的 http:/.，也可能是相对路径,要分别处理； 用单引号分隔的，所以用算法获取链结的时候要根据双引号和单引号两种标记来分隔； 通过 javascript 的函数处理链结，算法上就麻烦了许多。（4） 无效数据的过滤即使通过关键字的方式摒弃了许多广告信息，但在关键字信息中也会有不少无效数据，包括一些信息开头的空格。（5） 特定数据的获取算法Email,电话等数据符合一定的规范，一般可以用一些算法提取出来，也可以 用正则表达式技术来获取，在网络上有不少此类算法.在信息采集中，Email 和电话等关键信息是比较分散的，需要用提取算法把这些信息提取出来放在正确的 位置.这是非常有必要的，因为信息采集系统往往会有邮件群发的功能。以上几点问题都是在 Web 采集和分类过程中存在或需要解决的问题，目前如何快速、准确地找到自己所需的信息并分类保存，已成为广大网络用户的一大难题，因此基于互联网上的 Web 信息采集和分类的研究就显得尤为必要。信息采集的整个流程可总结如下:（1） 首先，获取网页的完整信息（2） 用算法获取网页中的正文信息，即抛弃 HTML 的标签文本（3） 去除多余的空行（4） 按定义好的关键字将信息分隔开（5） 对信息进行无效数据过滤（6） 信息入本地库（7）获取网页中的链结，对该链结从 1 步骤开始重复,但注意网页中的许多链结是广告或无效的，因此要事先定义好一些链结关键字，只有包含关键字的链结才处理。6太原理工大学毕业设计(论文)用纸2.3 研究的方法及措施本课题使用 ASP 和 ACCESS 来实现设计要求。以往多数采集平台是基于 NT+IIS+SQL SERVER 平台构建的，但是这种构建方式较为昂贵，不仅数据库系统花费多，供应商还耍收取软件和技术支持费用，而且为了获得合理的运行性能。数据库引擎的硬件通常要求都很高，这些硬件的成本会更高。因此，在网站建设时该选取哪一种方式是每个网络建设者必须认真考虑的问题。ASP 的开发工具简单，兼容性能好，语言相容性高，并且易于操控数据库。ASP所产生的执行结果都是标准的 HTML 格式，而且这些程序是在网络服务端中执行，使用一般的浏览器（如 IE 或 Netscape）都可以正确地获得 ASP 的“执行”结果，并且将这 ASP 执行的结果直接在浏览器中“浏览”，不像 VBScript 或 JavaScript 是在客户端（Client）的浏览器上执行。所以选用 ASP 可以节省很多的资源和时间。2.3.1 ASP 的概述ASP 是动态服务器页面(Active Server Page)的缩写。是微软公司开发的代替 CGI脚本程序的一种应用，它可以与数据库和其它程序进行交互，是一种简单、方便的编程工具。ASP 的网页文件的格式是 .asp。现在常用于各种动态网站中。当用户使用浏览器请求 ASP 主页