L2003215038_康玲玉_基于asp的搜索引擎开发

分类号 分类号 TP311 1TP311 1 U U D D C C D10621 408 2007 D10621 408 2007 6211 06211 0 密密 级 公级 公 开开 编编 号 号 20032150382003215038 成成 都都 信信 息息 工工 程程 学学 院院 学学 位位 论论 文文 基于基于 ASP 的搜索引擎的开发的搜索引擎的开发 论文作者姓名 论文作者姓名 康玲玉康玲玉 申请学位专业 申请学位专业 网络工程网络工程 申请学位类别 申请学位类别 工学学士工学学士 指指导导教教师师姓姓名名 职职称称 李贵洋 讲师 李贵洋 讲师 论文提交日期 论文提交日期 20072007 年年 0606 月月 0707 日日 第 1 页 共 21 页 基于基于 ASPASP 的搜索引擎的开发的搜索引擎的开发 摘摘 要要 随着互联网和宽带上网的普及 搜索引擎在中国异军突起 并日益渗透到 人们的日常生活中 在互联网普及之前 人们查阅资料首先想到的是拥有大量 书籍资料的图书馆 但是今天很多人都会选择一种更方便 快捷 全面 准确 的查阅方式 互联网 而帮助我们在整个互联网上快速地查找到目标信息的就 是越来越被重视的搜索引擎 本文通过分析国内外搜索引擎的发展现状 提出 了一种利用 ASP 技术实现一个 B S 体系结构的搜索引擎系统的方案 以期达到 功能强大 操作简单 通用性强 可以满足用户对信息搜索需要的搜索引擎系 统 文中着重论述了该系统的数据流程 功能实现与代码设计 后台管理等 并对相关技术作了详细的介绍 论文在撰写过程中 力求将理论与系统应用相 结合 对各种理论进行阐述的同时配合系统从实际应用和操作技巧上加以说明 希望能够更充分地体现这些知识与技术在系统中的应用与实现 关键词关键词 ASP 模糊查询 关键字 搜索引擎 Development of Search Engine Based on ASP Abstract With the popularization of the Internet and surfing the Net with broadband search engine likes a dark horse in China and permeate through daily life day by day Before this when people consult materials the first thought is the library that has a large number of books But now more and more people will choose Internet to search for information It s more convenient fast comprehensive and accurate for searching information The search engine that helps us in the whole Internet to quickly identify target information is played more and more attention to In order to achieve the formidable function simply operating stronger versatility and satisfy the users to the information search need This paper gives a plan that realizes a systematic scheme of search engine of B S system structure through analyzing the current development of search engine in domestic and international systematic with the technology of ASP This thesis mainly describes the data procedure of this system functional realization and code design back stage management etc emphatically in the article It has done more detailed introduction to relevant technology The paper makes every effort to use the theory and practice and combine together in the course of writing the cooperation system is explained from practical application and operation skill while explaining various kinds of theories hope to more fully reflect the knowledge and application in this system of technology and realize Key words ASP fuzzy query keyword search engine 目目 录录 论文总页数 21 页 1 引言 1 1 1 课题背景 1 1 2 搜索引擎的发展方向 1 2 系统开发技术分析 2 2 1 系统开发环境 2 2 2 IIS 简介 2 2 3 SQL SERVER 2000 简介 2 2 4 ASP 简介 2 3 概要设计 3 3 1 需求分析 3 3 2 数据库设计 3 3 2 1 分类目录数据库表 3 3 2 2 网站登录信息数据库 4 3 2 3 管理员数据库表 4 3 2 4 关键字记录数据库表 5 3 3 系统设计结构图 5 4 系统前台模块设计 5 4 1 网站搜索模块的实现 5 4 1 1 功能描述 5 4 1 2 流程图 6 4 1 3 界面设计 6 4 1 4 工作流程和代码设计 6 4 2 分类目录模块的实现 7 4 2 1 功能描述 7 4 2 2 工作流程和代码设计 8 4 3 网站登录模块的实现 9 4 3 1 功能描述 9 4 3 2 数据流程图 9 4 3 3 工作流程 10 4 4 网站修改模块 11 4 4 1 功能描述 11 4 4 2 工作流程图 11 4 4 3 界面设计 12 4 4 4 工作流程和代码设计 13 5 系统后台模块设计 13 5 1 网站管理模块的实现 13 5 1 1 功能描述 13 5 1 2 工作流程和代码设计 14 5 2 网站审核 15 5 3 分类管理模块 15 5 3 1 分类编辑 15 5 3 2 分类添加 16 5 3 3 分类删除 18 6 系统性能测试 18 6 1 系统测试环境 18 6 2 测试结果 18 结 论 19 参考文献 19 致 谢 20 声 明 21 第 1 页 共 21 页 1 1 引言引言 1 11 1 课题背景课题背景 随着因特网的迅猛发展 WEB 信息的增加 用户要在信息海洋里查找信息 就像大海捞针一样 搜索引擎技术恰好解决了这一难题 目前 搜索引擎系统 可以分类三大类 分别是 目录式搜索引擎 以人工方式或半自动方式搜集信 息 由编辑员查看信息之后 人工形成信息摘要 并将信息置于事先确定的分 类框架中 机器人搜索引擎 由一个称为蜘蛛的机器人程序以某种策略自动地 在互联网中搜集和发现信息 由索引器为搜集到的信息建立索引 由检索器根 据用户的查询输入检索索引库 并将查询结果返回给用户 元搜索引擎 这类 搜索引擎没有自己的数据 而是将用户的查询请求同时向多个搜索引擎递交 将返回的结果进行重复排除 重新排序等处理后 作为自己的结果返回给用户 1 21 2 搜索引擎的发展方向搜索引擎的发展方向 搜索引擎已成为一个新的研究 开发领域 因为它要用到信息检索 人工 智能 计算机网络 分布式处理 数据库 数据挖掘 数字图书馆 自然语言 处理等多领域的理论和技术 所以具有综合性和挑战性 又由于搜索引擎有大 量的用户 有很好的经济价值 所以引起了世界各国计算机科学界和信息产业 界的高度关注 目前的研究 开发十分活跃 并出现了很多值得注意的方向 1 十分注意提高信息查询结果的精度 提高检索的有效性 用户在搜索引 擎上进行信息查询时 并不十分关注返回结果的多少 而是看结果是否和自己 的需求吻合 2 基于智能代理的信息过滤和个性化服务 信息智能代理是另外一种利用 互联网信息的机制 它使用自动获得的领域模型 如 Web 知识 信息处理 与 用户兴趣相关的信息资源 领域组织结构 用户模型 如用户背景 兴趣 行 为 风格 知识进行信息搜集 索引 过滤 包括兴趣过滤和不良信息过滤 并自动地将用户感兴趣的 对用户有用的信息提交给用户 3 采用分布式体系结构提高系统规模和性能 搜索引擎的实现可以采用集 中式体系结构和分布式体系结构 两种方法各有千秋 但当系统规模到达一定 程度 如网页数达到亿级 时 必然要采用某种分布式方法 以提高系统性能 4 重视交叉语言检索的研究和开发 交叉语言信息检索是指用户用母语提 交查询 搜索引擎在多种语言的数据库中进行信息检索 返回能够回答用户问 题的所有语言的文档 如果再加上机器翻译 返回结果可以用母语显示 该技 第 2 页 共 21 页 术目前还处于初步研究阶段 主要的困难在于语言之间在表达方式和语义对应 上的不确定性 2 2 系统开发技术分析系统开发技术分析 通过基于 Internet 互联网的动态 WEB 数据库技术 可以解决远程的数据传 输与读取 远程的客户终端可以通过 WEB 页面提交请求 查询远端的数据服务 器上的信息 同时还可以向远端数据服务器的数据库中存储信息以实现信息的 共享 同时利用 Internet 技术可以降低软件的开发和部署成本 只要在服务器 端安装 WEB 应用就可以使每个客户端都能浏览使用 2 12 1 系统开发环境系统开发环境 本搜索引擎系统是一个 B S 结构的系统 它的发布需要有 WEB 服务器的支 持 且需要数据库系统来方便的对系统数据进行存储 查询 修改 删除 及 时更新系统信息 同时需要一种简单 方便的编程工具可以与数据库进行交互 鉴于上述需求我选择 IIS 5 0 SQL Server2000 ASP 作为我的开发环境 2 22 2 IISIIS 简介简介 系统设计 IIS 是 Internet 信息服务 Internet Information Server 的 缩写 它是一种 Web 服务 主要包括 WWW 服务器 FTP 服务器等 使得在 Intranet 局域网 或 Internet 因特网 上发布信息成了一件很容易的事 WWW 服务提供维护网站和网页 并回复基于浏览器的请求 有了 WWW 服务和它 内置的功能 通过 Internet 信息服务器可以创建各种各样的 Internet 应用程 序 加上其内置的对数据库连接的支持 IIS 的功能就更强大 SQL 数据库信息 或其他任何符合 ODBC 的数据库信息都能在 Internet Intranet 上灵活应用 2 32 3 SQLSQL SERVERSERVER 20002000 简介简介 SQL Server 2000 具有构成最大的 Web 站点的数据存储组件所需的可伸缩 性 可用性和安全功能 它支持 English Query 和 Microsoft 搜索服务等功能 在 Web 应用程序中包含了用户友好的查询和强大的搜索功能 同一个数据库引 擎可以在不同的平台上使用 SQL Server 2000 企业版支持联合服务器 索引 视图和大型内存支持等功能 使其得以升级到最大 Web 站点所需的性能级别 SQL Server 2000 关系数据库引擎支持当今苛刻的数据处理环境所需的功能 同时将管理上千个并发修改数据库的用户的开销减到最小 SQL Server 2000 中包括一系列管理和开发工具 这些工具可改进在多个站点上安装 部署 管 理和使用 SQL Server 的过程 2 42 4 ASPASP 简介简介 ASP 全称为 Active Server Pages 即动态服务器页面 它是一套微软开发 第 3 页 共 21 页 的服务器端脚本环境 ASP 内含于 IIS 3 0 以上版本中 通过 ASP 我们可以结 合 HTML 网页 ASP 指令建立动态 交互且高效的 Web 服务器应用程序 ASP 脚 本在服务器端解释执行 结果自动生成符合 HTML 语言的主页去响应用户的请求 ASP 已成为目前应用最广泛的动态网页开发工具 同时应用 ASP 进行网络化的 信息管理系统也逐步得到推广 ASP 本身并不是一种脚本语言 它只是提供了 一种使镶嵌在 HTML 页面中的脚本程序得以运行的环境 ASP 程序其实是以扩展 名为 asp 的纯文本形式存在于 Web 服务器上的 可以用任何文本编辑器打开它 ASP 程序中可以包含纯文本 HTML 标记以及脚本命令 用户只需将 asp 程序放 在 Web 服务器的虚拟目录下 该目录必须要有可执行权限 就可以通过 WWW 的 方式访问 ASP 程序了 3 3 概要设计概要设计 3 13 1 需求分析需求分析 随着互联网信息的增长 人们对信息资料的查阅已不满足现有的书籍资料 网上搜索信息资料扮演着越来越重要的角色 本系统模块设计目标是采用后台 数据信息录入 前台动态页面查找的方式来实现对信息的搜索 本系统充分考 虑了系统的可扩展性和搜索引擎特有的查询流程 利用 ASP 基本知识以及 Microsoft SQL Server 2000 的基本操作 使它具有良好的稳定性并且便于维 护 3 23 2 数据库设计数据库设计 数据库结构设计几乎所有的 WEB 项目都要基于数据库 这使得数据库的设 计在整个项目中举足轻重 本搜索系统中大部分前台的显示信息都是从数据库 中读取所需信息 而系统管理员则只需在后台通过修改数据库中的数据即可达 到改变前台显示内容的目的 所以数据库在本系统中作为中间介质连接前台和 后台 其重要性不言而喻 本设计根据系统需求分析 选用 SQL Server 2000 作为该系统的数据库 数据库取名为 database 其中包含了系统中所有的数据 下面对一些关键表作详细说明 3 2 13 2 1 分类目录数据库表分类目录数据库表 分类目录数据库表在数据库中标记的是 Sort 数据表 它记录的是子类信息 包括子类名称 父类 ID 和是否在首页显示 Sort 表的具体结构如表 1 所示 表 1 sort 表 字段名称字段名称数据类型数据类型说明说明主关键字主关键字 IDint编号 第 4 页 共 21 页 Sortvarchar子类名称 Sort IDint父类 ID Showint是否在首页显示 3 2 23 2 2 网站登录信息数据库网站登录信息数据库 网站登录数据信息数据库在数据库中标记的是 Web 数据表 它记录的是网 站名称 网站内容简介 网站地址 是否审核 网站关键字 联系人姓名 联 系人 E mail 联系人 qq 号码 联系人地址 联系人邮政编码 网站登录时间 网站访问次数 所属子类名称 子类路径和所属子类 ID Web 表的具体结构如 表 2 所示 表 2 web 表 字段名称字段名称数据类型数据类型说明说明主关键字主关键字 IDint编号 Titlevarchar网站名称 Contentvarchar网站内容简介 URLvarchar网站地址 Verifychar管理员是否已经确认 Keywordvarchar网站关键字 Namevarchar联系人姓名 Emailvarchar联系人 E mail QQvarchar联系人 qq Addressvarchar联系人地址 PostCodevarchar联系人邮政编码 Timedatetime网站登录时间 Clickint网站访问次数 Sortvarchar子类名称 Sort pathvarchar子类路径 Sort IDint子类 ID 3 2 33 2 3 管理员数据库表管理员数据库表 管理员数据表即 数据表 Admin 记录的是管理员的登录名和密码 具体 结构如表 3 所示 表 3 Admin 表 字段名称字段名称数据类型数据类型说明说明主关键字主关键字 第 5 页 共 21 页 IDint编号 UserNamevarchar管理员登录名 Passwordvarchar管理员密码 3 2 43 2 4 关键字记录数据库表关键字记录数据库表 关键字记录表即 Keyword 数据表 记录关键字信息 包括关键字和输入次 数 具体结构如表 4 所示 表 4 Keyword 表 字段名称字段名称数据类型数据类型说明说明主关键字主关键字 IDint编号 keywordvarchar关键字 hotint输入次数 3 33 3 系统设计结构图系统设计结构图 系统设计结构如图 1 所示 基于ASP的搜索引擎 网站搜索 分类搜索 网站登录 网站管理 管理员登录 图 1 系统功能结构图 4 4 系统前台模块设计系统前台模块设计 4 14 1 网站搜索模块的实现网站搜索模块的实现 4 1 14 1 1 功能描述功能描述 用户访问系统时 首先接触到的是首页面 index asp 它提供了到达 5 个 第 6 页 共 21 页 功能模块的超链接 默认显示为网站搜索模块 另外页面还提供一个表单 from 让用户输入要搜索的关键字 当用户输入关键字单击搜索按钮后 表单 中的数据将被提交到 search asp 文件中处理 在 search asp 首先读取传递过 来的数据 然后判断该数据是否为空 如果不为空 则将数据分割为多个关键 字 然后在数据库中查找匹配的记录 并在页面上显示 4 1 24 1 2 流程图流程图 在网站搜索模块中 数据流程如图 2 所示 数据是否为空 搜索并显示结果 不为空 为空 关键字 图 2 网站搜索数据流程图 4 1 34 1 3 界面设计界面设计 搜索模块的界面设计如图 3 所示 图 3 搜索模块界面 4 1 44 1 4 工作流程和代码设计工作流程和代码设计 输入关键字后 数据被提交到 search asp 中 首先使用 Request 对象的 第 7 页 共 21 页 QueryString 方法读取表单传递过来的关键字 再判断关键字是否为空 若不 为空 将多个关键字进行处理后分开保存在一维数组中 keyword replace keyword 用空格替换关键词中的字符 keyword replace keyword 用空格替换关键词中的字符 keyword replace keyword 用空格替换关键词中的字符 keyword replace keyword 用空格替换关键词中的中文字符 keyword replace keyword 用空格替换关键词中的英文字符 keyword ltrim rtrim keyword 去掉关键词左边和右边的空格 函数 LTrim 去掉字符串左边空格 函数 RTrim 去掉字符串右边空格 keywordlist split keyword 将用户输入的关键词用空格分成多个关 键词并保存在一维数组 keywordlist 中 然后在循环写出查询的 spl 语句 if path or sort path 0 then search sql verify 0 and history back else if email then response write window alert 电子邮箱不能为空 history back 如果二者都不为空 则从数据库中查询 email 列的值为输入电子邮箱的记 录 如果存在记录 则判断输入的用户名是否正确 如果不正确 返回到登录 页面 如果全部正确 则登录成功 保存联系人登录的电子邮箱和 id 并将页 面转到 jion edit ok asp 修改页面 进行网站登录信息的修改 5 5 系统后台模块设计系统后台模块设计 5 15 1 网站管理模块的实现网站管理模块的实现 前台页面可以看成是对数据库中表的查询 读入 而后台则是对数据库表 中的信息进行修改 添加 删除 从而改变前台的显示信息 后台由管理员通 过管理员 id 和密码登录进行操作 5 1 15 1 1 功能描述功能描述 管理员登录之后 首先进入的就是网站管理模块 该模块管理员能够对已 审核的网站进行修改和删除操作 网站管理模块的界面如图 7 第 14 页 共 21 页 图 7 网站管理界面图 5 1 25 1 2 工作流程和代码设计工作流程和代码设计 进入该界面时 程序首先从数据库中查询 verify 0 的记录 然后将所有的 记录分页显示在页面上 当管理员单击某个网站对应的 删除 超连接 就可 以将该网站及其所有信息从数据库中删除 执行删除文件的部分代码如下 if session admin then response write window alert 你目前还没登录 请先登录 location replace index asp end if If Request action delete Then delid replace request id 获得要删除记录的 id Replace 过程将获得的 id 字符串中的 用空字符 替换 if delid or isnull delid then 要删除的记录 id 为空 则给出提示 response write alert 操作失败 没有选择合适参数 请单击确 定返回 response redirect main asp 返回到网站管理 第 15 页 共 21 页 界面 response end else id 存在 执行数据库中的删除操作 删除数据库中 id 列的值在 delid 数组中的记录 conn Execute delete from web where ID in response redirect main asp 5 25 2 网站审核网站审核 网站审核模块与网站管理模块非常相似 不同的地方在于 网站审核模块 显示的所有网站均为未审核网站 已经审核了的网站将不会在此页面显示 而 网站管理模块显示的是已审核网站 网站审核模块查询数据库的代码如下 Set rs server createobject adodb recordset rs open select id sort id title url verify click time from web where verify 1 order by id desc conn 1 1 5 35 3 分类管理模块分类管理模块 5 3 15 3 1 分类编辑分类编辑 在分类显示界面的每个分类的下面 对应着一个 编辑 超连接 单击该 超连接 进入该分类的编辑界面 分类编辑界面和分类添加界面相同 二者的 界面是由同一个文件生成 进入某一分类的界面 则在界面上显示该分类保存 在数据库中的信息 当用户输入修改后的信息 单击确定按扭 所有的数据将 被提交到 sort ok asp 文件中处理 部分处理代码如下 case edit action 的值为 edit show request form show 是否首页显示 sort id request form sort id 上级 ID set rs server createobject adodb recordset 创建 RecordSet 对象 从数据库中查询 id 列的值为 request form id 的记录 将结果保存在 rs 中 rs open select from sort where id location replace sort manage asp else response write window alert 分类修改成功 location replace sort asp sort id end If 5 3 25 3 2 分类添加分类添加 在分类显示界面的最下方 有一个 添加分类 超连接 单击该超连接 能够添加当前分类的下一层分类 界面中包含表单 forms 用来输入要添加的 分类信息 表单中定义的分类名称文本域为 sort 首页显示为一个下拉列表 show 可以选择是否要在首页显示 默认为否 上级 id 文本域为 sort id 操 作文本域为 action 它为只读型 当操作为添加时 文本域中显示 add 表 单中还定义了一个隐藏域 id 用来保存当前分类的 id 其页面显示如图 8 所示 图 8 分类信息界面图 当输入要添加的分类信息并单击 确定 按钮后 表单中的数据被提交到 sort ok asp 文件中处理 在 sort ok asp 文件中 首先判断用户是否登录 第 17 页 共 21 页 如果登录 则读取操作 action 的值 如果 action 的值为 add 则执行添加处 理 分类添加的部分代码如下 action request action h 读取 action 的值 select case action select 条件语句 case add action 的值为 add show request form show 是否首页显示 sort id request form sort id 上级 ID set rs server createobject adodb recordset 创建 RecordSet 对象 从数据库中查询 id 为空的记录 将结果保存在 rs 中 rs open select from sort where id is null conn 1 3 rs addnew 添加新记录 rs sort request form sort 分类名称 if show then 首页显示 0 为首页不显示 1 为首页显示 rs show 0 else rs show show end If if sort id then 上级 ID 的值 为空表示最上层分类 rs sort id 0 else rs sort id sort id end Ifrs sort id sort id end If rs update 更新数据库 rs close 关闭 RecordSet 对象 Set rs nothing if sort id or sort id 0 then 判断 sort id 的值 并根据 sort id 的值返回到不同的界面 response write window alert 分类添加成功 location replace sort manage asp else response write window alert 分类添加成功 location replace sort asp sort id end If 第 18 页 共 21 页 5 3 35 3 3 分类删除分类删除 删除操作也是在 sort ok asp 文件中执行的 在 sort ok asp 文件中 如 果读取 action 的值为 delete 则执行删除操作 在代码中 首先读取 id 和 sort id 的值 然后执行 del 过程将所有相关分类删除 最后根据 sort id 的值将页面转到相关页 其中 del 过程是一个递归过程 其基本思想是 首先判断该分类是否是最下级分类 如果是 则直接删除改分类 完成操作 如果不是最下级分类 则查询该分类的下级分类 对每一下级分类 执行与该 分类同样的操作 即首先根据情况处理 最后直到所有的下级分类以及下级分 类的下级分类等都删除掉 然后再将该分类删除 del 的具体代码如下 Function Del sort id id Set drs Server CreateObject ADODB RecordSet drs Open Select from sort where sort id id conn 1 3 If drs EOF or drs BOF Then 不存在满足条件的记录 即该分类是最下级分 类 conn Execute delete from sort where ID id 删除该分类 Exit Function 跳出 Function 过程 Else 还存在下级分类 Do While Not drs EOF 循环处理每一个下级分类 nid drs id 下级分类的 id Del id nid 删除该下级分类 drs MoveNext 指向下一条记录 Loop End If drs Close 关闭 RecordSet 对象 Set drs nothing conn Execute delete from sort where id id 删除该分类 End Function 6 6 系统性能测试系统性能测试 6 16 1 系统测试环境系统测试环境 本系统测试环境 CPU P 内存 SDRAM 128M SQL SERVER 2000 WIN2000 XP 2003 下均测试通过 建议用户 CPU P 内存 256M 及以上 数据库版本 SQL SERVER 2000 WIN2000PRO XP 2003 WIN2000 SERVER 及以上 第 19 页 共 21 页 软硬件平台使用 6 26 2 测试结果测试结果 在系统的各个模块设计完成之后 需要对整个系统进行全面的测试 目的 是让整个系统能够快速 稳定 安全的运行 在进行系统测试过程中会出现如 下几种情况 1 及时的捕捉数据库连接和关闭异常 2 对数据库查询操作异常进行捕捉 3 对数据库插入操作异常进行捕捉 4 对