网站数据采集系统.doc

25网站数据采集系统软件V1.0网站数据采集系统1.1系统概述 采集系统是一款功能全面、准确、稳定、易用的网络信息采集软件。它可以轻松将你想要的网页内容（包括文字、图片、文件、HTML源码等）抓取下来。采集到的数据可以直接导出到EXCEL、也可以按照你定义的模板保存成任何格式的文件（如保存成网页文件、TXT文件等）。也可以在采集的同时，实时保存到数据库、发送到网站服务器、保存到文件。1.2 软件安装软件环境操作系统：Windows XP/Windows 2000/Windows2003 运行环境：WEB服务器：Apache 2.0系列以上(支持httpd, Zeus, IIS 等WEB服务 器)数据库：Mysql (5.0 或者更高版本)MS SQL Sverer 2000 数据库账号应当拥有 CREATE、DROP、ALTER 等执行权 限，同时 文 件空间需不低于 2M，数据库空间不低于 5M硬件环境CPU ：2.4G以上内存：1024M以上硬盘：80G以上1.2 软件安装网站数据采集系统软件以Windows.NET 2.0为平台进行开发和构架，因此服务器需要配置好相应的环境后方可正常运行网站。 在进行系统安装前，请准备好相应Windows操作系统光盘，并下载好SQL软件安装包和Microsoft .NET Framework 2.0安装文件。1. 解压网站数据采集系统的安装程序文件压缩包。2.将“ Web Site”文件夹中的所有网站系统文件，放置到网站目录中，如E:数据采集系统 目录。您也可以通过FTP 将网站系统文件直接上传到主机空间的网站目录中。打开浏览器，在地址栏输入http:/localhost/数据采集系统/访问网站（注：数据采集系统是您指定的虚拟目录名，如果您将网站安装在IIS 默认根目录下的，则直接输入http:/ local host/），系统自动跳转到install 1.创建数据库第一步、运行“企业管理器”，如下图第二步、在“企业管理器”中点击“新建数据库”，如下图第三步、名称设置为“Caiji，点击“确定”完成数据库创建，如下图2、用查询分析器创建数据库表结构第一步、选择新建的“Caiji”数据库，点击工具SQL查询分析器，进入“SQL查询分析器 第二步、在“查询分析器”中点击文件打开 第三步、在打开的目录中，选择“Caiji.SQL”,然后点击“打开”，如下图 第四步、点击查询执行或按“F5”以执行查询分析，并完成数据库表结构的创建注：Caiji.sql文件与安装程序一样刻录在安装盘中一、 用附加数据库方法创建数据库如果是系统重新安装，要把原有数据保留，请按下面的方法操作。（前提是重做系统之前已经把Caiji数据库的数据文件和日志文件拷贝到其它路径）1、打开“企业管理器”，右键点击“数据库”，选择“所有任务”“附加数据库”，2、弹出的界面如下图所示3、点击“”按钮，选择你已经拷贝出的“ Caiji _Data.MDF”文件，然后点击“确定”，4、之后回到“附加数据库”界面，再点击确定，则数据库附加成功，原有数据也得以保留。如以下两注1：当数据库安装并配置完成后，还需要更改以下设置，具体操作如下面图例1、进入“企业管理器”，如下图2、进入“企业管理器”后，选择Caiji数据库，右键点击后选择“属性”。3、点击“属性”后，将进入“Caiji属性”界面，点击“选项”选项卡，把“故障还原”处的“模型”项选为“简单”，然后点确定，如下图所示：此处选择“简单”主要是因为简单恢复允许将数据库恢复到最新的备份，已经可以满足对数据恢复的要求，如果选择“完全”或“大容量日志”将导致大量的冗余数据写入日志，会使程序对数据库的操作变慢，甚至无法写入或读取数据。注2：随着时间的增长数据库的数据文件将越来越大，当数据文件超过300M后，软件对数据的操作（插入、更新等）效率亦将越来越低，所以还要做如下工作1、 进入企业管理器，如注11所示2、 右键点击“Caiji”如下图所示，准备进入“收缩数据库”3、 进入“收缩数据库Caiji”界面后，将“根据本调度来收缩数据库”勾选4、 选择“根据本调度来收缩数据库”后，再点击“更改”按钮，进入“编辑调度”界面5、 在“编辑调度”界面中，选择“反复出现”选项，再点击“更改”按钮，进入“编辑反复出现的作业调度”界面，如下图6、 在“编辑反复出现的作业调度”界面中，“发生频率”选择“每天”，右侧“每天”子项中可以定义发生的间隔天数，推荐3天；“每日频率”中选择“一次发生于”，最好在凌晨进行；其它选项默认即可，如下图2. 软件使用说明2.1 节点管理节点是为了对信息进行分类管理而设定的分类方式。节点具有以下特点：节点支持无限级扩展分类功能（即可以将网站分类无限级分类），任意一级节点都可以增加子节点或设为单页节点。节点支持跨模型容纳信息（即不限制信息所属的内容模型），允许不同内容模型的信息类型发布在同一节点中（如：一个节点中可以包含软件信息、文章信息、供求信息等多个内容模型的信息），多种类型的内容并展现在前台浏览，并且可以统一进行后台管理。节点可以设置不同的管理权限和访问权限，同时可以指定不同的模板。节点具有排序、合并、移动、批量设置、复位、修复等管理功能操作。在网站中，节点分为栏目节点、单页节点、外部链接等多个类型。当节点下包含相应子节点或多个信息页时，其节点为栏目节点（等同于以前的“栏目”概念），栏目节点一般应用于信息分类需求。当节点本身就是一个信息页，其节点为单页节点（等同于以前的“信息页面”概念，如：网站的“联系方式”、“公司简介”、“版权声明”等信息页面），单页节点一般应用于无分类需求的信息页面。当一个节点下包含一个或多个节点时，其节点本身称为“父节点”（或“父栏目”），被包含的节点称为“子节点”（或“子栏目”），子节点中不包含其他节点。为了方便对栏目快捷管理，系统提供了节点右键管理菜单的功能。在“节点管理”左侧的“网站节点管理”导航中，系统以树型结构方式显示站内的节点结构与名称（简称节点树）。在相应节点名上单击鼠标右键，在出现的右键菜单中提供了“修改设置”、“添加栏目节点/ 子栏目”、“添加单页节点”、“添加外部链接”、“复位子栏目”、“移动栏目”、“清空栏目”、“删除栏目/ 节点”等快捷操作功能链接（父栏目节点、子栏目节点、单页节点/ 首页、外部链接等不同的节点类型所出现的右键菜单有所差异），选择相应功能链接即可快速设置节点，人性化的系统功能设计极大地提高了网站管理效率。2.1.1 添加栏目节点添加栏目节点的方法：方法一：依次点击“系统设置”- “节点管理”- “添加栏目节点”功能链接，在出现的“添加栏目”界面中显示了所需设置或填写的信息。方法二：依次点击“系统设置”- “节点管理”，在左侧“网站节点管理”导航中，在相应节点名上单击鼠标右键，在出现的右键菜单中选择“添加栏目节点”功能链接，在出现的“添加栏目”界面中显示了所需设置或填写的信息。1. 基本信息在“基本信息”书签式管理选项中可以填写所属栏目、栏目名称、栏目标识符、栏目的目录名、栏目图片地址、栏目提示、栏目说明、栏目M E T A 关键词、栏目M E T A 网页描述等栏目基本信息。重要参数说明：所属栏目：首次添加节点时，此处显示“根节点”。添加二级及以下栏目时，此处选择所属栏目名。栏目标识符：填写栏目的标识符，在前台模板中的标签调用时可以直接用标识符取代栏目I D。栏目目录名：填写栏目的目录名，系统将在网站中自动生成目录名，目录名只能是字母、下划线组成。请注意：一旦确定目录名后将不能更改。栏目图片地址：用于在栏目页显示指定的图片。栏目提示：填写鼠标移至栏目名称上时所显示设定的提示文字（不支持H T M L ）。栏目说明：用于在栏目页详细介绍栏目信息（支持H T M L ）。栏目MET A 关键字、栏目MET A 网页描述：分别针对搜索引擎设置的网页关键词和网页描述。2. 栏目选项在“栏目选项”书签式管理选项中可以设置打开方式、栏目类型、评论权限、工作流、是否启用此栏目的防复制、防盗链功能、有子栏目时是否可以在此栏目添加文章、本栏目热点的点击数最小值等选项。重要参数说明：打开方式：设置该栏目是在新窗口打开还是在原窗口打开。栏目类型：设置用户可以浏览本栏目的信息列表（简称浏览）与查看本栏目的信息内容（简称查看）的权限。 开放栏目：任何人（包括游客）可以浏览和查看此栏目下的信息。 半开放栏目：任何人（包括游客）都可以浏览本栏目中的信息列表。游客不可查看本栏目中信息的内容，其他会员根据会员组的栏目权限设置决定是否可以查看。 认证栏目：游客不能浏览和查看，其他会员根据会员组的栏目权限设置决定是否可以浏览和查看。当设置不同的栏目类型后，“权限设置”书签式管理选项中“会员组权限”中对应权限的复选框将由系统默认设置：设置为“开放栏目”类型，系统将默认勾选所有会员组的“浏览”和“查看”权限（不可去除）；设置为“半开放栏目”类型，系统将默认勾选所有会员组的“浏览”权限（不可去除）；设置为“认证栏目”类型，所有会员组的权限默认不勾选。3. 模板选项在“模板选项”书签式管理选项中可以设置本栏目的模板文件，选择内容模型及内容模型的默认内容页模板。 单击“栏目首页模板”后面的“浏览”按钮，在弹出模板方案界面中单击打开相应类型文件夹，选择所需对应的模板文件名称后，单击页面底部“确定”按钮即可返回“模板选项”页面。右侧内容框中显示本模板文件的地址信息。栏目列表页模板、内容模型默认模板与上述模板选择设置方式相同。重要参数说明：栏目首页模板：访问本栏目时所显示的栏目首页模板文件。栏目列表页模板：在访问栏目首页中列表信息时，若想显示本列表更多的内容，可在模板中放入分页标签以分页格式查看列表信息，栏目列表页模板即为显示这个分页列表信息的模板样式。关于栏目列表页模板的应用请参阅后章“动易模板方案揭秘”中的相关说明。选择内容模型/ 选择内容模型对应的内容页模板：绑定本栏目节点可包含的内容模型，同时设置本内容模型中所默认的内容页模板文件。节点支持跨模型容纳信息，因此一个节点中可以选择多个内容模型及其默认内容页模板。在添加了新的内容模型，并指定了其默认的内容页模板后，再进行添加或修改栏目节点的管理操作时，在节点“模板选项”书签式管理选项的“选择内容模型/选择内容模型对应的内容页模板”处，则可看到新添加的内容模型名称及其所默认内容页模板地址。关于内容模型请参阅后章“内容模型管理”的相关设置与说明。4.生成选项在“生成选项”书签式管理选项中可以开启/ 关闭和设置本栏目的生成H TM L 静态页面功能。5. 权限设置在“权限设置”书签式管理选项中既可以设置会员组查阅和管理本栏目信息的权限，也可以设置管理员对本栏目管理的角色权限（其中超级管理员是默认具有所有管理的权限，即不需要在此处设置）。6.收费设置： 在“收费设置”书签式管理选项中可以设置本栏目中信息的积分奖励、消费点券数、重复收费、分成比例等收费方式选项。7.前台样式 在“前台样式”书签式管理选项中可以设置本栏目在前台所显示的样式选项。8.自设内容 自设内容是用于栏目（或专题）自定义设置、调用与显示所定义的内容。在设计和指定栏目（或专题）模板时若只想使用同一个模板，且模板中只是在相同的位置显示一些不同的信息（如本栏目文字介绍、个性图片等自定义信息），这时只是模板中调用位置相同而仅仅是显示内容不同，因此在模板设计上不用每一个栏目（或专题）使用自己独立的模板，这时只需要在相应的位置调用自定义内容的标签即可。重要参数说明：自设内容项目数：点选右侧下拉选择框中的数值，可以设置自设内容的项目数。系统自动在下文出现相应的内容框。自设内容：在右侧内容框中填写内容（支持H T M L ）。设置好相关选项后，在栏目列表模板页面插入PE.Label id=“自设内容” nodeid=“Request_id”num=“*” /标签即可调用所设置的内容。2.1.2 添加单页节点当网站中需要显示“联系方式”、“公司简介”、“版权声明”等无分类需求的单个信息页面时，可以添加单页节点的方式来实现。依次点击“系统设置”- “节点管理”- “添加单页节点”功能链接，在出现的“添加栏目”界面中设置其所属节点、单页名称、单页标识符、列表页生成HTML方式、栏目列表文件名及后缀、指定单页模板、打开方式、单页图片地址、单页提示、单页说明、单页META 关键词及网页描述等选项信息后，单击“保存”按钮以添加单页节点。单页节点添加完成后，在左侧“网站节点管理”导航中，系统以树型结构方式显示单页节点的位置及名称。2.1.3 添加外部链接外部链接是指在网站中添加节点的链接地址为网站外部的地址。如在网站顶部导航中，显示“论坛”文字，以新窗口打开方式打开网址，则可添加外部链接节点的方式来实现。依次点击“系统设置”- “节点管理”- “添加外部链接”功能链接，在出现的“添加外部链接”界面中可设置所属节点、名称、标识符、链接地址、打开方式、图片地址、链接提示等选项和设置是否显示在位置导航处。2.1.4 修改节点系统提供快速修改节点的操作方式。在“节点管理”界面左侧的“网站节点管理”导航中，单击节点名前的“+”图标展开节点结构后，单击相应的节点名，右侧即出现“修改栏目设置”的界面。修改好相应选项信息后，单击页面底部的“修改”按钮即可保存所作的修改。温馨提示：在信息管理界面中，在相应栏目节点名上单击鼠标右键，在出现的右键菜单中选择“设置节点”功能链接也可快速进入修改节点管理界面。2.1.5 栏目排序本操作将调整前后台栏目显示和排列的顺序，有“一级栏目排序”和“子栏目排序”二种管理方式。一级栏目排序只对树型结构中第一级栏目节点进行排序操作，子栏目排序可对栏目节点中所属的子栏目节点进行排序操作。1. 一级栏目排序： 依次点击“系统设置”- “节点管理”- “栏目排序”功能链接，出现“栏目排序”管理界面： 在界面中显示节点名。调整节点排序时，鼠标点选相应的栏目名，栏目名前出现双箭头，鼠标拖动到要排序的位置即可，系统无刷新显示调整后的排序结果。在排序后，单击页面底部“保存排序”按钮，系统出现成功提示信息，单击“ 依次点击“系统设置”- “节点管理”- “栏目排序”功能链接，单击左侧管理导航中相应一级节点名，右侧出现其所属子栏目节点的“栏目排序”管理界面。 按上述栏目排序的方法进行栏目排序操作，单击页面底部“保存排序”按钮即可保存排序结果。 合并栏目本操作是将一个节点内所有信息转移合并到目标节点中去，原节点名及其下属节点将被删除。依次点击“系统设置”- “节点管理”- “合并栏目”功能链接，在出现的管理界面中，“将节点”右侧为源栏目下拉选择框，“合并到”右侧为目标栏目下选择拉框。分别点选相应栏目下选择拉框中的栏目名后，单击“合并节点”功能按钮即可执行合并操作，系统出现成功提示信息。2.1.7 移动栏目本操作是将一个节点中的所有信息转移到目标节点中去，原指定节点包括其下属节点不会被删除。目标节点不能指定为当前节点的下属子节点或外部节点（外部链接）。依次点击“系统设置”- “节点管理”- “移动栏目”功能链接，在出现的管理界面中，左侧内容框中显示将要被移动的源栏目，右侧内容框中显示目标栏目。以鼠标分别点选相应内容框中的栏目名后，单击“保存移动结果”按钮即可执行移动操作，系统出现成功提示信息。2.1.8 清空栏目本操作是清空所选栏目节点中的所有信息。展开左侧节点树，在相应栏目节点名上单击鼠标右键，在出现的右键菜单中选择“清空栏目”功能链接。系统出现再次确认对话框，单击“确定”按钮则清空归属于本栏目节点中的所有信息内容。2.1.9 删除栏目本操作是删除所选栏目节点。展开左侧节点树，在相应的节点名上单击鼠标右键，在出现的右键菜单中选择“删除栏目”功能链接。系统出现再次确认对话框，单击“确定”按钮则删除本节点。2.1.10 批量设置本操作是批量设置节点属性，包括对节点选项、前台样式、权限设置的批量设置。利用本功能可以对节点所需的相同属性进行快捷批量设置。 依次点击“系统设置”- “节点管理”- “批量设置”功能链接出现“批量设置”界面，在左侧内容框按住“C t r l”或“S h i f t”键间隔或连续多选要批量设置的节点名（如果要选择或取消已经选择的所有节点，单击底部“选定所有节点”或“取消选定所有节点”按钮即可快速操作）。在右侧管理界面中，可以在栏目选项、模板选项、收费设置、前台样式、生成选项、权限设置等书签式管理选项中设置相应选项及参数。设置好后，单击页面底部“执行批处理”按钮，以批量设置节点属性。2.1.11 复位所有栏目本操作是将所有栏目节点及其子栏目节点都复位为一级节点。依次点击“系统设置”-“节点管理”-“复位所有栏目”功能链接，在出现“复位所有栏目”界面中单击“复位所有节点”按钮即可。2.1.12 修复栏目结构本操作是修复节点出现排序错误或串位的情况。依次点击“系统设置”- “节点管理”- “修复栏目结构”功能链接，在出现“修复栏目”界面中单击“开始修复”按钮即可。2.2 专题管理 在网站运营中，经常需要对网站各节点中的信息进行二次归类。即在使用节点对信息进行分类处理的基础上，再根据某一主题（例如特定软件、特定人物、特定事件等）对节点内的信息进行跨节点的二次分类（如：将网站中文章、图片、下载、商品等模型中所有节点中关于奥运会的信息提出来，根据奥运会这一专题主题进行集中展示）。系统提供专题类别与专题功能，与节点一样支持跨模型容纳信息，支持权限分配和指定专属模板的功能。专题类别：指专题的分类，不同的专题属于不同的专题类型，以方便对专题进行归类管理。专题：专题（S p e c i a l）是根据某一特定主题对信息进行跨节点分类管理的分类方式。可以对专题的修改、合并、批量设置、类别管理和类别排序等功能。2.2.1 专题类别管理1. 专题类别管理依次点击“系统设置”- “专题管理”- “专题类别管理”功能链接，在出现的管理界面中显示了专题类别的I D 、名称、描述和操作功能。在“专题类别操作”列中提供了添加专题、专题列表、专题排序、修改、删除等管理功能链接。在左侧的“专题管理”导航中，以树型结构方式显示了系统默认内置的文章专题、下载专题、图片专题等专题类别，系统同时提供专题类别右键管理菜单的功能： 在树型结构顶部的网站标题名上单击鼠标右键，在出现的右键菜单中可选择“添加专题类别”和“专题类别排序”管理功能链接。 在树型结构的专题类别名上单击鼠标右键，在出现的右键菜单中可选择“添加专题”、“修改类别”和“删除类别”管理功能链接。单击树型结构中的专题类别名，可以分页列表方式查看和管理本专题类别中的专题。2. 专题类别排序本操作将调整前后台专题类别的显示和排列的顺序。依次点击“系统设置”- “专题管理”- “专题类别排序”功能链接。调整专题类别排序时，鼠标点选相应的专题类别名，专题类别名前出现双箭头，鼠标拖动到要排序的位置即可，系统无刷新显示调整后的排序结果。在排序后，单击页面底部“保存排序”按钮，系统出现成功提示信息，单击“专题管理”- “专题类别管理”功能链接，在出现的管理界面中，单击“添加专题类别”按钮，出现“添加专题类别”界面。方法二：在专题管理界面左侧的“专题管理”导航中，在树型结构类别顶部的网站标题名上单击鼠标右键，在出现的右键菜单中选择“添加专题类别”，出现“添加专题类别”管理界面。在出现的管理界面中显示了专题类别名称、目录名、描述、是否在新窗口打开、是否生成静态页、生成静态页扩展名、专题类别列表页模板等选项信息，其选项与添加栏目节点的选项类似。在填写和设置好相关信息后，单击页面底部的“添加”按钮添加专题类别。4. 修改专题类别在树型结构的专题类别名上单击鼠标右键，在出现的右键菜单中选择“修改类别”功能链接。在管理界面中修改相应的选项参数后，单击页面底部“保存专题类别”功能按钮保存修改设置。5. 删除专题类别在树型结构的专题类别名上单击鼠标右键，在出现的右键菜单中选择“删除类别”功能链接。系统出现再次确认对话框，单击“确定”按钮则删除本专题类别。9.2.2 专题管理1. 添加专题方法一：在专题管理界面左侧的“专题管理”导航中，在树型结构的专题类别名上单击鼠标右键，在出现的右键菜单中选择“添加专题”，出现“添加专题”管理界面。方法二：依次点击“系统设置”- “专题管理”- “专题类别管理”功能链接，在出现的管理界面中，单击“专题类别操作”列中的“添加专题”功能链接，出现“添加专题”界面。在出现的“添加专题”界面中显示了所需设置或填写的信息，为方便归类管理，分成“基本信息”、“权限设置”、“生成选项”和“自设内容”等书签式管理选项，以方便您快捷按分类添加。在填写好相关信息后，单击页面底部“添加”按钮保存所添加的专题。重要参数说明：基本信息：在“基本信息”书签式管理选项中可以填写所属专题类别、专题名称、专题标识符、专题的目录名、专题图片地址、专题提示、专题说明、是否推荐、打开方式和列表页模板等基本信息。权限设置：在“权限设置”书签式管理选项中可以设置允许专题信息录入和管理权限的用户组。 在相应会员组和管理员角色名所在行中，勾选相应权限的复选框即可设置相应权限。管理员可以在不同地方（专题“权限设置”中或会员组“设置专题权限”中）设置本专题的权限，系统将统一保存其权限设置。生成选项：在“生成选项”书签式管理选项中可以设置列表页生成H T M L 方式、列表页文件的存放位置、列表页文件的扩展名。自设内容：在“自设内容”书签式管理选项中可以设置自设内容项目数、自设内容。用于专题自定义内容的设置、调用与显示。2. 专题列表在左侧的“专题管理”导航中，单击树型结构中的专题类别名，可以分页列表方式查看和管理本专题类别中的专题。在“专题管理”界面中显示了专题的I D 、名称、目录、打开方式、描述和专题操作等信息。“专题操作”列中提供了修改、删除、清空等管理链接。3. 专题排序专题排序主要对专题类别中所属的专题进行排序操作。依次点击“系统设置”- “专题管理”- “专题类别管理”，在管理界面中单击“专题类别操作”列相应专题类别所在行的“专题排序”功能链接。在出现的专题排序管理界面中，鼠标点选相应的专题名，专题名前出现双箭头，鼠标拖动到要排序的位置即可，系统无刷新显示调整后的排序结果。在排序后，单击页面底部“保存排序”按钮，系统出现成功提示信息。4. 修改专题类别在树型结构的专题类别名上单击鼠标右键，在出现的右键菜单中选择“修改类别”功能链接。在管理界面中修改相应的选项参数后，单击页面底部“保存专题类别”功能按钮保存修改设置。5. 删除专题类别在树型结构的专题类别名上单击鼠标右键，在出现的右键菜单中选择“删除类别”功能链接。系统出现再次确认对话框，单击“确定”按钮则删除本专题类别。2.2.2 专题管理1. 添加专题方法一：在专题管理界面左侧的“专题管理”导航中，在树型结构的专题类别名上单击鼠标右键，在出现的右键菜单中选择“添加专题”，出现“添加专题”管理界面。方法二：依次点击“系统设置”- “专题管理”- “专题类别管理”功能链接，在出现的管理界面中，单击“专题类别操作”列中的“添加专题”功能链接，出现“添加专题”界面。在出现的“添加专题”界面中显示了所需设置或填写的信息，为方便归类管理，分成“基本信息”、“权限设置”、“生成选项”和“自设内容”等书签式管理选项，以方便您快捷按分类添加。在填写好相关信息后，单击页面底部“添加”按钮保存所添加的专题。重要参数说明：基本信息：在“基本信息”书签式管理选项中可以填写所属专题类别、专题名称、专题标识符、专题的目录名、专题图片地址、专题提示、专题说明、是否推荐、打开方式和列表页模板等基本信息。权限设置：在“权限设置”书签式管理选项中可以设置允许专题信息录入和管理权限的用户组。 在相应会员组和管理员角色名所在行中，勾选相应权限的复选框即可设置相应权限。管理员可