01数据采集管理系统运维手册 V1 0

国家旅游局旅游基础数据库建设项目运行维护手册(数据采集管理系统篇)版本控制信息版本日期拟稿和修改说明V1.0版2014年12月TeamsunV1.1版2015年8月Teamsun本文档中的所有内容为用户机密和专属所有。未经用户的明确书面许可，任何组织或个人不得以任何目的、任何形式及任何手段复制或传播本文档部分或全部内容。北京华胜天成科技股份有限公司 II目录1概述12目的12.1适用范围12.2开发单位12.3术语定义13操作环境13.1系统运行环境13.2服务器部署概述24系统服务程序24.1系统服务程序的构成24.2系统服务程序的启动、关闭及维护管理34.2.1系统主服务34.2.2检索服务44.2.3定时任务55数据采集爬虫服务65.1采集服务部署说明65.1.1采集器详细部署结构65.2启动关闭65.3配置说明76机器人采集服务86.1机器人采集服务部署说明86.1.1机器人详细部署结构86.2启动关闭96.3配置说明97系统服务维护过程127.1windows 2009系统的日常维护127.1.1定期检查磁盘空间127.1.2维护系统注册表127.1.3定期备份系统注册表137.1.4清理system路径下的无用的dll文件137.2系统常见问题147.2.1数据管理系统中常见的问题147.2.2检索服务接口中常见的问题157.2.3爬虫采集器中常见的问题157.2.4机器人采集中常见的问题158数据库维护过程168.1数据库的备份策略168.1.1备份方式168.1.2备份计划168.1.3常见故障恢复168.2数据库的日常维护208.2.1检查数据库的基本状况208.2.2检查数据库日志文件208.2.3监控数据库表空间的使用情况（字典管理表空间）209附录20北京华胜天成科技股份有限公司 IV1 概述2 目的数据管理系统使用的服务器均采用windows Server 2008操作系统,数据库版本为：Mysql 5.0，随着采集时间的增长，MySQL数据库中存储的数据量也不断增大，这样对操作系统和数据库的日常维护就显得十分重要。本手册详描述数据采集管理系统部署、运维过程中可能出现的各种问题，以及这些问题的解决方案，指导现场运维、实施等人员对其进行监控和维护。2.1 适用范围使用者为数据管理系统运维、实施工程师2.2 开发单位建设单位：国家旅游局监理单位：北京国研信息工程监理咨询有限公司承建单位：北京华胜天成科技股份有限公司2.3 术语定义缩写、术语解 释数据采集系统管理数据采集的信息源，及对采集到的数据进行清洗、分类等的系统。OTA旅游在线电商网站3 操作环境3.1 系统运行环境操作系统：Windows Sercer 2003以上、Unix、Linux等；Java环境：JDK1.6及以上，Tomcat-6.0.18；数据库环境：MySql 5.0以上、或mariadb-5.5以上；3.2 服务器部署概述服务器数量：20台，基本信息如下：服务器操作系统安装的模块Ip地址云端数据管理系统服务器Windows 2008 R 标准版系统应用17定时任务服务器Windows 2008 R 标准版系统定时任务3应用数据库服务器Red Hat Linux 6数据库4爬虫服务器Windows 2008 R 标准版数据采集34578机器人服务Windows 2008 R 标准版数据采集服务1234568901274 系统服务程序4.1 系统服务程序的构成系统主程序：所在服务器主服务器（ip: 5）程序名称pom所在目录E:WisePOM_CTTomcat-6.0.18系统检索程序：所在服务器从服务器（ip: 5）程序名称search.V2.0所在目录E:WisePOM_CTsearch.V2.0系统定时任务处理程序：所在服务器从服务器（ip: 3）程序名称pom所在目录E:WisePOM_CTTomcat-pom_ct-timer4.2 系统服务程序的启动、关闭及维护管理4.2.1 系统主服务 系统主服务说明所在目录程序名称程序简要说明E:WisePOM_CTTomcat-6.0.18webappspompom数据管理系统主程序E:WisePOM_CTTomcat-6.0.18webappspomWEB-INFclasses/perties主程序的配置文件 系统主服务启动关闭启动文件：E:WisePOM_CT Tomcat-6.0.18bintomcat_startup.bat启动方式：双击关闭方式：关闭对应的docs窗口 配置说明perties配置文件说明参数值含义用途jdbc.urljdbc:mysql:/:3306/pom_ct?useUnicode=true&zeroDateTimeBehavior=convertToNull&characterEncoding=utf-8数据库链接连接数据库jdbc.usernameroot登录名登陆数据库的登录名jdbc.passwordwisedb密码登陆数据库的密码search.host检索服务所在服务器ip检索服务调用ipsearch.port8001检索服务使用的端口检索服务调用端口img.url:8080/images/tours/图片服务连接图片调用连接rawsitedata.pathtZ:/rawsitedata/非结构化数据文件路径保存各种信息正文的路径rawsitedata.path.bakZ:/rawsitedata_bak/非结构化数据备份路径数据备份时备份信息正文txt文件的路径image.dir2E:WisePOM_CT Tomcat-6.0.18 webapps/images/tours/图片路径上传图片时图片的保存路径 4.2.2 检索服务 检索服务服务说明所在目录程序名称程序简要说明E:WisePOM_CTsearch.V2.0search.V2.0检索服务接口control.xml检索服务配置文件fields.xml检索服务配置文件gatherdb-to-targetdb.xml检索服务配置文件index-dataresource.xml检索服务配置文件search.xml检索服务配置文件sec_config.xml检索服务配置文件target-dataresource.xml检索服务配置文件 系统主服务启动关闭启动文件：E:WisePOM_CTsearch.V2.0searchV2.0.bat启动方式：双击关闭方式：关闭对应的docs窗口 配置说明control.xml配置文件说明参数值含义用途ip当前服务器ip用于数据处理调度port40012当前服务使用的端口数据处理服务端口slave:40012从节点配置信息处理数据节点的链接信息interval1服务运行频率检索接口更新频率search.xml配置文件说明参数值含义用途zkHost1:2181, 2:2181, 3:2181, 4:2181, 5:2181,Solr服务所在服务ip和端口用于连接到solr服务searchport8001当前检索服务端口用于其他服务调用collectioncollection1Solr服务的命名空间定位当前使用的索引服务4.2.3 定时任务 系统主服务定时任务说明所在目录程序名称程序简要说明E:WisePOM_CTTomcat-pom_ct-timer webappspompom数据管理系统定时任务主程序E:WisePOM_CTTomcat-6.0.18webappspomWEB-INFclasses/perties定时任务配置文件 系统主服务启动关闭启动文件：E:WisePOM_CT Tomcat-pom_ct-timer bintomcat_startup.bat启动方式：双击关闭方式：关闭对应的docs窗口 配置说明见5 数据采集爬虫服务5.1 采集服务部署说明5.1.1 采集器详细部署结构服务器IP安装目录启动文件登陆用户登陆密码3E:WisePOM_CTE:WisePOM_CTGather.batadministrator123456a!4E:WisePOM_CTE:WisePOM_CTGatherServer_data.batadministrator123456a!5E:WisePOM_CTE:WisePOM_CTGather.batadministrator123456a!7E:WisePOM_CTE:WisePOM_CTGather.batadministrator123456a!8E:WisePOM_CTE:WisePOM_CTGather.batadministrator123456a!5.2 启动关闭启动方式主要有两种：每个采集器的根目录下均存在一个Run_Gather.bat文件，双击该文件即可启动采集服务;点击4.1.1列表中各个服务器启动文件.5.3 配置说明1) 爬虫采集的配置文件所在路径如下图中所示的SiteGather.xml文件，其文件中主要的配置信息如下所示：1././rawsitedata/ pomelint_web_siteconfwise_web_docinfo03rootwisedb2) 其各主要配置项说明如下所示：ID：采集的唯一id；SavePath：采集的信息的正文保存的路径Database：采集器使用的数据库名称；SiteTable：保存待采集信息源的表；MainTable：保存采集结果的表名；Host：数据库所在服务的IP；User数据库用户名；Passwd：数据库密码；6 机器人采集服务6.1 机器人采集服务部署说明6.1.1 机器人详细部署结构虚拟机名称ip安装目录启动文件访问路径vm-Robot022C:RoboServer721:C:RoboServer73bin/RobotStart.bat 2:StartDemoDatabase.exe2:50080/vm-Robot033C:RoboServer723:50080/vm-Robot044C:RoboServer724:50080/vm-Robot055C:RoboServer725:50080/vm-Robot056C:RoboServer726:50080/vm-Robot088C:RoboServer728:50080/vm-Robot099C:RoboServer729:50080/vm-Robot100C:RoboServer720:50080/vm-Robot111C:RoboServer721:50080/vm-Robot122C:RoboServer722:50080/vm-Robot057C:RoboServer727:50080/6.2 启动关闭点击5.1.1列表中各个服务器启动文件目录下相应的文件即可。6.3 配置说明机器人的配置主要有以下部分：配置数据库连接；配置机器人调度服务；其各部分配置说明如下所示：数据库连接配置方法：1. 双击“C:RoboServer72binSettings.exe”文件，打开数据库配置界面，如下图所示： 2. 点击上图中的database Connections按钮，打开数据库配置项目，如下如所示，在输入红色框内的各项后，点击Test Connection按钮，测试数据的信息是否正确，如果有误，重新修改相应的配置项值；3. 双击“C:RoboServer72binRobotStart.bat“文件启动机器人服务；4. 在IE地址栏输入“http:/localhost:50080/”打开机器人的调度界面，如下如所示：5. 在调度界面中上传机器人模板，采集数据，其上传机器人的步骤如下图中所示：机器人的上传详细步骤如下：a. 点击界面中的Scheduler按钮，加入机器人添加界面，点击左上角的New按钮打开添加界面，如下如所示：b. 输入机器人在调度中显示的name以及调度方式等信息，如下如所示：c. 点击上图中右上角的Add Robot按钮，在弹出的窗口中点击Browse按钮，选择想要添加机器人，最后点击打开-Finish-Save按钮，完成一个机器人的添加操作。如下图所示：7 系统服务维护过程7.1 windows 2009系统的日常维护7.1.1 定期检查磁盘空间这是最简单、最直接的方法。一般来说，你可以使用windows系统自身提供的磁盘碎片整 理和磁盘扫描程序来对磁盘文件进行优化。这两个工具都非常简单。如果你是一位对windows系统有一定了解的用户，建议你使用norton utilities 3.05提供的norton disk doctor和norton speed disk，这都是由symantec于1998年最新推出的磁盘维护工具，其显著特点是运行速 度快，功能强大。而值得称道的是，norton speed disk的磁盘碎片整理速度比windows内建的同类工具要快出十几倍，而且程序提供了非常多 的优化控制，是一个非常值得使用的工具。这两个工具的使用方法都非常简单，你只需要选择好需要进行磁盘扫描或优化的驱动器，并执行相 应程序界面中的命令即可开始操作。此外，除了进行磁盘文件排列的优化和错误扫描。我们还可以使用windows自身提供的磁盘清理工具或 norton utilities提供的space wizard对磁盘中的各种无用文件扫描。它们都可以非常安全地删除系统各路径下存放的临时文件、无用文件、备份文件等等，完全释放磁盘空间。7.1.2 维护系统注册表我们知道，windows的注册表是控制系统启动、运行的最底层设置，其文件为windows安装路径下的system.dat和user.dat。这两个文件并不是 以明码方式显示系统设置的，普通用户根本无从修改。而我们知道，如果你经常地安装卸载应用程序，这些应用程序在系统注册表中添加的 设置通常并不能够彻底删除，时间长了会导致注册表变得非常大，系统的运行速度就会受到影响。目前市面上流行的专门针对windows注册表的 自动除错、压缩、优化工具也非常多，可以说norton utilities提供的windows doctor是最好的，它不但提供了强大的系统注册表错误设置的 自动检测功能，而且提供了自动修复功能。使用该工具，即使你对系统注册表一无所知，也可以非常方便进行操作，因为你只需使用鼠标单击 程序界面中的next按钮，就可完成系统错误修复。7.1.3 定期备份系统注册表对系统注册表进行备份是保证windows系统可以稳定运行、维护系统、恢复系统的最简单、最有效的方法。我们知道，系统的注册表信息保存在 windows文件夹下的，其文件名是system.dat和user.dat。这两文件具有隐含和系统属性，现在你需要做的就是对这两个文件进行备份，你可以 使用regedit的导出功能直接将这两个文件复制到备份文件路径下，当系统出错时再将备份文件导人到windows路径下，覆盖源文件即可恢复系 统。此外，如果你使用的是windows98，可以使用它提供的scanreg.exe进行系统备份与恢复，这样更简单一些。你在dos提示符下直接键入 scanreg/backup即可对当前的系统注册表快速备份。当需要恢复注册表时，可在dos提示符下键人scanreg/restore即可。对于这个工具，应该 在dos环境下使用。7.1.4 清理system路径下的无用的dll文件这项维护工作大家可能并不熟悉，但它也是影响系统能否快速运行的一个至关重要的因素。我们知道，应用程序安装到windows中后，通常会在 windows的安装路径下的system文件夹中复制一些dll文件。而当你将相应的应用程序的删除后，其中的某些dll文件通常会保留下来；当该路径 下的dll文件不断增加时，将在很大程度上影响系统整体的运行速度。而对于普通用户来讲，进行dll文件的手工删除是非常困难的。 针对这种情况，建议使用clean system自动dll文件扫描、删除工具，这个工具的下载网址是.au/kevsol/sware.html，你只要在程序界面中选择可供扫描的 驱动器，然后单击界面中的start scanning按钮就可以了，程序会自动分析相应磁盘中的文件与system路径下的dll文件的关联，然后给出与所有文件都没有关联的dll文件列表 ，此时你可单击界面中的ok按钮进行删除和自动备份。曾使用它安全删除了7m之多的dll文件，没有引起系统中的应用程序错，效果非常好。7.2 系统常见问题7.2.1 数据管理系统中常见的问题a) 硬盘空间不够系统运维人员必须定时的对下列服务器的硬盘可用空间定时的进行检查，发现问题及时处理。各服务器检查规则如下：1) 定时(至少每月)检查数据管理系统所在服务(IP：5)硬盘可用空间是否大于20G，如果小于及时增加；2) 定时(至少每周)检查数据管理系统所在服务(IP：3、4、5、7、8)硬盘可用空间是否大于50G，如果小于及时增加3) 定时(至少每周)检查文件服务器(ip：6)硬盘可用空间是否大于50G，如果小于则及时新增；4) 定时(至少每月)检查数据库所在服务器(IP：4)硬盘可用空间是否大于30G，如果小于及时新增；b) 采集数据有遗漏此时需要检查以下服务是否正常：1) 上述a)中各服务器的硬盘可用空间是否正常，如果发现异常及时处理；2) 找到遗漏数据所在的网站，并查询该网站在系统中的采集状态，检查步骤如下在系统中“登陆系统“网站采集” 网站管理”下相应的列表中查询出该网站信息，查看“采集状态”列中显示的是否是“正常采集”。如果不是，则重新配置该网站相关的栏目信息；3) 如果上述1)、2)仍不能解决数据遗漏问题，在进入4.1.1列表中的各服务器中删除每个采集器下的“bfd”、“input”、“log”、“output”等四个文件，然后重新启动采集器服务；c) 登陆系统时，系统响应慢解决方法：重启系统服务服务：启动方式如重启数据库：执行命令：/etc/init.d/mysql restart如果以上两种方式仍不能解决问题，则检查系统服务所在服务器CPU、内存等使用情况，如果异常，则重启服务器，并按上面相关章节描述的重启服务即可。7.2.2 检索服务接口中常见的问题如果发现检索服务有异常，如查询是响应很慢，则直接按上面章节描述的重启检索服务接口即可。7.2.3 爬虫采集器中常见的问题如果爬虫采集器出现异常，如采集器窗口的输出长时间没有刷新等，可以直接关闭，重启即可；7.2.4 机器人采集中常见的问题 机器人服务自身可能出现的问题l 机器人采集器窗口输出长时间不刷新此时的解决方法如下：1：首先查看服务器的CPU、内存等使用情况，如果发现异常，则重启服务器，重启机器人服务（参考6.2）2：如果服务器本身正常，则直接按上面章节的描述重启服务即可。l 机器人服务窗口出现错误信息此时直接按上面章节的描述重启服务即可 机器人调度可能出现的问题l 机器人运行出现异常；机器人运行出现异常的查看步骤：登陆机器人调度服务（URL格式：http:/机器人所在服务器IP:50080/#），点击“Schedules”按钮，查看下方列表中“Errors”列是否有红色标识出现，如果有红色错误出现，则右键点击红色部分，再弹出框中选择“View Errors from Last Run”选项，在打开的新界面中根据错误的提示，进行相应的处理。一般出现的问题如下：1：数据库链接错误 解决方法参考国家旅游局基础数据库项目部署实施文档.doc文档中章节的i项的数据库连接配置方法项，检查数据库连接是否正常；2：出现“no loop result”等字眼的错误时，说明当前机器人没有待处理的数据，所有该问题可以不做处理；3：如果错误信息中出现有”？”等字眼时，说明采集的数据中有特殊字符，此时需要联系机器人制作人员，对机器人服务进行改进；4：其他可能出现的问题，其参考异常的提示，对其进行相应的处理。 如果机器人运行正常，但是没有采集到数据此时的解决方法如下：l 在机器人调度中下载相应的机器人文件，有专门的人对其进行测试，针对出现的问题进行修改，重新把修改后的文件上传到机器人调度服务中即可。8 数据库维护过程8.1 数据库的备份策略8.1.1 备份方式为了保证数据库的高安全性，目前我们采用的数据库备份方式为物理备份和逻辑备份相结合的方式，数据库归档模式为自动归档模式。这样当数据库出现故障时，我们就可以利用备份文件与归档方法相结合，作数据库“最新状态”的恢复。8.1.2 备份计划通过MySQL 的企业管理器,数据库维护计划来自动备份数据库,或者采用自动备份脚本实现每天进行一次热备份及逻辑备份，每周进行一次冷备份。所备份的数据文件存储于磁阵上的硬盘。8.1.3 常见故障恢复我们首先MySQL 事务日志可以通过这个文件，排除故障故障一：服务器意外关闭造成的损失。数据库服务器如果因为突然断电或者其他一些原因意外当机时，再重新启动服务器后会出现一些数据的损失。这主要是因为数据库中的数据发生更改后，并不会在第一时间就把数据写入到硬盘中。为了提高数据库的运行效率，往往是先把数据写入到数据高速缓存中;同时把更改的情况写入到事务日志中。等到一定的情况数据库系统才会把数据写入到硬盘文件中。此时，如果数据库服务器系统突然发生故障，数据库系统就有可能还没有把缓存中的修改后的数据写入到硬盘中，即数据文件内有未完成事务所做的修改。如果确实有这种情况，则当启动MySQL实例时，如果没有事务日志或者事务日志损坏时，修改后的数据就无法恢复过来了。但是，如果当事务日志可用的话，则当实例启动时，系统会丢每个数据库执行恢复操作。前滚日至中记录的、可能尚未写入数据文件的每个修改。在事务日志中找到的每个未完成的事务都将回滚，以确保数据库数据的完整性。所以当数据库服务器意外故障时，数据库管理员最好能够确认一下事务日志是否可用。如果事务日志已经损坏，那么就需要先恢复事务日志然后再重新启动数据库实例。否则的话，数据库实例在重新启动时不能够正常恢复数据。这一点在遇到服务器突发行的故障时一定要注意。否则的话，很可能破坏数据库数据的完整性。故障二：解决服务器意外关闭造成的损失。有时候出于数据库高可用性的目的，需要在生产服务器之外的地方再部署一台数据库服务器。当生产服务器出现故障不可用时，则可以马上启用这个备用的服务器。故就需要保证生产服务器与备用服务器之间数据的同步。那么MySQL数据库是通过什么技术来达到这个生产服务器与备份服务器之间的数据同步的呢?简单的说，就是通过这个事务日志的复制来实现数据同步的。具体的来说，MySQL数据库提供了两种解决方案，分别为数据镜像与日志传送。这两个方案都是在事务日志复制的基础上来实现的。在日志传送方案中，生产服务器将生产数据库的活动事务日志发送到一个或多个目标服务器。每个辅助服务器将该日志还原为其本地的辅助数据库，从而实现备用服务器与生产服务器之间数据的一致性。使用日志传送，您可以自动将“主服务器”实例上“主数据库”内的事务日志备份发送到单独“辅助服务器”实例上的一个或多个“辅助数据库”。事务日志备份分别应用于每个辅助数据库。可选的第三个服务器实例(称为“监视服务器”)记录备份和还原操作的历史记录及状态，还可以在无法按计划执行这些操作时引发警报。日志传送配置中的主服务器是作为生产服务器的 MySQL 数据库引擎实例。主数据库是主服务器上希望备份到其他服务器的数据库。通过数据库进行的所有日志传送配置管理都是在主数据库中执行的。另外需要注意的是，如果采用日志传送方案对于生产服务器的工作模式有限制。生产数据库必须使用完整恢复模式或大容量日志恢复模式。如果将数据库切换为简单恢复模式会导致日志传送停止工作。一台备用服务器可以包含多台不同生产服务器中数据库的备份副本。例如，某个集团公司可能有三台数据库服务器，每台服务器都运行关键数据库系统。在这种情况下，可以只使用一台辅助服务器，而不必使用三台单独的辅助服务器。三个主系统上的备份都可以加载到这个备份系统中，从而减少所需的资源数量并节省开支，也可以数据库管理员的工作量。另外也可以通过数据库镜像方案中来解决生产服务器与备用服务器之间的数据同步问题。生产数据库的每次更新都在独立的、完整的备份数据库中立即重新生成。主体服务器实例立即将每个日志记录发送到镜像服务器实例，镜像服务器实例将传入的日志记录应用于镜像数据库，从而将其继续前滚。“数据库镜像”是用于提高数据库可用性的首选软件解决方案。镜像基于每个数据库实现，并且只适用于使用完整恢复模式的数据库。简单恢复模式和大容量日志恢复模式不支持数据库镜像。因此，所有大容量操作始终被完整地记入日志。数据库镜像可使用任意支持的数据库兼容级别。在“数据库镜像模式”中，主体服务器和镜像服务器作为伙伴进行通信和协作。两个伙伴在会话中扮演互补的角色：主体角色(生产服务器)和镜像角色(备份服务器)。在任何给定的时间，都是一个伙伴扮演生产服务器角色，另一个伙伴扮演备用服务器角色。如果生产服务器角色出现故障时，则备份服务器角色马上会顶替出现故障的生产服务器角色，转变为生产服务器角色。从而实现数据库的高可用性。数据库镜像方案有两种镜像运行模式。一种是“高安全性模式”，它支持同步操作。在高安全性模式下，当会话开始时，镜像服务器将使镜像数据库尽快与主体数据库同步，一旦同步了数据库，事务将在伙伴双方处提交，这会延长事务滞后时间。第二种运行模式，即高性能模式，它与第一种模式的主要差异就在于异步运行。镜像服务器尝试与主体服务器发送的日志记录保持同步。镜像数据库可能稍微滞后于主体数据库。但是，数据库之间的时间间隔通常很小。但是，如果主体服务器的工作负荷过高或镜像服务器系统的负荷过高，则时间间隔会增大。在高性能模式中，主体服务器向镜像服务器发送日志记录之后，会立即再向客户端发送一条确认消息。它不会等待镜像服务器的确认。这意味着事务不需要等待镜像服务器将日志写入磁盘便可提交。此异步操作允许主体服务器在事务滞后时间最小的条件下运行，但可能会丢失某些数据。具体采用哪种模式，则需要数据库管理员根据企业对待数据损失的态度与工作负荷等来确定。可见现在可用的备份服务器与生产服务器之间的数据同步解决方案都是基于事务日志来实现的。故障三：解决数据一致性问题。假设现在有这么一种情况。在一个银