分布式新闻信息抽取系统1

1、1. 系统框架设计本系统现实用 Spring 框架整合开发，其中使用 Spring 框架中的JdbcTemplate 为数据持久层，使用 JDBC 数据源实现项目的 C3P0 作为连接池，二者一起负责数据层功能实现，Spring 框架为 MVC整合框架，负责整个系统的 MVC 的实现。系统还使用了 DWR 框架作为 AJAX 技术的实现 ，MVC 架构图如下图 1 所示:图 1 MVC 架构图1.1 Controller (控制器)层Controller 层由 Spring 框架实现，所有请求交由 Spring 提供的DispatcherServlet 前端控制器转发，前端控制器根据请求路径，

2、再通过注解，会调用具体的业务逻辑控制器(用开发实现)实现前交互和页面转发的功能。(业务逻辑)层1.2 M层包括 Service(业务逻辑)层和(数据)层，其中MService 层主要包括所有的业务逻辑处理，各部分资源的调用，而层主要包括所有的数据据库的持久层实现。1.3 View(视图)层操作，JdbcTemplate 作为层数View 层主要由 jsp 实现。2. 系统开发环境操作系统：Windows 7（64 位），linux(64 位）浏览器：IE6,IE7,IE8 JDK：JDK1.7开发工具：eclipse-jee服务器：Tomcat 7.0数据库：3. 系统文件结构说明3.1 整体

3、结构在项目整体结构中，主要包含 3 部分内容，src 目录为 java 源代码的存放目录，该目录下的内容在编译后成为.class 格式的字节码文件，运行时由服务器解释执行；JRE System Library、Java EE 7 Libraries 和 Web App Libraries 为项目开发所需的基本类库，包括所需的基本数据结构类和运行时类库等；WebRoot 为 web 根目录，主要包括 jsp 文件、web 配置文件以及网页中的 css 样式文件、js 文件、等；项目编译后的目录结构与 WebRoot 下目录结构相同，src目录下的 java 文件编译后全都存放在 WebRoot

4、下的 WEB-INF/classes文件夹下。整体结构如下图 2 所示：图 2 项目整体结构图3.2 Java 源代码结构Java 源代码接口是指 src 目录下的 java 源码的目录层次结构，在 src 目录下主要根据不同 java 文件实现的功能，结合 MVC 框架的结构，使用文件夹将 java 文件进行分类，根据模块功能主要分为 8个板块，每个板块下有 2 至 3 个小模块，每个模块有 4 层，依次是Action 层，Service 层，层和 Bean 层。如下图 3 所示。图 3 Java 源代码结构图3.2.1 模块功能Configure 模块：负责信息系统资源以及参数的配置，如

5、nh的抓取周期和深度，hadoop 启动关闭，格式化的配置，以及日志和文档的管理配置，抓取网页的一些基本参数配置。dataManage 模块：主要负责 URL 的查询和查询。站点频道信息的ImportExport 模块：导入导出模块，主要负责把抽取下来的新闻信息进行系统化的导入和导出。格式有 XML,SQL，JSON。listManager 模块：负责对要抽取的站点和频道进行增删改查操作，以便能更好的管理和配置需要抽取的。resourceMonitor 模块：主要对的 url 进行统计和分析，记录和分析信息。的 url 所对应的源码，以及通用引擎抽取后的TackManager 模块：爬虫的启动

6、，翻译，过滤，心工作。模块，负责系统的分布式，nh程序的和通用引擎的抽取等核templateManage 模块：主要负责对每个站点和频道里的信息进行正则表达式的匹配，可以通过正则表达式对系统的抽取精度进行检验。及时的对不符合该站点的正则表达式就行修改和删除。userManager 模块：负责用户的登录退出，以及不同用户间的角色权限的调度和管理工作。附加模块：util 模块（包括 log 模块）：工具模块，主要用来存放一些工具类，如异常信息的处理，提供数据持久层的公共接口以供其它模块调用，url 信息的过滤，日志信息的和添加等。3.2.2 主要类功能(1)业务逻辑控制器业务逻辑控制器位于每个子模

7、块的 Action 文件夹下面，action表示控制器，不同模块的控制器存放在不同的文件夹下面。(2)实体类实体类位于每个模块的 Bean 目录下面，是对数据的抽象。(3)数据层数据接口，层位于每个模块的文件夹下，其中下放的是Impl 表示接口的实现类，该层封装的都是对数据进行存取操作的方法，几乎不包含业务逻辑的处理，调用 C3P0 或 JDBC 提供的接口数据库。该层以数据库表或者试图为划分依据，通常每个表或试图对应一个(4)业务逻辑层类，所以在下不再继续划分。数据层位于每个模块的 Service 文件夹下，service 代表的是业务逻辑层，其中 service 下放的是接口，servic

8、eImpl 下放的是接口的实现类。该层封装的是对用户请求的业务逻辑处理。(5)工具类工具类位于 com.nes.util 文件夹下，该文件夹主要包括一些对数据处理的通用方法，这些方法不是某个模块特有的方法，所以不能包含在某个模块中，如对基本的数据库的处理类工具，URL 的过滤，页面分页的计算和日志文档的等。3.3 Web 源代码结构Web 源代码存在于 WebRoot 目录下面，存放不会被编译的文件，本系统中的目录结构如下图 4 所示。图 4 Web 源代码结构icon:存放工具小图标。css：存放网页布局、美化用的 css 样式表文件；images：存放导航栏、背景js：存放验证和其他 js

9、 代码；，LOGO；photos:首页中二级栏目。themes：存放时间特效的包；datajs：存放时间的 js；dataPicker:用于存放时间插件代码。WEB-INF：存放项目的 xml 配置文件和主要的 JSP 文件等；系统框架实现详细设计请求响应流程用户通过浏览器发出一个请求时，请求首先到达 Spring 的控制器，控器根据请求路径判别：如果用户请求的是某一个 jsp 页面，则响应回一个 jsp 页面给浏览器；如果用户请求的是一个动态资源，则根据请求路径分发给具体的业务逻辑控制器，业务逻辑控制器调用业务逻辑层进行业务逻辑处理；其务逻辑层需调用由 JdbcTemplae 实现的数据层进

10、行数据存取操作，业务逻辑层本身对数据进行操作完成业务逻辑的处理；最终处理完成后返回动态数据，并由业务逻辑控制器返回视图。4.2 Action(控制器)层Action 层主要指开发编写的业务逻辑控制器，在请求到达Spring 的控制器后，会根据请求的路径调用相应的业务逻辑控制器完成对请求的处理和发出响应。具体代码结构如下图 4.2 所示：对一个控制器类来说，其命名根据模块或者功能来命名，结尾附加 Action 用以说明该类为控制器，并使用Controller 来标注，类的方法作为对请求处理的程序，在方法前用RequestMap(“*”)作为请求的字符串标注，*代表请求的路径。当此路径与请求路径一

11、致，则调用该标注后的方法处理请求。在控制器内，可以Service 层的资源，通过Resour标注来引入。控制器大多只完成接收参数、调用 Service 处理和返回视图的工作。4.3 Service(业务逻辑)层Service 层主要指用于业务逻辑处理的层级，是 M层的一部分，该层由 Action 层直接调用，作为 Action 的资源。该层主要完成对数据的业务逻辑处理功能，由业务逻辑接口和接口实现类两部分组成。具体代码结构如下图 4.3 所示：1.接口说明Service 层接口是对 Service 完成功能的基本展示，主要包括对方法的，具体到返回值类型和参数个数以及类型。接口名也是以模块或者功

12、能来命名，附加 Service 结尾，用以说明该类为业务逻辑层类。在 Action 层Service 层资源时，也是以一个 Service接口为，以一个 Service 接口名称来并实例化对象。2.实现类说明Service 接口实现类是对某一个 Service 接口方法实现的类，其命名为实现的接口*Service 后附加 Impl 作为类名，并使用 implements关键字实现该接口，该类中必须包含并实现所有接口中的方法。该类要以Service 标注在类前，用以说明该类为业务逻辑层的类，作为 Spring 扫描的对象，产生资源，作为 Action 中资源的资源实例化的对象。该类中一般只对数据

13、做业务逻辑的处理，对于数据则通过Resour注解引入层资源进行处理。(数据)层4.4层是对数据库进行操作的层级，是 M层的第一层，由 Service 层直接调用，作为 Service 层的资源。该层主要完成对数据库的存取等操作，一般不包含业务逻辑处理，是直接调用JdbcTemplate 数据持久化的一层。具体代码结构如下图 4.4 所示1.接口说明同 Service 接口相似，该接口主要完成的是对接口方法的声明，其命名方式主要以数据表、视图或者实体类来命名。2.实现类说明实现类是对某一个接口方法进行实现的类，其命名为附加 Impl 结尾作为类名，使用 implements 关键字实现该接口，*

14、实现类中必须实现接口中所有的方法。实现类使用 extends 关键字继承对数据库进行操作的基类，该基类中用于对数据库进行操作的 Hibernate 接口方法或 JDBC 接口方法，使得实现类可以直接操作数据库。Spring 扫描的标志，用以初始化该实现类用Re层的资源itory 注解作为，来实例化Service 实现类中的资源。实现类的资源即为其从基类继承来的JDBC 数据库对象。Bean(实体类)Java 实体类说明Java 实体类是一种数据结构，其抽象来源于数据库表、视图或者业务逻辑处理过程中用于计算的数据模型。该类一般要实现Serializable 接口，以用于序列化操作。类中一般包含表

15、达数据模型的私有属性以及对属性进行主要配置文件说明web.xml 配置说明的接口方法。Web.xml 是 web 应用程序最根本的配置文件，所有框架的配置都需要在 web.xml 中进行配置说明才能发挥效用。(1)应用上下文配置应用上下文配置是指在 Web 应用中上下文环境的配置，主要表现方式为 xml 配置文件。如下图所示，指明了配置的名称为 contextConfigLocation，即对 Spring 的配置，指明了 Spring 配置文件的位置，即在 java 源码的根目录。应用上下文配置结构图(2)Spring 框架配置Spring 框架配置中主要是对 Spring控制器的配置，以

16、Servlet的形式将控制器配置进来。中指明对请求处理的servlet 为 Spring 框架中的 DispatcherServlet，中指明使用该 servlet 进行处理的请求的格式。/代表所有的请求，也就是浏览器提交过来的所有请求，都会交由 Spring 框架提供的DispatcherServlet 进行处理，从而实现了其控制器的功能，将请求根据路径分发为具体业务逻辑控制器处理。配置如下图所示：Spring 框架配置(3)dwr 框架配置dwr 作为 ajax 实现的技术框架，必须要在 web.xml 中配置后方能发挥效用。如下图 15 所示，dwr 的配置也是通过 servlet 的配

17、置实现的。同 Spring 的配置，dwr 的配置说明了进行ajax 操作的请求满足的路径格式为/dwr/*，即以 dwr/开头的请求路径将使用 ajax 技术实现。dwr 的配置说明了 ajax 操作是由uk.getahead.dwr.DWRServlet 实现的。DWR 框架配置图器配置(4)web.xml 中配置的器包括 Spring 的 ContextLoadListener，完成启动 Web 应用时，自动装配 Spring 的配置信息；Spring 的rospectorCleanupListener，完成rospector 的功能；web 应用关闭时，清除 JavaBeans、图 1

18、6器配置(5)过滤器配置过滤器的配置是对请求进行过滤处理组件的配置，如下图中配置了 Spring 提供的编码格式过滤器。说明过滤器将对/*，即所有的请求进行编码格式化处理；中的说明，所有的请求都会格式化为 UTF-8 编码格式。过滤器配置2.springannoion.xml 配置说明springannoion.xm 是 Spring 的主要配置文件，里面包含了注解的扫描、数据源配置、数据库配置、dwr 业务等配置。(1)自动扫描注解配置接口配置以及事务管理器和视图在 Spring3.0 框架中提供了注解这(控制器)、Service(业务逻辑)、Re能，主要包括Controlleritory(数据)、Resource(资源注入)等常用注解，使用注解可以避免