大数据功能模块概要设计-V1.1

v1.0 可编辑可修改第1章 系统总体架构应用层报表应用指标管理门户系统数据交换整合平台数据采集管理数据加工流程定义数据加工组件数据加工流程监控文件交换管理数据加工流程调度数据订阅管理数据加密管理基础平台工具层用户组织管理日志管理流程引擎元数据管理服务总线权限管理单点登录调度管理GIS平台支撑数据用户数据权限数据交换数据管理数据安全数据元数据公共基础数据库业务库服务库文档人口库法人库宏观经济数据库建筑物库空间地理库视频专题库通用共享数据11v1.0 可编辑可修改第2章 通用组件2.1 基础页面组件前端页面 JS框架，采用jquery 为基础开发框架； 为考虑对 IE6，7，8的兼容性；建议版本为：；基于jquery 的UI框架，目前流行的有： easyui 、jqueryui 、dwz；这三个各有一部分对基础页面组件的支持；（考虑到这些基础 UI框架可能存在的不兼容性， 建议只选择一个， 对于UI框架不支持的组件，另外选择开源提供）对于常用的基础页面组件选型如下：基于jquery的UI框架UI框架jquery组件分类特殊提供提供easyuiuidwzjfreechart/fushioncharts( 商图表组件业）在线编辑器 KindEditor/CKEditor 有有（多文件上文件处理 上传：传）表单验证（可自定义验证规则，包括正则有表达式验证）listboxUI框架有组件支持日期组件html原生的textUI框架输入框标签有有支持进度条UI框架有有22v1.0 可编辑可修改支持UI框架对话框有有有支持UI框架按钮有有有支持各种Grid分页的grid:flexgrid进行改有有有造；需要服务端配合提供model各种Tree各种MenuUI框架有有有支持UI框架Tab组件有有有支持Form组件标准的即可，如果需要做ajax有提交，建议使用：对于参数类的，可以使用自定义UI框架下拉框JSLT标签来处理；通用的JS下有有有支持拉框，可以考虑使用UI框架的自动填充（autoUI框架有有complete)支持ComboBox遮罩组件2.2基础技术组件开源 自主开发33v1.0 可编辑可修改任务调度 quartz 组件验证 struts2 的验证框架自主开发；需要与前端页面的分页 grid分页组件搭配使用；需要考虑 ORM层的适配自主开发；建议将字典信息通过缓存组件进行存储管理；字典组件另外需要开发自定义标签库，提高前台页面使用字典信息的开发效率需要考虑缓存服务器的选型之后才缓存能明确配套的缓存组件日志 slf4j+log4jFTP 其中的FtpClientexcel:jxl 或者poi ，如果要支持导入导出excel2007以后的版本，需要考虑excel/pdf)用异步操作pdd: 考虑pdfbox/iTextXML文件解析 dom4j、Digester考虑开发框架，如果是 spring，建WebSerives发布议使用cxf；2.3基础类库J2EE服务端开发所需要的基础类库包括：apache-common44v1.0 可编辑可修改对基础类的一些扩展；包括了： \\\\\\json-lib对json数据格式的解析、封装；提供将json字符串，到Bean或者List<Bean>的转换；或者将Bean或者List<Bean>转换为json字符串；junit进行单元测试的基础包；建议使用 junit4struts2/springmvcMVC的C层的选型spring业务处理逻辑层，建议使用以上版本；ibatis/mybatis/hibernateORM层的选型55v1.0 可编辑可修改第3章 选型3.1中间件商业：weblogic、webshpere开源：jboss、jetty 、tomcat对于中间件有要求：部署的时候，需要支持；如果是 weblogic 建议使用以上版本，采用sun-jrocket 的jdk;websphere要求以上版本；3.2数据库 关系型Oracle/MySQL;如果是oracle，要求10g以上版本，并且已经升级地理数据库 NoSQLmongodb/hadoop/hive/hbase/memcached/redis3.3底层开发框架 Java服务端开发框架struts2+spring3+ibatis(mybatis)spring3+ibatis(mybatis)66v1.0 可编辑可修改 前台WEB端开发框架JS框架：建议使用 jquery ；为兼容IE6，7，8的浏览器，使用的版本；所使用的 UI组件，需要与兼容；HTML+CSS：为兼容IE6，7，8；不建议使用 HTML5+CSS3的模式；而是采用目前的 html4+CSS2;3.4服务总线自行开发3.5开发工具Java：J2EE开发：eclipse桌面应用开发： netBean 或者eclipse+swt 插件3.6版本控制工具SVN3.7报表/图形展示77v1.0 可编辑可修改第4章 用户组织管理4.1用户组织、权限、登陆、日志系统架构图4.2对外接口开发用户组织管理的核心在于对外提供一套标准的员工和组织接口， 包括各种API接口、WEBService服务接口、界面接口等。定义该接口的目的，是为了屏蔽在项目实施过程中，不同的项目可能存在着不同的用户组织管理方式。针对不同的用户组织管理系统，只需实现一个基于该接口定义的适配器就可以了。而基于该员工组织接口开发的其它业务模块，不必再修改关于用户组织模块的内容了。88v1.0 可编辑可修改 API接口列表根据员工 ID查询员工基本信息根据组织 ID查询下属所有员工信息根据组织 ID取得其管理员集合根据组织 ID取得下属组织信息根据组织类型 ID取得组织类型信息根据员工名称查询员工基本信息根据员工代码查询员工基本信息根据员工 ID取得其行政隶属组织信息根据员工 ID取得被该员工管理的组织信息根据员工 ID取得所属的所有组织根据一批员工 ID查询一批员工基本信息；登陆系统重设密码锁定用户内部功能说明99v1.0 可编辑可修改 界面接口选择组织树（单选）选择组织树（多选）先选组织树，再选组织下的员工（单选）先选组织树，再选组织下的员工（多选）4.3内部功能实现 组织管理在一个系统中，可能存在着多套组织，意味着每个组织都有自己的根节点，系统需要支持管理不同的组织树。可以通过组织类型来区分不同的组织树。组织树包含的字段为：组织 ID、组织父 ID、组织名称、组织类型、备注。以下是该模块的操作方式：在界面左侧点击『按组织搜索』标签页，出现组织树，点击其中一项组织，右侧『组织详细信息』会显示组织的详细信息。修改其中的信息，点击『保存』按钮，完成修改组织基本信息操作。点击『删除』按钮，完成删除组织操作。在界面右侧『组织详细信息』点击『新增』按钮，在『组织详细信息』中填入组织的基本信息，点击『保存』按钮，完成新增组织操作。 人员管理人员管理包括管理人员的基本信息，扩展信息，操作员信息，以及所属的组织信息。人员的基本信息字段为：待定。扩展信息字段为：待定。1010v1.0 可编辑可修改操作员信息字段为：待定。在本系统中，一个人员只设置一个唯一的登陆工号。所属的组织信息字段为：组织 ID、人员ID、关联类型。对于关联类型，需要设置关联类型静态参数，比如隶属员工，部门领导等。在界面左侧点击『按组织搜索』标签页，出现组织树，点击其中一项组织，在左下侧『搜索结果/员工列表』会出现该组织所属的员工，选择『员工列表』中一个员工，右侧『员工详细信息』会显示员工的详细信息。修改其中的信息，点击『保存』按钮，完成修改员工基本信息操作。点击『删除』按钮，完成删除员工操作。在界面右侧『员工详细信息』点击『新增』按钮，在『员工详细信息』中填入员工的基本信息，点击『保存』按钮，完成新增员工操作。在新增或修改操作员时，点击『新增员工组织关系』，弹出员工组织关系维护界面，在『组织名称』选择框中选择所属组织，在『是否被管组织』中选择，员工是否是这个组织的管理员，在『是否直属组织』中选择，该组织是否是该员工的直属组织。填写完毕，点击『保存』按钮，保存员工组织关系。一个员工可以有多条员工组织关系，其中一个员工只能且必须有一个直属组织。4.4部署员工组织模块，可以和业务系统合在一起部署，也可以分开部署。4.5安全和性能 安全为了保证员工的密码的安全，系统采用不可逆的双重 MD5加密技术。在密码传输过程中，采用 SSL加密传输方式，防止密码在传输过程中被截获。 性能为了保证外围接口调用的实时性，需要将组织员工数据加载到缓存中，并采取定时更新、通知1111v1.0 可编辑可修改更新等策略，保证接口调用的实时性和准确性。 可靠性如果用户组织系统与业务系统合在一起部署的话，用户组织系统的可靠性策略同业务系统；如果用户组织系统单独部署的话，需要部署 2套以上，用 4层交换负载向外提供服务。1212v1.0 可编辑可修改第5章 权限5.1对外接口开发 API接口列表获取用户的功能菜单列表根据员工 ID查询员工所拥有的角色信息根据员工 ID、功能点 ID，判断员工是否有改功能点的权限5.2内部功能实现授权管理主要包括外围需要管理的系统，以及每个系统所包含的菜单或权限点，及数据权限管理。 外围系统管理该模块主要管理所有需要登陆、验证、权限校验的外围系统。字段包括：所有被管理系统的ID、系统名称等信息等。 菜单及权限点管理该模块将各个系统的菜单、权限点（主意涉及到按钮的权限）管理起来。字段主意包括：系统名称、菜单 ID、菜单类型（普通菜单或权限点） 、菜单URL或权限点唯一名称、名称、备注等。 数据范围管理该数据范围管理，主要管理特定的表，可以允许查询的数据范围、字段等。还包括数据操作权限管理。待定。1313v1.0 可编辑可修改 角色管理角色管理主要指将菜单或权限点、数据范围打包成一个集合。 角色与菜单、权限点、数据权限范围管理将菜单、权限点、数据权限与角色进行关联。 按角色授权该模块用于按角色授权，先选中某一个角色，再选择将该角色授权于哪些人。 按用户授权先选择一个用户，再选择授权给给用户的权限角色。5.3部署权限模块，可以和业务系统合在一起部署，也可以分开部署。5.4安全、性能、可靠性 安全权限系统安全，主要依赖于用户组织管理模块的安全实现。 性能为了保证外围接口调用的实时性，需要将权限数据加载到缓存中，并采取定时更新、通知更新等策略，保证接口调用的实时性和准确性。1414v1.0 可编辑可修改 可靠性如果权限系统与业务系统合在一起部署的话，权限系统的可靠性策略同业务系统；如果权限系统单独部署的话，需要部署 2套以上，用 4层交换负载向外提供服务。1515v1.0 可编辑可修改第6章 单点登陆6.1对外接口开发单点登陆对外提供的接口，包括 WEBSERVICE接口和外围系统的客户端包。 API接口列表根据员工 ID获取单点登陆 token码根据用户工号、单点登陆 token码验证是否合法或过期。 客户端JAR包外围系统，如果需要使用单点登陆系统的话，需要在客户端工程中加入单点登陆的客户端 JAR包，并在客户端中做单点登陆认证的相关配置。6.2依赖的外部接口单点登陆依赖的外部接口包括：根据用户名密码验证账号合法性6.3内部功能实现 CA证书该模块负责对 CA证书进行统一管理和分发。1616v1.0 可编辑可修改 登陆调用外部接口进行用户登陆，并返回相应的 token值。 CAS-SERVER端其它开发工作SERVER端需要开发改造的内容如下：根据CAS接口，实现用户的登陆验证功能；掌握与各种流行的 WEB服务器的集成配置；掌握CA证书的生成、配置。6.4部署单点登陆系统需要独立部署。6.5安全和性能 安全单点登陆系统采用 256位CA加密证书、HTTPS加密传输的 SSL协议来保证系统的安全。 性能为了保证外围接口调用的实时性，需要将组织员工数据加载到缓存中，并采取定时更新、通知更新等策略，保证接口调用的实时性和准确性。同时，系统产生的登陆 token值，也需要放在缓存中。1717v1.0 可编辑可修改 可靠性鉴于单点登陆的重要性，所有外围系统依赖该系统对外提供登陆功能，所以单点登陆的可靠性尤为重要。单点登陆系统需要部署 2套以上，用 4层交换负载向外提供服务。1818v1.0 可编辑可修改第7章 日志记录及审计模块7.1日志管理调用关系架构7.2对外提供的SOA日志接口 统一登陆日志接口外围接口必须调用日志管理提供的统一的登陆日志接口，记录记录用户的状态及信息。通过日志管理平台可查询到平台的所有用户登陆信息。 统一数据交换日志接口外围接口必须调用数据交换日志接口。数据信息交换时调用数据交换日志接口，实现对数据交换的日志信息记录。 统一数据整合日志接口外围接口必须调用数据整合日志接口。数据信信整合时调用数据整合日志接口，实现对数据整合的日