大数据功能模块概要设计

1、第1章系统总体架构报表应用指标管理应用层门户系统数据加工流程监控数据加密管理数据交换整合平台数据采集管理数据加工流程定义 数据加工组件i文件交换管理数据加工流程调度 数据订阅管理用户组织管理权限管理基础平台工具层日志管理l流程引擎单点登录i 调度管理元数据管理服务总线gisf 台业务库文档公共基础数据库人口库 法人库 宏观经济数据库 建筑物库 空间地理库通用共享数据视频服务库专题库第2章通用组件2.1基础页面组件前端页面js框架，采用jquery为基础开发框架；为考虑对ie6,7,8的兼容性；建议版本为：；基于jquery的ui框架，目前流行的有： easyui 、jquery ui 、dwz

2、;这三个各有一部分对基础页面组件的支持；（考虑到这些基础 ui框架可能存在的不兼容性，建议只选择一个，对于ui框架不支持的组件，另外选择开源提供）对于常用的基础页面组件选型如下:组件分类特殊提供ui框架提供基于jquery的ui框架easyuijquery uidwz图表组件jfreechart/fushioncharts（商业）在线编辑器kindeditor/ckeditorr有文件处理上传：有（多文件上 传）表单验证（可自定义验证规则，包括正则 表达式验证）有listbox 组件ui框架支持有日期组件输入框html原生的text标签ui框架支持有有进度条ui框架支持有有对话框ui框架支持有

3、有有按钮ui框架支持有有有各种grid分页的grid:flexgrid 进行改造；需要服务端配合提供model有有有各种tree各种menuui框架支持有有有tab组件ui框架支持有有有form组件标准的即可，如果需要做 ajax 提交，建议使用：有下拉框对于参数类的，可以使用自定义 jslt标签来处理；通用的js下 拉框，可以考虑使用 ui框架的ui框架支持有有有自动填充(auto complete)ui框架支持有combobox有遮罩组件2.2基础技术组件开源自主开发任务调度quartz组件验证struts2的验证框架分页自主开发；需要与前端贝囿的分贝 grid 组件搭配使用；需要考虑 o

4、rmb的适配字典组件自主开发；建议将字典信息通过缓存组 件进行存储管理；另外需要开发自定义标签库，提高前台 页面使用字典信息的开发效率缓存需要考虑缓存服务器的选型之后才 能明确配套的缓存组件日志slf4j + log4jftp其中的ftpclient导人导出(excel/pdf)异步操作excel:jxl 或者poi,如果要支持excel2007以后的版本，需要考虑 用pdd :考虑 pdfbox /itextxml文件解析dom4j、digesterwebserives 发布考虑开发框架，如果是 spring ,建 议使用cxf ；2.3 基础类库j2ee服务端开发所需要的基础类库包括：ap

5、ache-common对基础类的一些扩展；包括了： json-lib对 json 数据格式的解析、封装；提供将json 字符串，到 bean 或者 list<bean> 的转换；或者将 bean 或者 list<bean> 转换为 json 字符串；junit进行单元测试的基础包；建议使用 junit4struts2 / spring mvcmvc的c层的选型spring业务处理逻辑层，建议使用以上版本；ibatis / mybatis/ hibernateormb的选型第 3章 选型3.1 中间件商业：weblogic 、 webshpere开源：jboss 、 je

6、tty 、 tomcat对于中间件有要求：部署的时候，需要支持；如果是weblogic 建议使用以上版本，采用sun-jrocket 的 jdk;websphere 要求以上版本；3.2 数据库3.2.1 关系型oracle / mysql;如果是oracle ，要求 10g 以上版本，并且已经升级地理数据库3.2.2 nosqlmongodb / hadoop / hive /hbase /memcached/redis3.3 底层开发框架3.3.1 java 服务端开发框架struts2 + spring3+ ibatis (mybatis)spring3+ibatis (mybatis)

7、3.3.2 前台we端开发框架js框架：建议使用jquery ;为兼容ie6 , 7, 8的浏览器，使用的版本；所使用的ui组件，需要与兼容；html+css为兼容ie6, 7, 8;不建议使用 html5+css的模式；而是采用目前的 html4 + css2;3.4 服务总线自行开发3.5 开发工具java：j2ee 开发： eclipse桌面应用开发： netbean 或者 eclipse + swt 插件3.6 版本控制工具svn3.7 报表 / 图形展示第4章用户组织管理4.1 用户组织、权限、登陆、日志系统架构图4.2 对外接口开发用户组织管理的核心在于对外提供一套标准的员工和组织

8、接口，包括各种api接口、webservice服务接口、界面接口等。定义该接口的目的，是为了屏蔽在项目实施过程中，不同的项目可能存在着不同的用户组织管 理方式。针对不同的用户组织管理系统，只需实现一个基于该接口定义的适配器就可以了。而基于 该员工组织接口开发的其它业务模块，不必再修改关于用户组织模块的内容了。4.2.1 api接口列表根据员工id查询员工基本信息根据组织id查询下属所有员工信息根据组织id取得其管理员集合根据组织id取得下属组织信息根据组织类型id取得组织类型信息根据员工名称查询员工基本信息根据员工代码查询员工基本信息根据员工id取得其行政隶属组织信息根据员工id取得被该员工管

9、理的组织信息根据员工id取得所属的所有组织根据一批员工id查询一批员工基本信息；登陆系统重设密码锁定用户内部功能说明4.2.2 界面接口选择组织树（单选）选择组织树（多选）先选组织树，再选组织下的员工（单选）先选组织树，再选组织下的员工（多选）4.3 内部功能实现4.3.1 组织管理在一个系统中，可能存在着多套组织，意味着每个组织都有自己的根节点，系统需要支持管理 不同的组织树。可以通过组织类型来区分不同的组织树。组织树包含的字段为：组织id、组织父id、组织名称、组织类型、备注。以下是该模块的操作方式：在界面左侧点击按组织搜索标签页，出现组织树，点击其中一项组织，右侧组织详细信 息会显示组织

10、的详细信息。修改其中的信息，点击保存按钮，完成修改组织基本信息操作。点击删除按钮，完成删除组织操作。在界面右侧组织详细信息点击新增按钮，在组织详细信息中填入组织的基本信息, 点击保存按钮，完成新增组织操作。4.3.2 人员管理人员管理包括管理人员的基本信息，扩展信息，操作员信息，以及所属的组织信息。人员的基本信息字段为：待定。扩展信息字段为：待定。操作员信息字段为：待定。在本系统中，一个人员只设置一个唯一的登陆工号。所属的组织信息字段为：组织 id 、人员 id 、关联类型。对于关联类型，需要设置关联类型静态参数，比如隶属员工，部门领导等。在界面左侧点击按组织搜索标签页，出现组织树，点击其中一

11、项组织，在左下侧搜索结果/ 员工列表会出现该组织所属的员工，选择员工列表中一个员工，右侧员工详细信息会显示员工的详细信息。 修改其中的信息， 点击 保存 按钮， 完成修改员工基本信息操作。 点击 删除按钮，完成删除员工操作。在界面右侧员工详细信息点击新增按钮，在员工详细信息中填入员工的基本信息，点击保存按钮，完成新增员工操作。在新增或修改操作员时，点击新增员工组织关系 ，弹出员工组织关系维护界面，在组织名称选择框中选择所属组织，在是否被管组织中选择，员工是否是这个组织的管理员，在是否直属组织中选择，该组织是否是该员工的直属组织。填写完毕，点击保存按钮，保存员工组织关系。一个员工可以有多条员工组

12、织关系 ，其中一个员工只能且必须有一个直属组织。4.4 部署员工组织模块，可以和业务系统合在一起部署，也可以分开部署。4.5 安 全和性能4.5.1 安全为了保证员工的密码的安全，系统采用不可逆的双重md5加密技术。在密码传输过程中，采用ssl加密传输方式，防止密码在传输过程中被截获。4.5.2 性能为了保证外围接口调用的实时性，需要将组织员工数据加载到缓存中，并采取定时更新、通知更新等策略，保证接口调用的实时性和准确性。4.5.3 可靠性如果用户组织系统与业务系统合在一起部署的话，用户组织系统的可靠性策略同业务系统；如果用户组织系统单独部署的话，需要部署 2 套以上，用 4 层交换负载向外提

13、供服务。第5章权限5.1 对外接口开发5.1.1 api接口列表获取用户的功能菜单列表根据员工id查询员工所拥有的角色信息根据员工id、功能点id,判断员工是否有改功能点的权限5.2 内部功能实现授权管理主要包括外围需要管理的系统，以及每个系统所包含的菜单或权限点，及数据权限管理。5.2.1 外围系统管理该模块主要管理所有需要登陆、验证、权限校验的外围系统。字段包括：所有被管理系统 的id、系统名称等信息等。5.2.2 菜单及权限点管理该模块将各个系统的菜单、权限点（主意涉及到按钮的权限）管理起来。字段主意包括： 系统名称、菜单id、菜单类型（普通菜单或权限点）、菜单url或权限点唯一名称、名

14、称、备注等。5.2.3 数据范围管理该数据范围管理，主要管理特定的表，可以允许查询的数据范围、字段等。还包括数据操 作权限管理。待定。5.2.4 角色管理角色管理主要指将菜单或权限点、数据范围打包成一个集合。5.2.5 角色与菜单、权限点、数据权限范围管理将菜单、权限点、数据权限与角色进行关联。5.2.6 按角色授权该模块用于按角色授权，先选中某一个角色，再选择将该角色授权于哪些人。5.2.7 按用户授权先选择一个用户，再选择授权给给用户的权限角色。5.3 部署权限模块，可以和业务系统合在一起部署，也可以分开部署。5.4 安 全、性能、可靠性5.4.1 安全权限系统安全，主要依赖于用户组织管理

15、模块的安全实现。5.4.2 性能为了保证外围接口调用的实时性，需要将权限数据加载到缓存中，并采取定时更新、通知更新等策略，保证接口调用的实时性和准确性。5.4.3 可靠性如果权限系统与业务系统合在一起部署的话，权限系统的可靠性策略同业务系统；如果权限系统单独部署的话，需要部署 2 套以上，用 4 层交换负载向外提供服务。第6章单点登陆6.1 对外接口开发单点登陆对外提供的接口，包括 web servic蓑口和外围系统的客户端包。6.1.1 api接口列表根据员工id获取单点登陆token码根据用户工号、单点登陆 token码验证是否合法或过期。6.1.2 客户端jar包外围系统，如果需要使用单

16、点登陆系统的话，需要在客户端工程中加入单点登陆的客户端jar包，并在客户端中做单点登陆认证的相关配置。6.2 依赖的外部接口单点登陆依赖的外部接口包括:根据用户名密码验证账号合法性6.3 内部功能实现6.3.1 ca 证书该模块负责对ca证书进行统一管理和分发。6.3.2 登陆调用外部接口进行用户登陆，并返回相应的token值。6.3.3 cas-serve端其它开发工作serve端需要开发改造的内容如下：根据ca%口，实现用户的登陆验证功能；掌握与各种流行的 webi艮务器的集成配置；掌握ca证书的生成、配置。6.4 部署单点登陆系统需要独立部署。6.5 安全和性能6.5.1 安全单点登陆系

17、统采用 256位ca加密证书、httpsm密传输的ssl协议来保证系统的安全。6.5.2 性能为了保证外围接口调用的实时性，需要将组织员工数据加载到缓存中，并采取定时更新、通知 更新等策略，保证接口调用的实时性和准确性。同时，系统产生的登陆 token值，也需要放在缓存中。6.5.3 可靠性鉴于单点登陆的重要性，所有外围系统依赖该系统对外提供登陆功能，所以单点登陆的可靠性 尤为重要。单点登陆系统需要部署2套以上，用4层交换负载向外提供服务。第 7章日志记录及审计模块7.1 日 志管理调用关系架构7.2 对外提供的soa日志接口7.2.1 统一登陆日志接口外围接口必须调用日志管理提供的统一的登陆

18、日志接口，记录记录用户的状态及信息。通过日 志管理平台可查询到平台的所有用户登陆信息。7.2.2 统一数据交换日志接口外围接口必须调用数据交换日志接口。数据信息交换时调用数据交换日志接口，实现对数据交 换的日志信息记录。7.2.3 统一数据整合日志接口外围接口必须调用数据整合日志接口。数据信信整合时调用数据整合日志接口，实现对数据整 合的日志信息记录。7.2.4 接口调用日志接口采用webservice接口形式来进行业务数据的交互，接口采用soa附议，因此在接口配置上面需要屏蔽http get和http post等其他协议，在接口中调用统一日志模块的功能进行日志记录， 记录调用者的相关信息以及时间信息等。7.3 日 志公共模块定义及其它对于各个系统中均需要开发但又不宜集中式管理的日志，由日志管理模块提供公用的模块供外围系统使用。对于各个子系统的业务日志，由各系统自行生成的日志信息分别存放在各个主机上，按业务、系统规范日志等级及存放目录，系统日志按天生成文件，具备在系统发生错误时可轻松排查问题的能力。7.3.1 日志审计能够保存日志的详细信息，支持