电子文档联机入库系统升级改造方___2016.3(修改)-1

1、电子文档系统升级改造方案1. 现状描述电子文档系统是局信息化系统的一个重要的组成部分，是专利局实现审批流程无纸化的基础支撑系统之一。电子文档系统作为基础配套系统，为E系统、S系统、D系统管理图形文档并提供文档入库、文档查询获取等服务。电子文档系统的联机文件入库服务接收来自E系统、CEPCT系统、集成电路布图系统的文件入库请求，将文件的属性信息和扫描件存储在NAS存储上，主要包括电子申请文件和通知书文件。对外获取服务为E系统、S系统等提供实时的联机交易。受限与当前硬件资源，目前电子文档的PC服务器需要同时兼顾联机入库交易和对外获取服务缓存这两项重要工作。硬件部署图如下：电子文档自2010年上线以

2、来，总体运行稳定，但是随着电子申请的大批量增加，电子文档也业务量也随之大幅增加。目前系统运行中存在着一些亟需解决的问题：1.1. 入库量趋势分析通过分析近5年来的数据，联机入库数量逐年递增，年均增长量在18%左右，其中2012年更是比前一年增加了36%之多。如下图所示：对比今年（2015）上半年和2014年上半年的入库数量，同比增幅平均值达到15%。对比今年上半年和2014年上半年对外获取访问量，可以看出来自E系统、D系统的访问压力也与日俱增，同比平均增幅达到31%。其中6月份更是同比增幅达54%。未来预期S系统以及外网公众查询等系统对电子文档系统的获取会持续增加电子文档的访问压力。由于目前电

3、子文档在用的PC服务器需要同时处理联机入库任务并缓存对外获取的实体文件，由于机器数量不足以及配置陈旧，随着业务量的不断增加，性能日趋饱和，运行效率明显降低，甚至常常出现自动关机等问题，近一步影响了入库效率及缓存ftp的访问速度。且根据2015年5月IBM工作组CIFA提出的观点，建议入库程序和缓存FTP放置在不同的机器上，但由于目前电子文档PC服务器数量不足，无法进行拆分。1.2. 联机入库压力分析上一节主要讨论当下电子申请数量逐年递增，联机入库数量逐年攀升的一个大的趋势。本节具体分析电子文档联机入库现状以及其所面临的压力。电子文档联机入库主要包括E系统文件及通知书入库、CEPCT系统文件及通

4、知书入库和集成电路布图系统联机入库。其中E系统文件及通知书入库是其中的重中之中，这不仅体现在入库数量方面，也体现在对入库实效性的要求方面。E系统文件和通知书入库是两套不同的程序，目前工作日日均入库数量（文件和通知书分别计算）均在10万以上的量级。下图显示2015年某一时间区间电子文档的联机入库数量统计。通过上图可以看出，文件入库量在工作日一般在10-15万，周末及假日的入库量在3-5万。通知书入库量主要取决于审查员的工作时间，周末入库数量很少，基本在1万以下，工作日平均入库数量在8-12万左右。但通知书可能会出现集中入库的情况，而且在集中入库的当天，通知书入库量甚至会比文件入库量还要多，例如1

5、0月27日和11月25日，这两天当日入库量分别高达19.6万和17.6万。针对11月25日当日通知书联机入库进行分析，按照时段构造入库批次量图表见下图：如图所示，当日入库高峰分布在1-3点，15-20点。其中1-3点主要是夜间批处理入库，15-20点是工作日审查员入库时段（由于软扫存在一定的入库时延）。高峰期每小时入库批次量在9300左右。通知书批次内文件数量在1-2件左右。以16点为例，入库批次量为9366，目前电子文档通知书联机入库的单次入库时间平均为6秒，入库程序共部署4套并行运行。因此完成9366个批次需要耗费的时间如下：由上述计算得知，全部完成9366个批次大约需要234.15分钟，

6、这还是在理想的没有任何时间损耗的状态下，即需要4个小时消化这一个小时接收到的批次。因此在入库峰值期间，已经出现了较为严重的积压状况。入库峰值期间积压的批次只能通过閑时消化，或者维护人员加入PC机（非生产机）协助处理积压，但这种方式需要人工干预，而且不能在非工作时间进行。目前电子文档PC服务器除了需要部署联机入库（E系统、CEPCT、集成电路布图）程序，同时还要负责对外缓存FTP以及接收入库请求、处理光盘入库等。随着联机入库量的不断增加，诸如E系统通知书入库部署4套程序并行运行，已经无法满足工作的需要，而由于服务器已趋饱和，目前也无法部署更多的程序以缓解入库压力。1.3. 联机入库单点风险电子文

7、档提供的E系统联机入库接口，在E系统刚上线之初，由于数据量不大，未设置负载均衡，目前随着E系统业务量的增加，所面临的压力也越来越大，迫切需要增加负载均衡设备来减轻单个机器的压力，同时也能解决目前该接口的的单点风险。2013年上线的CEPCT系统，集成电路系统接口目前均已通过班固实现负载均衡。由于E系统接口的历史问题（跟E系统沟通，目前电子文档那个提供给他们的接口地址，由于在E系统的各个模块都有调用，所以不能进行更改），一直未能解决。1.4. 电子文档生产库故障风险电子文档数据库目前存在CPU过高的问题，经过近段时间的调整（通过我们优化索引，迁移历史表等操作），已有所下降，但是还是没有达到理想结

8、果。电子文档自2010年上线以来，除提供服务给E系统外，还新增了CEPCT系统，集成电路系统，D系统，未来还有可能提供给海牙系统等，随着这些新系统的加入，也给电子文档带来了新的挑战，对电子文档的数据库也提出了新的要求，目前电子文档库中，文件类数据已达到177,000,000 条，通知书数据已达到100,000,000条，亿级的数量级也需要更高的硬件配置来支持。近一年来由于CPU使用率居高不下，导致数据库硬件出现故障的概率也随之增大，如4月份出现的稳压器故障等。通过我们应用层面上的调整，只能降低CPU使用，不能从根本上解决CPU过高的问题。1.5. 应用内部改造电子文档联机入库程序和对外获取应用

9、经过多年的运行与维护，目前基本稳定，这些年来也进行了许多次小版本升级，修改系统BUG或针对需求和硬件环境的变更进行适应性的升级。随着业务量的不断提升，以及NAS存储硬件环境的变更，这些应用需要从底层架构进行改造以适应这方面的变化。具体参考2.4节中的描述。2. 改造方案2.1. 增加PC服务器目前处理联机入库和对外获取缓存的服务器共有7台，考虑到入库和缓存的分离，建议增加5台，该项预算每台5万，共计25万。新增服务器每台可部署3套应用程序，即新增15套联机入库，考虑到新机器由于性能的提升，入库处理速度在2倍以上。因此每小时可处理批次为：以目前E系统联机入库峰值每小时10000批计算，入库年增速

10、10%，则：即以10%的增速，增加PC服务器后可满足6年的业务需要。考虑到目前专利申请量增速下降，不会一直保持年均10%的增速，因此本次升级配备大约可以满足未来10年的业务需要。2.2. 增加负载均衡E系统入电子文档库接口在E系统刚上线时，提供的单点机器进行接口，已满足当时E系统的业务量，但是随着E系统业务的增长，电子申请越来越多，对电子文档提供的入库接口的要求也越来越严格，迫切需要通过负载均衡来减轻入库压力。以及在联机入库服务器前端增加2台负载均衡服务器，来均衡E系统入库压力，避免单点故障。每台预算25万，共计50万。2.3. 数据库A28机器增加CPU近一段时间内，电子文档数据CPU持高不

11、下，跟日益增加的业务量是密不可分的，需要进行升级。建议对新电子文档的两台数据库服务器的CPU进行扩容。目前IBM原厂给的报价1台5万，共计10万，激活2颗物理CPU，共8核。2.4. 系统内部改造2.4.1. 现状描述. 电子文档联机入库子系统电子文档联机入库子系统包括E系统文件入库及反馈、E系统通知书入库及反馈、CEPCT文件入库及反馈、CEPCT通知书入库及反馈、集成电路布图文件入库及反馈、集成电路布图通知书入库及反馈等多套应用，这些应用由C#进行开发。其中，文件入库及反馈应用由上传下载(OnlineBatchConsole)、反馈(OnlineSendXML)两套程序组成，

12、通知书入库及反馈应用由下载(NoticeTransConsole-1)、上传(NoticeTransConsole-2)、反馈(NoticeSendXML)三套程序组成。因此，联机入库是一套异步进行的过程，各程序之间通过数据库中的状态标识进行消息传递。E系统、CEPCT及集成电路的联机入库应用均遵循此架构。在电子文档的生产服务器109、110、113、114上，针对文件入库和通知书入库各部署两套，因此每台服务器会同时运行10个电子文档入库应用。在目前的维护过程中发现，这些应用常常自动停止响应，并弹出windows出错的对话框。对于这种情况，需要重新启动应用。在非工作时间，应用出错关闭以后就会造

13、成案件积压。有时会出现一个周末积压上万个批次的情况。联机入库程序在执行过程中会产生大量的临时文件。这些临时文件存储在服务器的磁盘分区上，需要进行切换和清理。尤其是这些文件主要是入库的xml描述文件和待存NAS的临时实体文件，文件小，数量多，在windows的文件系统之下，动辄上万个文件夹，上百万个小文件。因此随着数据磁盘使用量的增加，磁盘访问性能呈指数形趋势下降，最终清理数据时甚至需要整盘格式化才能够完成。而且入库程序在自身目录下也会产生许多临时文件，这些文件不及时进行清理也会影响运行速度。每个生产服务器在运行2-3月后，都需要进行一次彻底地清除工作，否则可能会出现服务器异常重启的情况。文件入

14、库及通知书入库的上传实体文件部分采用连接NAS存储FTP的方式，通过FTP协议实现上传过程。通过FTP连接NAS被认为是一种效率低下的方式，目前许多应用在存储和读取NAS数据时均采用挂载或直联的方式，这样效率更高，容错率更强，如E系统即采用此方式。同时，由于目前采用FTP连接NAS的需求萎缩，NAS厂商在其产品中对于FTP服务支持的意愿也不够强烈，因此相应的技术支持和BUG修复也很难及时响应。在2013年电子文档使用Netapp的NAS存储时，曾出现FTP连接随机中断的问题，后来通过与厂商沟通，发布新的NAS固件解决该问题。2014年局存储换用华为NAS后，电子文档入库应用出现FTP连接兼容性

15、异常，因此无法使用华为NAS存储，直到修改了相应的入库应用后才解决这个问题。. 电子文档对外获取服务电子文档对外获取服务由三台应用服务器部署相同的对外获取应用，并经由两台般固负载均衡向外部提供服务。目前对外获取应用的处理方式采用先缓存再返回缓存FTP地址的方式。缓存过程通过FTP访问NAS存储，将实体文件复制到缓存服务器上，并在缓存表中记录缓存地址。由于缓存过程依赖NAS提供的FTP服务，从性能角度考虑要低于挂载直联的方式。同样随着FTP技术在NAS上的式微，可以预见未来几年NAS厂商对FTP的技术支持和版本升级工作会越来越少。综合考虑这两方面原因，在缓存过程中应替换原有的采用F

16、TP连接NAS的方式。2.4.2. 改造方案根据目前维护中遇到的情况，我们决定对电子文档联机入库子系统和电子文档对外获取服务进行升级改造。改造主要分为三个方面：1. 重新梳理和优化业务流程，使用JAVA重写联机入库子系统中的相关应用。2. 开发新的上传功能采用直连NAS的方式，逐步减少对FTP的依赖。3. 修改的对外获取服务的缓存功能，改用NAS直联的方式进行文件缓存。联机入库子系统包含多套程序（文件入库2套，通知书入库3套，分别对应E系统、集成电路、CEPCT三个版本），且各程序之间并没有直接的依赖关系，仅通过数据库状态字段进行流程之间的通信。因此本次改造优先重写文件入库及反馈中的上传与下载

17、程序（OnlineBatchConsole），并在重写的同时开发直连NAS的上传方式。在这方面的开发需要考虑与现有程序的兼容性，在上传实体文件方面需要使FTP上传和直连上传这两种方式能够同时存在，并且不影响对外获取服务对实体文件的获取。对外获取服务的修改需要考虑已有NAS卷需全部重新采用挂载直联的方式实现，目前电子文档已使用120卷，涉及数十个NAS机头需要挂载。程序描述预计人月联机入库子系统OnlineBatchConsoleE系统文件入库2OnlineSendXMLE系统文件反馈1NoticeBatchOncoleE系统通知书入库2NoticeSendXMLE系统通知书反馈1CEPCT-O

18、nline/NoticeCEPCT文件通知书入库及反馈2V-Online/Notice集成电路文件通知书入库及反馈2对外获取服务GetFilewWS对外获取服务2合计 12可优先重写文件入库及反馈上传下载程序（OnlineBatchConsole）并开发新的NAS直连上传功能，预估工作量3人月。3. 附录3.1. 功能说明与架构图3.1.1. 功能说明电子文档系统包括人工文件处理子系统、对外服务子系统、电子形式文件处理子系统、CEPCT系统文件处理子系统、集成电路布图文件处理子系统，如下图所示：各子系统之间通过企业服务总线（ESB）来数据交换。由于，保密子系统部署在涉密网内，涉密网与其他网络是

19、完全物理隔离的，因此，只能通过文件拷贝的方式手工来与其他系统交换数据。但是，都是使用企业服务总线（ESB）作为唯一的交换入口。部署概念模型如下图所示：3.1.2. 总体架构电子文档系统的总体架构如下图所示。电子文档系统的总体架构系统包含以下主要部件² 电子文档装载服务，管理电子文件的装库过程，保证电子文件能够正确、及时地装载到电子文档系统中去，并且提供装库过程的控制和管理；² 电子文档核心服务包括存储管理、文件目录服务和文件登记服务等几部分，管理电子文档的实质内容以及登记信息的存储和访问；² 电子文档浏览服务，通过B/S结构提供对电子文档的访问功能，可以通过程序接

20、口，直接展示在浏览器中、或通过客户端程序提供展示、或为其他应用系统提供访问电子文档的方法。3.1.3. 逻辑架构. 电子文档系统生态环境外围系统梳理电子文档系统为专利电子审批系统提供访问电子文档的接口。文件的获取、修改、删除、拆分和合并等操作，电子申请联机入库、通知书文件联机入库、其它文件联机入库及入库情况的通知反馈与查询。. 外围系统与电子文档系统各子系统关系电子文档系统包括人工文件处理子系统、对外服务子系统、电子形式文件处理子系统、CEPCT系统文件处理子系统、集成电路布图文件处理子系统。其中人工处理子系统与E系统的主要接口包括文件的获取、文件属性的修改、文件实

21、体的修改、文件的拆分与合并；对外服务子系统包括的接口主要是电子申请装库接口、通知书装库接口、其他联机文件入库接口；人工处理子系统包括的接口主要是受理信息访问、装库情况通知接口、电子文档系统装库情况查询接口。. 电子文档系统维护逻辑电子文档系统能够正常地运转，为审查提供电子文档服务，需要高质量的维护工作作为保障。一方面系统出现故障时，能够得到及时有效的处理，尽快排除故障，尽可能不影响为审查提供电子文档的服务。另一方面，电子文档作为海量数据存储系统，需要对数据进行备份，在系统中出现数据错误时，能够及时将数据恢复到已知的状态。电子文档系统中的数据需要纳入到磁带库自动备份中去。目前专利局

22、已经建立了磁带库备份系统，需要考虑将电子文档数据的备份也纳入其自动备份策略中。这将使用磁带库系统中相应容量的磁带，需要根据磁带库系统的容量和目前的规划，调整其自动备份策略。电子文档系统的人工备份也是必不可少的，一方面是临时文件登记和文件目录管理服务器、文件目录服务器和文件登记服务器必须能够人工备份到磁带中，保证系统的可靠性；另一方面需要通过人工备份将电子文档中的数据备份到磁带中并上架保存。3.1.4. 体系架构系统的主要功能如下图所示，主要包括电子文档装载服务、电子文档核心服务和电子文档浏览服务三部分。电子文档核心服务提供了对电子文档的统一管理功能。通过电子文档装载服务功能，将各种不同来源的电

23、子文件装入电子文档系统。通过电子文档浏览服务功能，可以从电子文档系统中获取所需要的电子文件。3.2. 存储区设计电子文档系统使用NAS存储作为存储介质，存放实体文件。NAS存储地址对用户透明，由电子文档系统负责统一管理。对外服务时将实体文件置于缓存服务器上，并以FTP方式向用户提供文件实体。3.3. 接口设计3.3.1. 对外服务接口说明对外服务使用WebService， 主要包含文件的获取、文件属性修改、文件实体修改、文件拆分及合并。3.3.2. E系统电子形式文件数据交换接口对于申请人依据电子申请模式提交的文件，E系统将电子文件拆分成标准格式之后，生成文件标识符，然后按照格式生成文件属性。PCT一处通过对此类文件进行软扫，生成T