通关无纸化电子随附单据数据存储方案

1、.：.；通关无纸化电子随附单据数据存储方案目录 TOC o 1-3 h z u HYPERLINK l _Toc343859124 第一章前言 PAGEREF _Toc343859124 h 4 HYPERLINK l _Toc343859125 第二章现状与问题分析 PAGEREF _Toc343859125 h 4 HYPERLINK l _Toc343859126 2.1.现状分析 PAGEREF _Toc343859126 h 4 HYPERLINK l _Toc343859127 2.1.1.信息中心 PAGEREF _Toc343859127 h 4 HYPERLINK l _To

2、c343859128 2.1.2.数据中心 PAGEREF _Toc343859128 h 7 HYPERLINK l _Toc343859129 2.2.试运转情况 PAGEREF _Toc343859129 h 10 HYPERLINK l _Toc343859130 2.2.1.信息中心 PAGEREF _Toc343859130 h 10 HYPERLINK l _Toc343859131 存储 PAGEREF _Toc343859131 h 10 HYPERLINK l _Toc343859132 网络 PAGEREF _Toc343859132 h 10 HYPERLINK l _

3、Toc343859133 2.2.2.数据中心 PAGEREF _Toc343859133 h 11 HYPERLINK l _Toc343859134 存储 PAGEREF _Toc343859134 h 11 HYPERLINK l _Toc343859 网络 PAGEREF _Toc343859 h 11 HYPERLINK l _Toc343859 2.3.问题分析 PAGEREF _Toc343859 h 12 HYPERLINK l _Toc343859 2.3.1.信息中心面临的问题 PAGEREF _Toc343859 h 12 HYPERLINK l _Toc343859 2

4、.3.2.数据中心面临的问题 PAGEREF _Toc343859 h 13 HYPERLINK l _Toc343859 2.3.3.直属海关面临的问题 PAGEREF _Toc343859 h 13 HYPERLINK l _Toc343859140 第三章需求分析 PAGEREF _Toc343859140 h 14 HYPERLINK l _Toc343859141 3.1.业务需求 PAGEREF _Toc343859141 h 14 HYPERLINK l _Toc343859142 3.1.1.数据存留 PAGEREF _Toc343859142 h 14 HYPERLINK l

5、 _Toc343859143 3.1.2.存储容量 PAGEREF _Toc343859143 h 14 HYPERLINK l _Toc343859144 3.1.3.读写I/O分析 PAGEREF _Toc343859144 h 15 HYPERLINK l _Toc343859145 3.1.4.磁盘并发数分析 PAGEREF _Toc343859145 h 15 HYPERLINK l _Toc343859146 3.2.开发需求 PAGEREF _Toc343859146 h 15 HYPERLINK l _Toc343859147 3.2.1.接口需求 PAGEREF _Toc34

6、3859147 h 15 HYPERLINK l _Toc343859148 3.2.2.迁移改造需求 PAGEREF _Toc343859148 h 15 HYPERLINK l _Toc343859149 3.3.运维需求 PAGEREF _Toc343859149 h 16 HYPERLINK l _Toc343859150 3.3.1.管理工具 PAGEREF _Toc343859150 h 16 HYPERLINK l _Toc343859151 3.3.2.生命周期管理 PAGEREF _Toc343859151 h 16 HYPERLINK l _Toc343859152 3.3

7、.3.监控工具集成 PAGEREF _Toc343859152 h 16 HYPERLINK l _Toc343859153 3.3.4.设备扩展性 PAGEREF _Toc343859153 h 16 HYPERLINK l _Toc343859154 3.3.5.业务延续性 PAGEREF _Toc343859154 h 17 HYPERLINK l _Toc343859155 3.3.6.复制迁移 PAGEREF _Toc343859155 h 17 HYPERLINK l _Toc343859156 3.3.7.数据备份 PAGEREF _Toc343859156 h 17 HYPER

8、LINK l _Toc343859157 3.3.8.数据质量 PAGEREF _Toc343859157 h 17 HYPERLINK l _Toc343859158 3.3.9.数据平安 PAGEREF _Toc343859158 h 17 HYPERLINK l _Toc343859159 3.3.10.机房环境需求 PAGEREF _Toc343859159 h 17 HYPERLINK l _Toc343859160 3.3.11.技艺需求 PAGEREF _Toc343859160 h 17 HYPERLINK l _Toc343859161 3.3.12.晋级支持 PAGEREF

9、 _Toc343859161 h 17 HYPERLINK l _Toc343859162 3.3.13.售后效力支持程度 PAGEREF _Toc343859162 h 18 HYPERLINK l _Toc343859163 3.4.设备平安需求 PAGEREF _Toc343859163 h 18 HYPERLINK l _Toc343859164 3.5.数据平安需求 PAGEREF _Toc343859164 h 18 HYPERLINK l _Toc343859165 3.6.网络需求 PAGEREF _Toc343859165 h 18 HYPERLINK l _Toc34385

10、9166 3.6.1.网络背景流量 PAGEREF _Toc343859166 h 18 HYPERLINK l _Toc343859167 3.6.2.无纸化报关传输流量 PAGEREF _Toc343859167 h 19 HYPERLINK l _Toc343859168 3.6.3.无纸化调阅流量 PAGEREF _Toc343859168 h 21 HYPERLINK l _Toc343859169 3.6.4.高清无纸化报关传输流量 PAGEREF _Toc343859169 h 22 HYPERLINK l _Toc343859170 3.7.其它需求 PAGEREF _Toc3

11、43859170 h 23 HYPERLINK l _Toc343859171 3.7.1.本钱 PAGEREF _Toc343859171 h 23 HYPERLINK l _Toc343859172 3.7.2.产品成熟度 PAGEREF _Toc343859172 h 23 HYPERLINK l _Toc343859173 第四章规划总体构造 PAGEREF _Toc343859173 h 23 HYPERLINK l _Toc343859174 4.1.方案一：集中存放方式 PAGEREF _Toc343859174 h 23 HYPERLINK l _Toc343859175 4.

12、1.1.总体构造图 PAGEREF _Toc343859175 h 23 HYPERLINK l _Toc343859176 4.1.2.优点 PAGEREF _Toc343859176 h 25 HYPERLINK l _Toc343859177 4.1.3.缺陷 PAGEREF _Toc343859177 h 26 HYPERLINK l _Toc343859178 4.1.4.网络估算 PAGEREF _Toc343859178 h 26 HYPERLINK l _Toc343859179 4.1.5.任务量估算 PAGEREF _Toc343859179 h 31 HYPERLINK

13、l _Toc343859180 4.2.方案二：分布存放方式 PAGEREF _Toc343859180 h 32 HYPERLINK l _Toc343859181 4.2.1.总体构造图 PAGEREF _Toc343859181 h 32 HYPERLINK l _Toc343859182 4.2.2.优点 PAGEREF _Toc343859182 h 34 HYPERLINK l _Toc343859183 4.2.3.缺陷 PAGEREF _Toc343859183 h 34 HYPERLINK l _Toc343859184 4.2.4.网络估算 PAGEREF _Toc3438

14、59184 h 35 HYPERLINK l _Toc343859185 4.2.5.任务量估算 PAGEREF _Toc343859185 h 36 HYPERLINK l _Toc343859186 4.3.方案三：集中+分布存放方式 PAGEREF _Toc343859186 h 37 HYPERLINK l _Toc343859187 4.3.1.方式1：准实时下发方式 PAGEREF _Toc343859187 h 37 HYPERLINK l _Toc343859188 4.3.2.方式2：分时下发方式 PAGEREF _Toc343859188 h 43 HYPERLINK l

15、_Toc343859189 4.3.3.方式3：非下发方式 PAGEREF _Toc343859189 h 46 HYPERLINK l _Toc343859190 4.4.倾向性建议 PAGEREF _Toc343859190 h 50 HYPERLINK l _Toc343859191 4.5.运维管理 PAGEREF _Toc343859191 h 51 HYPERLINK l _Toc343859192 4.5.1.备份管理 PAGEREF _Toc343859192 h 51 HYPERLINK l _Toc343859193 4.5.2.数据同步 PAGEREF _Toc34385

16、9193 h 52 HYPERLINK l _Toc343859194 4.5.3.容灾切换 PAGEREF _Toc343859194 h 52 HYPERLINK l _Toc343859195 4.6.数据管理 PAGEREF _Toc343859195 h 52 HYPERLINK l _Toc343859196 第五章可行性存储方案及分析 PAGEREF _Toc343859196 h 53 HYPERLINK l _Toc343859197 5.1.方案一：可横向扩展的集群式NAS系统 PAGEREF _Toc343859197 h 53 HYPERLINK l _Toc34385

17、9198 5.1.1.简介 PAGEREF _Toc343859198 h 53 HYPERLINK l _Toc343859199 5.1.2.方案架构图 PAGEREF _Toc343859199 h 53 HYPERLINK l _Toc343859200 5.1.3.特性 PAGEREF _Toc343859200 h 54 HYPERLINK l _Toc343859201 5.1.4.方案分析IBM SONAS PAGEREF _Toc343859201 h 55 HYPERLINK l _Toc343859202 5.1.5.方案分析EMC Isilon PAGEREF _Toc

18、343859202 h 56 HYPERLINK l _Toc343859203 5.2.方案二：成熟型内容管理道路 PAGEREF _Toc343859203 h 57 HYPERLINK l _Toc343859204 5.2.1.简介 PAGEREF _Toc343859204 h 57 HYPERLINK l _Toc343859205 5.2.2.方案架构图 PAGEREF _Toc343859205 h 57 HYPERLINK l _Toc343859206 5.2.3.特性 PAGEREF _Toc343859206 h 57 HYPERLINK l _Toc343859207

19、 5.2.4.方案分析IBM ECM PAGEREF _Toc343859207 h 58 HYPERLINK l _Toc343859208 5.2.5.方案分析Oracle WebCenter Content PAGEREF _Toc343859208 h 59 HYPERLINK l _Toc343859209 5.2.6.方案分析EMC Documentum PAGEREF _Toc343859209 h 59 HYPERLINK l _Toc343859210 5.3.方案三: 分布式存储+计算 PAGEREF _Toc343859210 h 60 HYPERLINK l _Toc3

20、43859211 5.3.1.简介 PAGEREF _Toc343859211 h 60 HYPERLINK l _Toc343859212 5.3.2.方案架构图 PAGEREF _Toc343859212 h 61 HYPERLINK l _Toc343859213 5.3.3.特性 PAGEREF _Toc343859213 h 61 HYPERLINK l _Toc343859214 5.3.4.方案分析EMC MapR PAGEREF _Toc343859214 h 62 HYPERLINK l _Toc343859215 5.3.5.方案分析天云科技 Hadoop PAGEREF

21、_Toc343859215 h 63 HYPERLINK l _Toc343859216 5.3.6.方案分析Intel Hadoop PAGEREF _Toc343859216 h 64 HYPERLINK l _Toc343859217 5.4.方案利弊对比 PAGEREF _Toc343859217 h 66 HYPERLINK l _Toc343859218 5.5.倾向性方案 PAGEREF _Toc343859218 h 67前言通关作业无纸化改革试点是2021年全国海关关长会议确定的重点任务。根据监管司 要求确定的改革实施步骤，于2021年8月，第一期选定12个海关的不同种类的业

22、务类型进展试点、2021年将进一步深化通关无纸化作业改革试点、 2021年将深化推进并将于2021年在全国海关全面推行实施。根据上面的业务改革实施步骤，第一期试点的设计的文件存储系统将无法满足进一步的业务需求，需求建立能支撑通关无纸化业务改革在全国海关全面推行实施后的通关无纸化电子随附单据电子数据存储系统。本方案是在科技司牵头下，信息中心、数据中心、上海海关成立专题任务组，对今后存储、网络等需求进展综合评价，并对业界相关的技术和产品进展调研，初步构成的电子随附单据数据存储方案，本方案的实施将为今后通关无纸化全面推行提供根底的技术支撑。现状与问题分析现状分析信息中心文件系统文件系统构造如下：整个

23、文件系统分元数据的存储、非构造化数据文件存储、和对文件系统的访问三部分，其中元数据是构造化数据包括效力器的配置信息和非构造化数据文件信息，放入到Oracle数据库中，非构造化数据文件放入文件效力器中，其中文件效力器是用EMC VMAXe的硬件存储。H2021客户端需求调阅随附单据时，对文件系统进展访问。实现上是由H2021客户端经过中间层效力器发送恳求，中间层向客户端前往文件地址和时间戳，客户端对以上信息及用户信息、恳求IP加签，向缓冲文件效力器发送文件恳求。缓冲文件效力器和总署级文件效力器上，设立WEB站点，接纳文件恳求。收到文件恳求后，先对恳求的内容进展验证，假设可以经过验证且在时间戳后的

24、有效时间内，将对恳求内容进展呼应。首先，缓冲文件效力器检索本效力器能否有相应的文件，假设没有，那么进一步向上级总署级文件效力器发送恳求，将获得的文件在缓冲文件效力器缓冲，并前往给恳求方。对于非业务量大的海关， 客户端向中间层效力器发送恳求，由中间层效力器直接向总署Web效力器发送恳求文件，并前往给客户端。设备列表硬件称号硬件配置数量软件及版本阐明存储EMC VMAXe可用容量10.7TB1文件效力器CPU：4路8核内存：64GB2OS：Windows2021R2 64位Cluster信息中心可扩展整组添加WEB效力器CPU ：4路8核内存：64GB2OS：Windows2021R2 64位NL

25、B信息中心可扩展MQ效力器CPU：4路4核内存：8GB2OS：Windows2021R2 64位IBMMQ 7.0Cluster信息中心不可扩展，但能按通道拆分ESB数据库效力器CPU：4路4核内存：32GB2OS：Windows2021R2 64位Cluster信息中心不可扩展ESB运用效力器虚机 CPU：4核内存：16GB2OS：Windows2021R2 64位NLB信息中心可扩展ESB Biztalk效力器CPU ：4路8核内存：64GB2OS：Windows2021R2 64位Group信息中心可扩展数据中心存储部署构造目前无纸通关工程中上传效力器在德胜和亦庄两个机房都有部署，但数据

26、库和后台程序只在亦庄机房有部署，拓扑如下：设备列表硬件称号硬件配置数量软件及版本阐明上传效力器CPU：2.8G*4内存：8G硬盘：80G8Os：linux64位 中标麒麟5.4内核版本2.6.18-164Weblogic10Jdk1.6亦庄4台、德胜4台随附单证MQ效力器IBM 750平台CPU ：8个内存16G本地盘：120G2Os：AIX-sp8MQ：ibmmq6.0部署在亦庄NFS SERVERIBM 5608CPU32G内存2OS：AIX1-sp10 部署在亦庄，其中一台为冷备机存储IBM-DS8300,存储容量10T1部署在亦庄传输用加密机Sjy362OS: linux部署在亦庄网络

27、目前数据中心为两地三中心的网络构造，北京、上海为三个中心机房的所在地，其中北京为同城主备两个机房，上海为异地容灾机房。各个分中心都是双线上联至数据中心，北方十省的分中心采用联通、电信各一条线路的方式衔接到北京同城主备两个机房，南方的分中心运用双电信线路，一条衔接到北京，另一条衔接到上海。绝大部分情况下每个分中心上联数据中心的带宽都是2M，南方的分中心主用至主运转机房的电信线路，北方十省的分中心通常主用至同城备份机房的联通线路。为了确保无纸化通关工程的顺利进展，数据中心方案将南京、拱北、杭州、北京、天津、福州等6个试点分中心上联至数据中心主用线路的带宽扩容至10M。数据中心的同城主备机房与H20

28、21系统的北京、广东节点都有互联，除今年7月将主运转机房与H2021系统北京节点金宝街的互联线路晋级到为100M裸光纤外，一切与H2021互联的线路都是4M SDH专线。NFS Server设计SAN构造NFS效力器采用两台IBM 小型机P560,两台效力器互为主备关系，需求手工切换，存储采用IBM DS8300，可用空间10TB，另外新采购EMC存储一台，裸容量为80T，可在后期数据量上升时挂载到NFS效力器上。拓扑构造如下： 文件系统设计NFS Server文件系统上传效力器挂载点备注/shanghai(1TB)/shenzhen(1TB)/nanjing(1TB)/huangpu(1TB

29、)/other(1TB)/edoc/2200/edoc/5300/edoc/2300/edoc/5200/edoc先期每个文件系统预分配空间1TB试运转情况信息中心存储截至到12月7日24时，通关无纸化工程自上线以来，系统运转根本正常。总共申报通关无纸化报关单253840份，随附单据pdf文件共518789个，存储占用约47G47417M，存储相关的磁盘读写I/O、文件效力器及WEB效力器CPU、内存资源空闲。网络在无纸化通关工程试运转的20几天中，全国海关骨干网运转情况较为良好。取试点前一个普通任务日2月28日的上午10:00至11:00业务顶峰期一小时流量平均值，再取试点最近一个月11月1

30、3日日至12月13日中每天上午10:00至11:00业务顶峰期流量最大一天的一小时流量平均值，得到的对比表如下，从整体上看，试点海关的线路流量增长不明显，骨干网目前带宽现状可以承载试点运用的流量。单次样本具有随机性，不可简单直接相减计算差值，仅用于概要反映整体变化情况。关区称号运转网带宽M试点上线前流量M试点上线后流量M1北京关区期间由2M扩容至8M1.53.042天津关区期间由4M扩容至8M3.92.643上海海关2011.4114南京海关65.64.45杭州关区21.31.16宁波关区61.24.087福州关区21.51.48青岛海关42.53.49广州海关42.12.510黄埔关区64.

31、83.1811深圳海关期间由8M扩容至30M4.16.912拱北关区期间由2M扩容至4M1.62.5数据中心存储截至到12月5日，无通关工程自上线以来，系统运转根本正常。存储占用43630M，存储相关的磁盘读写I/O及NFS效力器CPU、内存资源空闲。网络在无纸化通关工程试运转的19周中，数据中心网络系统运转非常稳定，试点分中心的线路虽然还未完成扩容，但由于随附单据的业务量不大，因此原带宽目前还可以满足业务需求。截至到12月5日，带宽最大利用率在50%以上，80%以下的有南京、北京，其他分中心均在50%以下。骨干网目前带宽现状可以承载试点运用的流量。截至到12月5日，累计申报的通关无纸化工程报

32、关单数量270899份，累计随附单据文件511674个其中已发往海关的随附单据文件484133个。问题分析信息中心面临的问题存储信息中心所运用的存储，是在现有设备中，经过与其他工程调剂出的10.7TB可用存储，存储设备为EMC VMAXe。这些存储与根据报关单量估计的每年30TB数据的所需存储容量相距甚远，现有存储容量远远不能满足实践需求。现有非构造化数据，没有专门的备份设备。当数据量随着业务试点的深化迅速膨胀时，无法对非构造化数据进展备份，致使硬件缺点后，能够引发数据丧失。现有非构造化数据，只在总署信息中心部署，在广东分中心没有进展容灾备份。当总署节点出现缺点无法运用时，将导致通关无纸化系统

33、无法运用。通关无纸化改革试点期间，为保证工程进度，在Windows的NTFS文件管理系统根底上，由信息中心自行开发了文件管理、元数据管理的功能。运用操作系统本身的文件系统，在文件存储容量、数量方面都存在限制，无法满足实践业务量的需求。网络根据前期网络测试和通关无纸化试运转的网络监控情况和对业务量的预测上，需求对部分直属关与总署和信息中心与广东分中心之间的网络进展扩容。运维管理现有对非构造化数据的管理模块，尚无远程同步的功能，无法实现与分中心的容灾，在双中心运转切换、缺点切换时，无法快速、无差别的完成非构造化数据管理的无缝切换。现有对非构造化数据的访问，主要经过WEB站点对文件效力器的共享目录进

34、展访问，没有相应的用户管理和权限管理。数据管理现有对非构造化数据的管理模块，尚无数据生命周期管理的功能，虽然在通关无纸化改革系统实施方案中有所设计，但是还没有功能实现。非构造化数据质量没有现成完善的保证方案。非构造化数据的平安需求重新思索，包括存取控制、访问权限、防控数据泄露等。数据中心面临的问题存储现有存储空间容量不能满足业务增长的需求；随着数据量的添加，操作系统本身文件系统管理海量数据文件才干较弱；目前只需亦庄有随附单证的存储和传输效力器，德胜没有，存在同城无备份的情况；共享文件缺乏一致用户管理；分中心的网络接入改造和同城网络改造能够延期，如上线压力大，能够影响目前系统运转；现有存储方案生

35、命周期管理才干较弱，需求较多手工操作；NFS效力器无法保证高可用性，发生缺点时需手工切换；利用小型机作NFS效力器，SAN存储作为非构造化数据存储本钱较高，扩展性较差，应对高并发访问的才干弱；常规的NFS文件系统的最大容量和最大文件数有限，能够无法满足业务要求。网络目前除与H2021系统互联的带宽完成晋级任务外，试点分中心及数据中心部分网络的带宽晋级任务还在进展中，因此需求在业务量还未有明显变化时尽快完成一切的带宽晋级任务。除此之外网络的高可用、高可靠、可扩展等方面性能在H2021工程中已得到充分的完善。直属海关面临的问题目前集中方式下，地方海关在将非构造化数据上传的过程中，占用了较多的网络信

36、道资源。同时此类数据在总署数据中心和信息中心分为两套存放，也占据了海量的存储资源。海关的现场关员在审单过程中均需调用总署端集中数据库里的非构造化数据，当此类业务操作被频繁提交时，将会再次占用直属海关到总署的网络信道资源和总署端的硬件资源包括主机的CPU、内存和磁盘。地方海关在非构造数据文件不下发时，一些独立于H2021之外的统计分析类工程无法直接访问总署的非构造化数据文件，呵斥一些具有地方特征的运用需求无法得到满足。需求分析业务需求数据存留信息中心基于如下思索应保管一份数据：假设只在数据中心存一份，那么这个库既要负担外网的并发写，又要负担内网的并发读，压力很大，不如分散压力。H2021是一级运

37、维工程，基于容灾的思索，也应该在内网广东分中心存一份数据。信息中心和数据中心目前网络上只需MQ的通道，无法做到直接存取。在存储设计时信息中心会将保证级别较高运转库尽量做小，历史数据将用廉价设备存储，因此在投资商并不大，相比较分布式存储反倒更廉价。关里除通关外其它系统也有调阅随附单据的需求，都从数据中心取，在性能上、网络上不一定满足。直属海关在随附单证非构造数据文件下发后，为构造性通关方式改革提供实现根底,为二次申报等改革奠定必要条件。分布存放方式可为构造性的通关方式改革提供实现根底，使报关单电子数据的传输、审核、放行与随附单证的传输、审核分别成为能够。实现“逐票电子放行，汇总计纳税费量和时间上

38、汇总、空间集中、批量复核方式，分别传输可改动以往海关需在狭小时空内完成复杂义务的姿态，拓宽时空，提高有效性。目前海关已有的决策支持类系统如海关廉政预警系统HL2021、批量复审系统、归类综合管理系统等，其分析的对象主要还是构造化的通关类电子数据。而随附单证电子化后的非构造化数据假设下发到各直属关，就可以满足各业务部门在分析构造化数据后对于相关原始纸质单证的调阅和分析需求，从而加强执法监控。此外，下一步随着OCR软件在海关随附单证领域的运用，也可以更加充分发掘纸质单证资源的潜力。现有问题主要是各关的随附单证根本还是以纸质方式存放，即占用大量场地资源又无法方便查询调阅，且时间长了之后极易损坏，而采

39、用了分布式存储方案可以有效处理此次问题。请上海海关补充本地存留无纸化单证并进展业务创新的一些需求。存储容量根据测试，按照目前对普通无纸化单证存档时对于随附单证的要求即非高清HD随附单证，各分辨率下的文件大小如下。目前，采用的是格式2200DPI方式。文件尺寸单位字节扫描分辨率23页文件BMP图像尺寸PDF格式文件尺寸紧缩比100DPI2,797,674375,0167.461200DPI11,186,418964,86711.591300DPI25,174,8341,856,41413.561单票报关单随附单证大小的估算方法如下：根据试点数据，在满足数据中心随附单证规格要求的情况下，平均随附单

40、证尺寸87KByte, 最大8M，最小6K，单票报关单平均随附单证数量2.7-2.4份目前有部分随附单证未列入试点。为了简化，数据量估算时思索将单个随附单证大小以100K Byte计，平均每份报关单随附单证数量以5份计试点量的2倍，每日峰值任务时间为2小时。相应的，存储计算中，单份报关单的随附单证以500KB计；网络计算中，单份报关单的随附单证带宽占用以5Mb/s计。据统计，2021年的报关单数量约为5900万份，20212021年报关单数量估计超越6000万份。以单份报关单包含5份随附单据且单份随附单据平均大小为100KB计算，估计2021年报关单将到达6300万份，信息中心年每年需求可用存

41、储30TB；数据中心加上一定的冗余数，年数据增长量约为47TB。读写I/O分析结合存储容量分析，每年产生的数据量约为3亿个文件，按照每年220天任务日计算，那么每天产生的数据数量为万个文件，既每日产生的买卖量为万，忙时处置才干是按照每日买卖量的80%在3个小时内完成，每星期五是一周内的顶峰，是平均的1.5倍，即峰值为每秒钟万*80%*1.5 / 3 / 3600=152个文件，I/O处置才干为152*100KB=14.8MB/s。 磁盘并发数分析 结合I/O分析，峰值时效力器恳求平均为每秒152个文件。根据压力测试时获取的系统I/O事务数据计算，峰值的I/O恳求约为5679次每秒IOPS。开发

42、需求接口需求存储数据访问方式应做到尽量规范、通用、简单。例如：NFS、FTP、HTTP和HDFS等。迁移改造需求所选方案假设涉及程序迁移改造，方案应提供程序改造时所需的SDK，且改造时元数据管理和非构造化数据迁移影响程度应尽量降低。运维需求管理工具提供便于系统工程师维护和管理系统的操作界面、并提供日常缺点诊断工具。生命周期管理工程要思索到分级存储的需求，保证业务在数据增长符合业务开展需求同时，在运维数据管理上，可根据管理和维护的需求，运用管理工具定义相应的数据维护规那么，可将数据自动或手动迁移到磁带或其他低本钱介质设备进展保管，当需求调取该文件时运用可以自动从介质中获取。随附单据生命周期特征随

43、报关单变化：信息中心可分为：在线期：运用高速存储介质例如：SAS，建议1年内数据或只存储未理单的报关单对应的随附单据数据；近线期：运用低速存储介质例如：SATA，建议1-5年数据；离线期：运用离线存储介质例如：磁带库，建议5年以上数据。数据中心可分为：在线期：个月，运用高速存储介质例如：SAS近线期：12个月，运用低速存储介质例如：SATA离线期：12个月以后，运用离线存储介质例如：磁带库根据通关无纸化业务义务书制定的报关单证保管期限：普通的报关单证备案号为空，备案号为以“Z开头且监管方式为“4019边境小额贸易保管年限为3年；备案号为以“D、“Z监管方式为“4019边境小额贸易除外、“H*D

44、开头的报关单证保管年限为11年；除前面两种情况之外的报关单证保管年限为5年。对满足这些条件的报关单所对应的随附单据文件数据进展销毁处置。监控工具集成可以运用信息中心和数据中心现有的监控管理软件例如MS System Center,BMC监控工具进展监控，或可以提供相应的接口，将数据定义成监控工具可以调用的方式。监控中要提供包括硬件缺点报警，缺点诊断，缺点定位，性能报告等功能。设备扩展性设备满足非构造化数据每年信息中心每年约30T和数据中心每年约47T和容量的需求同时，在业务数据添加同时，集群内的容量可以平滑扩容，性能上也可以根据需求在线横向扩展。业务延续性系统不存在单点缺点，对主要部件进展冗余

45、设计，机器可以动态上线，可在线进展改换。复制迁移系统可提供同城机房间的文件在线实时复制以及文件迁移功能。数据备份基于本钱和容灾的思索，信息中心会将运转库做小做精，过期的数据放到保证级别较低的归档库中。在各集中存储的方案中，为各关增配本地缓存效力器，提高读取效率、节省带宽。存储设备支持数据文件不经过主机，直接备份到磁带上。数据质量 对内外网MQ、ESB系统数据传输的及时性进展监控，对数据积压和丧失等缺点及时发现和处置。对非构造化数据与构造化数据的一致性进展比对，并对缺失、多余、不一致数据进展补处置。数据平安建立非构造化数据的身份认证和存取控制机制，防止非法数据访问。对元数据中的敏感信息进展加密传

46、输，防止数据走漏。保管对数据的操作日志，以便问题分析和审计。机房环境需求机房可提供双路220V，380V电源，地板称重每平方米不超越800千克/平方米，机柜高度不超越2米，机房提供空调为侧送风和下送风 。技艺需求硬件和软件操作不应过于复杂繁琐，应尽量符合业界同类产品操作。晋级支持及时提供破绽补丁。售后效力支持程度硬件和软件的保证级别为7*24，呼应要求为1小时内呼应，2内小时处理缺点，有充足的备件。提供完好的售后效力和技术支持，且对中心运维人员有定期的系统性培训支持。设备平安需求提供设备要具备可监控，可管理，可审计，提供的操作系统要可以根据系统平安分析结果，进展操作破绽进展相应的平安整改,如无

47、法整改的部分,需提供出相应的处理方案。数据平安需求非构造化数据的平安需求包括存取控制、访问权限、防控数据泄露等网络需求需求保证试点分中心到数据中心、互联网企业到数据中心以及数据中心到信息中心的互联带宽可以满足流量增大后的需求，且中间经过各种网络设备的处置及转发性能也完全可以支持业务量增大后对系统资源的要求。网络基准流量的估算方法如下：网络背景流量信息中心网络部根据目前流量情况测算了根底的背景流量，测算方法为：在一个月内随机选取五个任务日，对这五天每个海关早10：00至11：00的流量进展统计，算出一小时平均值，再用此值为根底按每年带宽增长5%计算出五年后的带宽值，此数值即为各海关的背景流量。与

48、后面章节中网络整体估算方法坚持一致关区带宽M背景流量M背景流量带宽利用率%大连21.8492.21%青岛43.6891.89%南京64.7378.81%上海2013.0265.09%黄埔63.3956.48%广州42.2556.16%杭州21.1055.20%宁波42.2054.88%拱北41.9147.86%厦门41.8846.90%天津82.9637.01%重庆20.6431.91%北京82.2728.40%成都20.5226.16%深圳307.6625.53%福州20.4924.57%江门20.4723.61%广东分中心458.4718.83%南宁20.3818.83%武汉20.3818

49、.83%汕头20.3718.51%昆明20.3618.19%长沙20.2613.08%哈尔滨20.2612.76%满洲里20.2612.76%石家庄20.2512.44%沈阳20.2412.12%长春20.2411.81%乌鲁木齐20.2411.81%湛江20.2311.49%西安20.2010.21%郑州20.178.30%呼和浩特20.157.66%海口20.136.70%合肥20.115.74%南昌20.105.11%拉萨20.042.23%贵阳20.031.28%兰州20.031.28%太原20.031.28%银川20.031.28%西宁20.010.64%无纸化报关传输流量经过对试点

50、数据的观测，思索无纸化方案设计要求，平均每票无纸化报关单月需求5000Kb/s流量，计算得出无纸化报关传输流量在不同比例下产生的带宽占用量为：关别目前带宽各无纸化单证比例下的网络带宽需求MbpsMbps目前试点5%10%30%50%80%100%北京关区8是天津关区8是0.5135810.1石家庄区2否000.3太原海关2否000000满洲里关2否00.70.9呼特关区2否00.40.5沈阳关区2否000.3大连海关2否长春关区2否000.10.10.

51、20.3哈尔滨区2否00.60.7上海海关20是3.56.920.834.655.469.2目前试点通关无纸化企业大多为AA类企业或原“无纸通关、单证暂存企业，其中“单证暂存“企业无需递交纸面单证，也不需求传输随附单证电子扫描件，故原方案根据目前现状估算的传输量能够偏低。参考上海海关存量报关单证电子化系统中随附单证明际情况，每份报关单平均附带10份随附单证，每个随附单证的平均数据量约为300KB，单票报关单随附电子单证的数据量为3MB。故此表中各阶段网络带宽需求能够需求重估，我们引荐的单信道估算值为83.3Mbps150000/4/60/60*8，思索备份后需求新增167Mb

52、ps。南京海关6是11.318.122.7杭州关区2是宁波关区4是0.71.346.710.613.3合肥海关2否000.3福州关区2是11.62厦门关区4否南昌关区2否000.3青岛海关4是7.812.515.7郑州关区2否000.2武汉海关2否00.60.7长沙关区2否000.3广州海关4是0.510.4黄埔关区6是15.519.4深圳海

53、关30是16.326.132.6拱北关区4是0.30.7汕头海关2否0.611.3海口关区2否000湛江关区2否000.2江门关区2否南宁关区2否00.60.7成都关区2否0.611.3重庆关区2否贵阳海关2否000000昆明关区2否000.5拉萨海关2否000000西安关区2否000.3乌关区2否0.50.81兰州关区2否000000银川海关

54、2否000000西宁关区2否000000小于0.001Mbps计为0无纸化调阅流量信息中心网络部经过对上海海关的运转网线路近半个月流量数据的实践监控，结合运转网上传输的无纸化业务流量与实践发生的上海无纸化报关单量进展了分析，根据目前现场作业对的无纸化随附单证调阅比例，发现调阅一张报关单普通需求2秒，而平均每张报关能够产生的调阅数据量为0.044Mb，因此得出了一张报关单单词产生的调阅数据产生平均流量为：0.022Mb/s。根据目前通关无纸化工程的设计，随附单证能够会在审单、审核和放行环节调用，对比下表和前述“无纸化报关传输流量可知，目前无纸化随附单证的总调阅率约为1%，为充分满足业务开展需求，

55、假设未来无纸化随附单证的调阅率不少于报关单的改单率目前约为10%，且调阅比例仅限于单个环节，工程推行后上述三个环节会被现场关员调阅计，平均一张报关单调阅过程将共产生流量为：0.66Mb/s。因此根据各关报关单根底数量，按最大并发计算得出无纸化调阅流量在不同比例下产生的带宽占用量为：关别目前带宽各无纸化单证比例下的网络带宽需求MbpsMbps目前试点5%10%30%50%80%100%北京关区8是0.03 0.06 0.18 0.29 0.47 0.58 长春关区2否0.00 0.00 0.01 0.01 0.02 0.03 长沙关区2否0.00 0.00 0.01 0.01 0.02 0.03

56、 成都关区2否0.01 0.01 0.04 0.06 0.10 0.13 大连海关2否0.03 0.06 0.18 0.31 0.49 0.61 福州关区2是0.01 0.02 0.06 0.10 0.16 0.20 拱北关区4是0.03 0.07 0.20 0.33 0.53 0.66 广州海关4是0.05 0.10 0.31 0.52 0.83 1.04 贵阳海关2否0.00 0.00 0.00 0.00 0.00 0.00 哈尔滨区2否0.00 0.01 0.02 0.04 0.06 0.07 海口关区2否0.00 0.00 0.00 0.01 0.01 0.01 杭州关区2是0.01

57、0.03 0.09 0.14 0.23 0.29 合肥海关2否0.00 0.00 0.01 0.02 0.03 0.03 呼特关区2否0.00 0.01 0.02 0.03 0.04 0.05 黄埔关区6是0.10 0.19 0.58 0.97 1.55 1.94 江门关区2否0.01 0.01 0.04 0.07 0.11 0.14 昆明关区2否0.00 0.00 0.01 0.02 0.04 0.05 拉萨海关2否0.00 0.00 0.00 0.00 0.00 0.00 兰州关区2否0.00 0.00 0.00 0.00 0.00 0.00 满洲里关2否0.00 0.01 0.03 0.

58、05 0.07 0.09 南昌关区2否0.00 0.00 0.01 0.01 0.02 0.03 南京海关6是0.11 0.23 0.68 1.13 1.81 2.27 南宁关区2否0.00 0.01 0.02 0.04 0.06 0.07 宁波关区4是0.07 0.13 0.40 0.67 1.06 1.33 青岛海关4是0.08 0.16 0.47 0.78 1.25 1.57 汕头海关2否0.01 0.01 0.04 0.06 0.10 0.13 上海海关20是0.35 0.69 2.08 3.46 5.54 6.92 需求阐明的是：目前试点通关无纸化企业大多为AA类企业或原“无纸通关、

59、单证暂存企业，他们申报的报关单大多为自动放行无需人工干涉，同时“单证暂存“企业无需递交纸面单证，也没有上传随附单证扫描件，即使关员人工审核时也不会调阅随附单证扫描件，故原方案根据目前现状估算的传输量能够偏低。另外，此表在进展调阅所需网络流量估算时是以10%的通关无纸化报关单将被现场关员调阅为基准比例得到的。而根据我关业务部门提供的数据，在通关无纸化业务推行到B类和C类企业之后，现场关员将会调阅60-70%的进口报关单和30-40%的出口报关单所对应的随附单证扫描件，故此表中的新增网络带宽能够需求重新预估，我们引荐的网络带宽需新增42.35Mbps，思索备份信道后需新增85Mbps。需求阐明的是

60、：目前试点通关无纸化企业大多为AA类企业或原“无纸通关、单证暂存企业，他们申报的报关单大多为自动放行无需人工干涉，同时“单证暂存“企业无需递交纸面单证，也没有上传随附单证扫描件，即使关员人工审核时也不会调阅随附单证扫描件，故原方案根据目前现状估算的传输量能够偏低。另外，此表在进展调阅所需网络流量估算时是以10%的通关无纸化报关单将被现场关员调阅为基准比例得到的。而根据我关业务部门提供的数据，在通关无纸化业务推行到B类和C类企业之后，现场关员将会调阅60-70%的进口报关单和30-40%的出口报关单所对应的随附单证扫描件，故此表中的新增网络带宽能够需求重新预估，我们引荐的网络带宽需新增42.35