[计算机]数据仓库在海关统计中的实践与应用.doc

数据仓库在海关统计中的实践与应用【摘要】本文通过分析预警监测系统的需求:前瞻性与决策性,提出以数据仓库为框架搭建预警监测系统的设想。并对数据仓库进行了简单的介绍,说明了数据仓库的具体应用而产生的“知识库”与“经验值库”的特性,并对其所能够带来的效果进行了论述。【关键词】数据仓库;数据挖掘;专家系统海关统计作为统计家族的一员,其改革与发展是离不开统计整体的改革与发展的。由算盘到计算器、由计算器到计算机,统计工具的每一次进步都直接推动了海关统计的改革与发展目前海关统计在对数据的处理方面已经实现了高度的自动化。但事物是不断发展与变化的,海关统计也紧跟时代的脚步奋发向前,随着信息化时代对数据信息的重视,海关统计也从简单的对数据收集汇总转变为对数据进行挖掘分析,通过数据对国家进出口环节和海关管理各个环节进行客观评估。海关统计依靠不断地开拓创新、改革发展确立了在海关中不可或缺的地位,也成为统计家族中闪亮的一员。海关统计改革与发展的成绩是有目共睹的。但随着进出口贸易的不断发展,开始出现一系列情况,如:贸易情况复杂化、贸易数据臃肿化、贸易分析及时化等等。面对种种问题,海关积极主动应对,先后推广执法评估系统、快速反应系统、CSD系统等,同时在硬件设备完善和人员素质提高方面做了大量的工作,使海关统计工作向前迈进了一步。海关统计的改革与发展一直是走在海关乃至整个统计学家族的前面的。但要实现海关统计的继续发展,就必需从统计工作的基本内容(数据)着手。下面针对统计的这一特点来探索海关统计工作改革与发展的思路。投稿邮箱E-mail：咨询热线电话询QQ:79211969 、79212969网址:论文发表一、海关统计的基础(一)数据是海关统计的基础统计工作的基础就是数据。海关统计也不例外。从对数据的采集、整理、汇总等一系列流程来看,统计工作的中心就是对数据的真实性、准确性、完整性、及时性负责,虽然对数据的处理看起来属于传统的统计工作,但是离开了这一步根本就谈不上客观公正的分析,对数据的合理分类不仅可以简化在统计分析工作中对问题的理解,同时还便于检验数据的准确性,使用数据间的逻辑关系可以达到相互检验甚至发现问题的目的。目前,海关统计的数据被分为两类:贸易统计数据与业务统计数据。对于两类数据的交互使用就成为海关关统计发现进出口环节、自身监管环节问题的基本手段。(二)海关统计数据的处理海关统计数据的应用可以分为:一是通过贸易统计数据来对外贸进出口情况进行分析,为国家、党政机关、企事业单位及时了解形势并做出正确决策提供支持;二是把贸易统计数据与业务统计数据相结合对海关监管情况进行分析,加强海关监管。目前海关统计进行数据处理的主要系统主要有:软件包、执法评估系统以及根据SAS平台、Foxpro平台等一些系统开发出来的数据处理程序。二、海关统计数据仓库(一)数据仓库简介数据仓库是随着传统信息系统的用户对信息尤其是能够支持决策的管理决策信息的需求应运而生的。在面对庞大的数据量进行分析决策时,传统的数据库在对数据的处理方式和决策分析方面无法满足高频率数据存取的需求。而数据仓库中是采用立方体多维空间向用户提供一个层次上的数据,其“上卷”与“下钻”的功能在进行分析决策过程中为管理分析人员提供帮助。(“上卷”是指用户在数据仓库的应用中,从较低层次的数据开始逐步地将数据按照层次进行概括处理;“下钻”这是指从数据仓库中的高层数据开始逐步向底层数据探索,了解概括性数据的具体细节。)数据仓库的最终用户可以分为两类:信息使用者和知识挖掘者。信息使用者可以理解为统计分析人员对商品的分析以一种可以预测的、重复的方式来对数据信息进行处理。在概括性数据上进行运作。知识挖掘者可以理解为对贸易、监管环节问题的发现连续的长时间的对海量的数据进行挖掘。经常是提交一些复杂的、动态的查询。投稿邮箱E-mail：咨询热线电话询QQ:79211969 、79212969网址:论文发表(二)数据仓库在海关统计的作用在日常海关统计工作中,数据量的不断增长使海关统计工作原有的一系列问题更加突出,例如:“对数据差错审核的繁琐”、“分析过程中数据响应的缓慢”、“监管环节问题的模糊”等,现有的数据处理方法是:本来是同一架构的多个问题,逐个顺序地进行解决,每解决完一个问题都要推翻重建原有模型,将对数据的处理作为分析的一部分,例如:针对商品的统计分析,不同的商品,虽各自具有不同的特点,但其分析数据的方向基本上一致:贸易方式、贸易国(地区)、价格、主要企业、原因等项目,其中只有在针对不同数据特点的分析过程中加上了一定的主观评述,而其他固定的客观数据项目完全可以由计算机进行批量处理,分析人员只需要集中精力去发现原因即可。数据仓库的作用就是可以为海关统计引入一种新的信息化观念、数据处理手段的同时,可充分利用现有的人力资源对一些进出口贸易情况进行调研分析,而且对监管环节中可能出现的问题进行更深层次的数据挖掘。通过数据仓库形成“经验库”、“参数库”、“标准库”等一系列“专家库”数据可以减少海关统计的机械工作量,提高数据质量,简化分析过程。而且数据仓库可以根据海关的实际使用情况自行更新,逐渐形成“因地制宜”的“专家库”,更可以根据全国海关的实际情况对数据进行处理。投稿邮箱E-mail：咨询热线电话询QQ:79211969 、79212969网址:论文发表(三)数据仓库与海关统计专家系统海关统计的改革与发展一直遵循“以人为本”的思路进行,海关统计专家在改革与发展中更是起着至关重要的作用。但由于海关工作的流动性与统计工作的不断发展,目前专家的培养主要还是靠口传身授、以老带新的方法海关统计知识的完善还是要靠自身经验的积累,而且其所涉及的海关统计知识范围也十分的有限。随着信息时代知识需求的不断增大,海关统计这种传统的“交接班”的方法直接影响着统计的改革与发展。改革与发展要“以人为本”,但是决不是以一两个专家为本,是要发展整个统计队伍,使统计队伍中的每一个人都成为专家。所以海关统计的改革与发展就需要一个能够将知识进行积累、汇总、分类,可以与大家共享的“专家”海关统计专家系统。海关统计专家系统的主要工作原理是将积累出来的经验转化为描述性的方法,将之指标化、数据化。例如:第三部分将要提到的对一些商品编码归类的计算机识别方法,而且通过对历史数据的不断积累形成新的指标、判别条件。海关统计专家系统的好处就在于使原有的流动的、分散的、孤立的知识变成固定的、汇总的、共享的知识体系,使海关统计工作的发展不会受到一些不必要的原因的影响,如:人员内部调动、跳槽离职、专职人员休假等等。而且,海关统计专家系统可以帮助每一个新兵迅速的成长为专家级人才,只需要通过海关统计专家系统即可以专家的眼光去看待问题,例如:海关统计分析人员在最初接触分析工作时往往需要浏览大量的以前的统计数据分析文章才可以慢慢的进入角色。但是,如果能够使他直接应用以前分析专家对文章结构、数据问题等方面的处理方法,同时它可以获得对于解决问题的一些必要的提示,那就可以使一个新人迅速的成为统计分析专家,统计专家系统引入的好处也就在于此。数据仓库是海关统计专家系统的基础。因为专家系统的形成,必须要经过对大量数据的处理、积累甚至连商品的单位都是要进行转换处理的,而且海关无论在贸易环节,还是监管环节其数据量的增长使传统的数据库系统根本无法适应专家系统对数据多维汇总的需要,从数据中挖掘知识、自动更新,这些只有数据仓库才能适用。投稿邮箱E-mail：咨询热线电话询QQ:79211969 、79212969网址:论文发表三、数据仓库的应用与展望(一)举例与应用前文对数据仓库在海关统计改革与发展中的作用进行了描述,下面就数据仓库在实践中的一些简单应用与大家共同探讨:例一、在贸易统计数据审核中的应用海关每个月都要面对大量审核数据,例如:价格超控数据、数量比、大金额大数量数据、限制类商品数据、重点敏感数据等等,由于进出口贸易情况的不断变化,市场行情的变化,所以每次的数据审核都对海关统计数据审核人员的责任心与业务水平提出了巨大的考验。但是绝大部分的审核数据实际上是属于正常数据,如果能通过数据仓库的专家系统将这部分数据排除就可以大大降低统计人员的工作量,同时相应的也就提高了统计人员对其它数据审核的准确率。以“价控数据”为例,对于超过价格空范围的数据可以通过对已审核数据的横向与纵向比较进行数据比较筛选,从实际操作来看,一般按照“商品编码与商品名称”进行分类纵向比较就可以筛选掉70%至80%的需审核数据量。而且从其指标来看,其审核指标包括:标识码、商品编号、商品名称、第一数量、美元值、最高价、最低价这7项指标。但如果在筛选过程中引入数据仓库就可以使已往审核过的数据成为新的标准库,那么在日后审核数据的过程中,就公以海关最新的实际进出口情况形成的价控标准库进行参考,而且如果将横向比较的范围扩大例如:与经济发展情况相近的几个海关进行比较,需审核数据量还可以减少约5%左右。再以“数量比”审核数据为例。其中归类错误的相当一部分是对同类商品型号指标申报模糊造成的,而这一部分数据在海关统计商品目录中是有明确定义的,例如:生皮(4101)税号下的生皮制品,其每一个8位税号都具体描述了其每张皮的重量,只要利用数据仓库中对历史过往数据的比较,再将海关统计商品目录中的对商品的描述转化为电子的、指标性描述就可直接把这一部分的归类问题解决。例二、在统计商品分析中的应用对于进出口贸易中商品情况的分析一直是海关统计的工作重点。通过对商品分析的工作流程我们可以发现,其实对每个商品的分析流程基本都是有律可循的。一般都是先从宏观面进行商品选择,再进一步细化(这一步属于数据仓库的“下钻”),然后再分类对收集到的信息进行分类汇总(这一步属于数据仓库的“上卷”),通过分析数据、收集信息做出分析和判断。这些步骤都可以通过数据仓库自动完成。结合海关统计实务手册“进(出)口主要商品目录”中对商品按照税号的分类,就可以使在数据仓库中自动完成对商品的一系列数据分析,而且由于在分析中对数据的表述性文字的差别十分小,所以一篇商品分析文章的客观数字部分的文字表述基本上都可以由数据仓库自动完成,而分析人员所要做的就是有针对性地对数据的变化进行分析。以上就是对数据仓库在海关统计改革与发展中的一些应用的举例。数据仓库的应用对于海关统计的发展的应用其实还远不止于此。投稿邮箱E-mail：咨询热线电话询QQ:79211969 、79212969网址:论文发表(二)海关统计的展望随着社会的不断进步,国家对外进出口贸易的蓬勃发展,对海关统计提出了