B1包、基于大数据的山东质监数据仓库与信息共享平台建设.doc

B1包、基于大数据的山东质监数据仓库与信息共享平台建设项目中间件一、供应商资格要求1、符合中华人民共和国政府采购法第二十二条的规定。2、供应商的资质要求：无二、技术要求一、 项目背景及说明1. 总体功能架构山东质监大数据共享平台项目已于去年11月份完成了设计和开发的招标，目前项目的概要设计已经完成并通过评审，正在详细设计和开发阶段，本次采购的中间件产品是为该项目服务的，中标人须保证该产品满足招标参数及项目设计要求，并派人全程配合项目的设计和开发工作,所投产品应为成熟产品。基于大数据的山东质监数据仓库与信息共享平台项目主要建设内容为数据仓库和信息共享，采用大数据处理的思想，通过数据采集工具将数据加载、清洗、转换汇集到数据仓库中，通过特定的数据处理手段对抽取的数据进行快速的分析、整理，并组织成相应的模型存储，在整个的处理过程中对数据质量进行监控，做到数据准确、可靠，通过数据标签技术对数据及时存档并加注版本予以区别。在前台通过特定的门户工具将各分析、挖掘的结果进行集成，并对质监内部、社会公众、其他委办局进行共享。具体功能框架如下：图 总体功能框架数据仓库整体分为前台和后台两个主要部分，前台主要是数据的分析和展现，后台主要包括数据的获取、数据的清洗、数据的存储、数据质量管理等一系列的处理过程。数据获取：通过数据采集（ETL）工具从已建设的14个业务系统、存量的数据、外部共享的政务信息中抽取数据，经过清洗、转换和加载后将数据导入到数据仓库。数据仓库：数据仓库包括四部分，分别是业务数据层、中心数据仓库、数据归档区、数据集市。业务数据层：相当于源数据的全量集合，用于数据处理的缓存。数据归档管理：通过ETL工具将数据加载到归档管理区进行归档。数据质量：通过数据质量功能的规则对数据的质量进行控制避免错误数据，提高数据准确性和利用率。中心数据仓库：数据仓库的核心存储和处理区。数据展现：主要包括BI工具和门户平台。BI工具：通过BI展现工具对组织好的数据进行挖掘和展现，内置的数据算法以满足不同的统计、分析、挖掘的业务需要。门户平台：通过门户平台集中对数据的使用进行展现，并可以对组织机构、用户等进行管理，统一用户、统一权限。2. 总体产品架构依据山东质监信息化建设现状和未来发展的需要，在“基于大数据的山东质监数据仓库与信息共享平台”项目中，结合多种数据源、多类型的数据情况，需要使用数据采集工具将数据集成到数据仓库中，通过数据共享工具将数据信息推送到山东质监数据门户、社会公众或其他委办局。在门户的应用中山东质监相关人员使用数据分析工具进行数据分析，使用数据流程工具对相应的流程进行流转控制和未来业务流程的优化、使用全文检索工具来满足快速查询、定位的需求。本次采用的产品架构如下图：图 总体产品架构1）数据采集工具：将结构化、非结构化等异构数据从不同的数据源中进行采集，通过图形化配置的方式进行操作，可以灵活支持定时、非定时的抽取策略等。2）数据仓库工具：主要用于海量数据的可靠存储。3）数据共享工具：系统间数据共享、数据交换的工具，并能方便地将数据进行封装、共享。4）数据分析工具：包括元数据管理、数据质量管理、主数据管理、即席查询、智能报表、多维分析功能。5）流程工具：支持复杂的流程设计，可以通过此工具优化山东质监目前的业务流程。6）门户工具：支持统一用户、统一权限的功能，可以方便的将各应用进行集成。7）全文检索工具：支持从结构化、非结构化数据中进行全文检索。3、本项目所采购中间件产品包含以下模块：（1）ETL工具：11业务需求1）数据信息来源本系统数据信息来源共分为四类：第一类是已经建设的业务系统，包括：标准化管理信息系统、组织机构代码系统、商品条码信息系统、标准文献系统、12365质监热线系统、缺陷产品召回系统、特种设备监察管理系统、特种设备检验管理系统、行政许可系统、产品质量监督检查管理系统、检验检测公共服务平台、人力资源管信息理系统、办公自动化系统、内外网网站共14个系统。第二类是未进入信息化业务系统的游离数据，比如个人或部门常用的excel、word、文本等数据。第三类是共享的政务信息，比如国家质检总局的政务信息、来自省经信委共享平台的信息、来自其他政府部门的信息（已与10个省内政府部门签署信息共享协议）、来自第三方机构的信息。第四类是互联网舆情信息，包括通过网络舆情监测采集的网络（比如重大论坛、新闻网站）、电视、报纸等媒体信息。2）数据抽取工作流程通过对四类数据源进行分析整理，按照源数据特点，通过数据抽取工具，将源数据抽取到数据中心，其工作流程分为抽取、转换、加载，如下图所示：1.2功能要求由于本系统的数据来源复杂，数据量大，因此业务系统在使用数据之前必须对源数据进行处理，目的是将数据源中的分散、零乱、标准不统一、多种结构的数据整合到一起，为决策提供分析依据。本系统使用ETL工具对数据进行采集，ETL的设计分三部分：数据抽取、数据的清洗转换、数据的加载。1）数据抽取数据采集工具将以多个不同的业务系统、异构（结构化、非结构化、半结构化）的数据作为数据源，可实现数据定时抽取，同时可人工发起抽取命令。同时数据抽取可实现增量抽取，不耗费资源信息，提高抽取效率。2）数据的清洗转换数据清洗：数据采集工具可以过滤不符合要求的数据（不完整的数据、错误的数据、重复的数据），将过滤的结果分发给业务主管部门，确认是否过滤掉还是由业务单位修正之后再进行抽取。数据转换：数据采集工具可以将不一致的数据、数据粒度进行转换，以及一些规则的计算。3）数据加载数据采集工具把经过清洗、转换的数据加载到数据仓库中。1.3 技术要求：详见采购清单。(2) 数据共享和交换2.1.业务需求1)、实现不同业务间的数据关联。项目通过主题分类，对同一管理对象进行信息汇聚，实现不同业务管理的数据关联。2)、信息共享的应用集成例如，在办理行政许可前，许可人员可以利用该平台查询办事企业的机构、人员、标准等信息，为行政许可的办理提供信息支撑，为许可风险排查提供支持，提高了行政许可的准确性、可靠性、有效性,使行政许可工作更加科学合理。3)、提供跨部门的信息共享服务构建数据共享平台实现对质检总局、省内相关政府部门、全省各级质监机构的信息共享；4)、为社会公众提供信息查询服务为社会公众提供信息查询服务，使信息公开得以实现。社会公众可以利用该平台查询企业的行政许可情况，查询人员的获证情况，同时还可以查询国家标准、行业标准及地方标准目录。2.2.功能要求利用数据共享工具构建数据共享平台，提供稳定高效的数据传输服务，提高数据发送正确率，并支持大文件传输，保证信息安全、可靠、有效传输。利用数据共享工具，能够快速搭建分布式应用系统间的数据共享总线通道，负责将分布的、异构数据源中的数据进行适配，抽取、转换、路由和装载，保障数据在局域网、广域网的安全、可靠、高效传输。数据共享中间件提供业务和技术构件，通过数据构件，快速实现关系型数据库、文本文件、XML文件、Excel文件、非结构化文件的集成；通过协议构件，实现可靠的数据传输及协议转换，产品支持标准的JMS消息、HTTP、SOAP、TCP、UDP、FTP等通信协议。2.3 技术要求：详见采购清单（3）分析展现功能3.1.业务需求 信息查询、统计分析、辅助决策四个层次的建设要求，提供数据内容服务应用。应用数据挖掘综合分析中间件工具，以组织机构代码信息库、人员身份证信息库、设备信息库、产品信息库、标准信息库等信息资源为基础，整合各类质监业务信息资源，实现产品质量、企业诚信、产品追溯、缺陷产品召回等角度进行深度挖掘分析。3.2.功能要求信息查询，实现对大数据中数据的快速定位，精准的查询出有效数据，从信息海洋中迅速挑选出有用数据。实现全局信息的快速扫描、查询，实现对信息数据的分层展示。统计分析，实现灵活、柔性、可配置的数据分析统计报表，从不同业务维度，不同主题维度进行分析。辅助决策，快速分析大数据，针对整体各个业务口数据的批量汇总，完成对全年数据的整体挖掘和分析，为领导决策提供依据。3.3 技术要求：详见采购清单。（4）工作流管理4.1.业务需求工作流可以解决多人之间的组织协作问题，建立业务过程模型，将不同的人、不同的任务组织起来，并控制业务的执行顺序以及任务在不同的人之间的分配。数据的发布会涉及到权限审核流程，比如导出的某一报表，经过封装后需要通过流程的审批最后发布给相应的人员查看；数据的使用也需要进行权限的审核分配。为提高工作效率、更好的控制过程、有效管理业务流程，实现对全流程进行监控等目的，需要在数据共享平台中选用工作流工具。4.2.功能要求工作流能够可视化的进行业务流程的分析、定义和业务单元的组装，从而使开发人员更关注于业务逻辑的实现，降低了复杂流程应用的开发难度。 工作流为应用系统提供统一的流程开发、运行和管理平台，使得应用系统可以在不修改业务逻辑代码的条件下，通过重新定义流程就可以实现流程逻辑的变化。1)、快速构建流程应用提供快速构建复杂业务流程应用的解决方案，提供数据、业务流程、人员集成和重组通用环境，提供主流程对子流程的同步和异步调用，主流程与子流程之间的数据交互；在行政审批等过程中可以提供自由流、跳转、回退、任务追回、代理、取回、转发、抄送等灵活的功能；可以进行灵活的任务分配，如执行人、角色、用户组、组织机构、条件表达式和自定义扩展等。2)、提高应用开发的能力通过基于浏览器的流程建模工具，允许上级单位给下级单位下发流程定义，而下级单位能够针对各自的需求特点对下发流程进行细化。流程建模功能提供直观的流程描述图，使得开发思路更清晰；业务流程需实现应用系统的流程逻辑与业务逻辑的分离，使用表单设计功能来辅助开发业务逻辑；应用在流程分支运转、任务分配、业务逻辑分解等方面可灵活应对变化。4.3 技术要求：详见采购清单（5）门户集成5.1.业务需求目前我局已建设14个系统，技术体系不尽相同、应用界面各自独立，同时考虑到资源整合规划的考虑，现主要存在以下问题：1)、缺少一套门户工具进行业务集成和统一展现。2)、信息孤立，不能共享。3)、口令繁多、多次登录。4)、没有统一的授权访问控制。5)、无法支持移动应用。针对以上问题，计划建设一个统一的门户，实现单点登录和统一权限处理，对数据分析的结果从一个门户上集中展现，也为山东质监的综合信息平台、资源整合提供平台，并可支持移动设备，进行移动办公。5.2. 功能需求对数据分析、挖掘结果的统一门户展现，实现单点登录和统一权限处理。提供更加主动、业务友好的服务集成方式，如统一的待办任务工作台、统一的消息提醒、统一的预警信息等。基于该产品集成各类数据展现和服务，实现单点登录。同时提供移动设备支持，实现移动登录，进行数据信息获取和业务办公。5.3 技术要求：详见采购清单。（6）全文检索工具6.1.业务需求提供全文检索功能和检索平台，实现对结构化、非结构化信息的全文检索和统一存储。6.2.功能要求全文检索引擎能够支持办公文档、动静态网页、多种数据库等格式，支持中文和英文，灵活的架构也可以扩展支持其他语言和编码。6.3技术要求：详见采购清单。二、采购清单编号产品名称技术指标要求数量1大数据分析和展现中间件1、ETL工具技术要求：1）、提供总体数据集成框架和软件环境，实现信息系统的有效衔接，满足已有的多种应用系统的数据集成需求，具有高度开放性、灵活性和高度扩展性，以满足信息化的可持续增长需求。2）、支持基于规则的消息路由引擎、定时框架等服务。规则基于可视化界面进行定制。3）、支持数据的定时对账重传，保证数据传输一致性。4）、提供图形化数据库集成工具，实现异构数据库表映射与关联。快速实现异构数据库表与表之间的同步。5）、对多级数据交换工具进行集中监控管理。监管内容包括数据运行情况，CPU、内存、网络、磁盘空间等使用情况，交换数据审计及统计分析，异常实时告警等。6）、兼容国内外主流操作系统及数据库，支持操作系统包括Windows、Linux等；支持数据库包括Oracle、SQL Server及主要国产数据库等。7）、支持HTTP/HTTPS、TCP、JMS、FTP、POP3/SMTP、MQ等多种跨网络通讯技术或协议，以支持各种网络传输场景下的数据传输。8）、支持基于数据库、文件、JMS、消息中间件等方式的接入或数据资源共享交换。9）、提供对已有异构系统的标准适配组件，支持与主流关系数据库、规格化文本文件、XML文件、Excel文件资源的集成。10）、支持多种数据变化感知方式，如触发器比对，指纹比对，CDC同步、CDC异步、视图、SQL查询、时间戳等。11）、支持存储过程的调用。12）、支持各种异常处理策略，当数据交换过程出现异常时，提供配置策略，包括抛出异常、记录错误文件等。13）、支持FTP，VFS、SNB等文件传输功能，支持断点续传。14）、支持EXCEL数据文件的适配器，支持自定义数据格式的EXCEL文件解析，支持Excel 2003、2007、2010版本。15）、支持Text、XML结构化文件的集成，支持自定义结构化Text、Xml文件抽取和装载，可自定义数据分隔符。16）、本产品在“基于大数据的山东质监数据仓库与信息共享平台”的项目范围需要部署在山东省电子政务公共服务云平台山东质检中心机房和备用机房,在部署范围内本产品须不限授权使用。2、数据共享和交换技术要求：1)、支持Oracle、 DB2、 SQL Server、MySQL等数据库适配接入，支持基本数据操作（表的CUID操作、存储过程调用、事务控制等），存储过程、Function、表、视图及表操作发布为Web服务。2)、提供数据、服务可视建模配置。3）、支持REST服务、Web服务、FTP/Secure FTP、RMI/IIOP (EJB)、Email (SMTP/POP/IMAP)、WebSphere MQ、MQSeries、JMS/XA、JCA、HTTP/ HTTP S、HTTP/JMS、SOAP、TCP/IP Socket和JDBC等协议标准。4）、支持XML、Text、JSON、CSV和Excel等消息传输格式，支持不同格式映射转换。5）、支持ESB多节点和负载均衡器两种集群方式。6）、符合SOA架构，提供总体集成框架和软件环境，实现应用系统的快速构建，迁移和伸缩，满足已有的多种应用系统集成需求，具有高度开放性、灵活性和高度扩展性，以满足信息化的可持续增长需求。7）、遵循工业标准，如Web Services、XML、SOAP、WSDL、UDDI、WS-Security等技术和标准规范。8）、支持Win XP（32位）、Win 2003（32位、64位）、Win 2008 Server（32位、64位）、RedHat 6.3（32位、64位）、SUSE Linux11 （64位）、中标麒麟6（32位、64位）、Neoshine Linux 5、SUN Solaris（32位、64位）等主流平台。9）、服务集成能力支持基于内容的动态路由、基于内容路由、路由调度、服务丰富、服务代理、数据格式转换、消息延迟、消息处理、消息聚合、消息排重、消息过滤、消息复制、消息拆分、消息监听、流量控制、负载均衡、路由表及管道过滤、消息转换、服务接入、服务注册、上下文和异常处理功能。10）、提供数据、服务可视建模配置。11）、提供服务监控二次开发接口，基于二次开发接口可以实现对运行环境、服务、数据的监控分析。12）、提供JDBC主备集群、共享文件主备集群、动态传输集群、静态传输集群、双向模式和静态传输集群、默认负载和负载均衡消息集群等方案。13）、本产品在“基于大数据的山东质监数据仓库与信息共享平台”的项目范围需要部署在山东省电子政务公共服务云平台山东质检中心机房和备用机房,在部署范围内本产品须不限授权使用。3、分析展现功能技术要求：1)、支持灵活、柔性、可配置的数据查询。2)、支持业务过程的全程信息检索，支持业务监控。3)、支持大批量的报表分析，支持相关部门的业务协同信息服务发布。4)、支持数据存储、压缩技术。5)、支持即席查询功能。6)、支持数据挖掘功能。7)、支持多维分析功能。8)、兼容国内外主流操作系统及数据库，支持操作系统包括Windows、Linux等；支持数据库包括Oracle、SQL Server及主要国产数据库。4、工作流管理技术要求：1)、兼容国内外主流操作系统及数据库，支持操作系统包括Windows、Linux等，支持数据库包括Oracle、SQL Server及主要国产数据库等。2)、支持WebLogic、WebSphere、Tomcat、JBoss、TongWeb、Apusic、InforSuite AS等主流国内外应用服务器。3)、提供简单、方便的图形化流程设计和配置工具。4)、提供基于浏览器的流程建模工具，支持流程分级设置功能，允许上级单位给下级单位下发流程定义，各下级单位针对各自的需求特点对下发流程进行细化。5)、支持复杂流程的设计，至少包括串行、并行、分支、汇合、循环、定时、同步、异步子流程等流程逻辑结构；流程复活、自由流、跳转、回退、任务追回、代理、取回、转发、抄送、串行会签等复杂流程模式。6)、可完成流程执行过程、岗位节点（活动）的任务分配、岗位节点（活动）所需完成的具体工作、执行人对流程的控制权限等信息的定义。7)、提供图形化的流程仿真、分析工具，对流程执行语法与语义检查，为优化流程提供依据。8)、支持全面的任务催办设置，当到达执行期限后，可触发各种事件，如发送手机短消息、邮件、重新分配执行人、自定义等。9)、要求人工活动（岗位环节），所要执行的业务（业务单元）和流程的控制操作能够进行细粒度设计，有利于快速构建和流程再造，尽可能进行业务复用。10)、支持运行数据可追溯，每个岗位流程相关业务数据（相关数据）具有历史轨迹。11)、支持业务人员处理业务的异常情况处理，包括分配群组、代理人办理、动态指定和更换处理人员等。12)、提供流程平台的集中监管能力，可对多个工作流平台进行集中监管；提供查询所有流程服务节点的功能，并对每个服务节点进行全生命周期管理；提供图形化的流程管理监控工具，可以对运行时流程进行管理监控，管理员可以人为干预流程的运行过程，并为指定的人员分配任务等。13)、提供调用第三方WebService服务和EJB服务的工具代理。14)、提供事件插件SPI回调接口；应用系统能够嵌入到工作流引擎中对流程进行控制。同时保证流程状态改变时，允许应用系统以插件的形式扩展其业务上所需要的功能。15)、提供核心引擎扩展机制，允许开发人员根据特殊需求快速实现功能。16)、提供时间调度扩展能力，可根据自定义日历进行调度。提供执行期限触发事件的扩展能力，允许开发人员根据特殊需求，快速定制触发事件。17)、提供权限验证扩展能力，允许用户个性化权限验证。18)、提供查询历史流程数据，可以复活、清除历史流程数据。19)、本产品在“基于大数据的山东质监数据仓库与信息共享平台”的项目范围需要部署在山东省电子政务公共服务云平台山东质检中心机房和备用机房,在部署范围内本产品须不限授权使用。5、门户集成技术要求：1)、支持统一用户管理、支持统一权限。2)、支持证书、密码等多种用户认证方式，支持 J2EE 和.net 两种平台下应用系统的单点登录。3)、提供统一的访问界面、访问形式，实现多个系统之间信息集成，支持每个用户根据自己的需要定制门户。4)、提供统一的系统字典管理和服务，支持数据的通用表存储和指定表存储方式，以适应各个业务系统的需求。5)、系统提供每个功能模块的在线帮助功能，便于指导用户操作。6)、提供高效、高性能的数据库连接，提高访问数据库的效率。7