《大数据分析平台技术要求》

《大数据分析平台技术要求》大数据分析平台技术要求

1.技术构架需求

采纳平台化策略，全面建立先进、平安、牢靠、敏捷、便利扩展、便于部署、操作简洁、易于维护、互联互通、信息共享的软件。

技术构架的基本要求：

?采纳多层体系结构，应用软件系统具有相对的独立性，不依靠任何特定的操作系统、特定的数据库系统、特定的中间件应用服务器和特定的硬

件环境，便于系统今后的在不同的系统平台、不同的硬件环境下安装、

部署、升级移植，保证系统具有肯定的可伸缩性和可扩展性。

?实现B（扫瞄器）/A（应用服务器）/D（数据库服务器）应用模式。

?采纳平台化和构件化技术，实现系统能够依据需要便利地进行扩展。

?

2.功能指标需求

2.1基础平台

本项目的基础平台包括：元数据管理平台、数据交换平台、应用支撑平台。根据SOA的体系架构，实现对XX数据资源中心的服务化、构件化、定制化管理。

2.1.1元数据管理平台

依据XX的业务需求，制定统一的技术元数据和业务元数据标准，掩盖多种来源统计数据采集、加工、清洗、加载、多维生成、分析利用、发布、归档等各个环节，建立相应的管理维护机制，梳理并加载各种元数据。

详细实施内容包括：

●依据业务特点，制定元数据标准，要满意元数据在口径、分类等方面的

历史变化。

●支持对元数据的管理，包括：定义、添加、删除、查询和修改等操作，

支持对派生元数据的管理，如派生指标、代码重新组合等，对元数据管

理实行权限掌握。

●通过元数据，实现对各类业务数据的统一管理和利用，包括：

?基础数据管理：建立各类业务数据与元数据的映射关系，实现统一

的数据查询、处理、报表管理。

?ETL：通过元数据猎取ETL规章的描述信息，包括字段映射、数据转

换、数据转换、数据清洗、数据加载规章以及错误处理等。

?数据仓库：利用元数据实现对数据仓库结构的描述，包括仓库模式、

视图、维、层次结构维度描述、多维查询的描述、立方体（CUBE）

的结构等。

●元数据版本掌握及追溯、操作日志管理。

2.1.2数据交换平台

结合元数据管理模块并完成二次开发，构建统一的数据交换平台。实现统计数据从一套表采集平台，通过数据抽取、清洗和转换等操作，最终加载到数据仓库中，完成整个数据交换过程的配置、管理和监控功能。

详细要求包括：

●支持多种数据格式的数据交换，如关系型数据库：MS-SQLServer、

MYSQL、Oracle、DB2等；文件格式：DBF、Excel、Txt、Cvs等。

●支持数据交换规章的描述，包括字段映射、数据转换、数据转换、数据

清洗、数据加载规章以及错误处理等。

●支持数据交换任务的发布与执行监控，如任务的执行方案制定、定期执

行、人工执行、结果反馈、特别监控。

●支持增量抽取的处理方式，增量加载的处理方式；

●支持元数据的管理，能供应动态的影响分析，能与前端报表系统结合，

分析报表到业务系统的血缘分析关系；

●具有敏捷的可编程性、模块化的设计力量，数据处理流程，客户自定义

脚本和函数等具备可重用性；

●支持断点续传及特别数据审核、回滚等交换机制。

●供应数据交换日志审计功能。

2.1.3应用支撑平台

作为系统的支撑平台，需要支持如下功能：

●用户及权限管理，包括：用户及组织架构维护，权限管理与安排等功能。

●统一工作门户，包括：门户菜单、我管理与维护，门户呈现、共性化

制定、单点登录等功能。

●统一消息，要求供应通讯录管理，消息收发、状态监控等服务接口，支

持手机短信、即时消息、系统消息。

●统一日志，供应统一的日志存储、管理、查询、监控、审计等功能，方

便的集成到各应用平台和子系统模块中。

2.2主题集市管理子系统

主题集市的管理是业务数据采集、存储、查询、分析等一切应用的基础，如何供应便利完善的主题集市管理功能，是数据仓库建设胜利与否的重要基石。

详细要求如下：

●支持主题集市便利的复制、备份、调整，并支持对集市描述信息的版本

管控。

●供应业务指标的增删改操作，以及对应的存储设计与字段的映射关系管

理，并供应完整的指标生命周期管控，指标统计口径调整过程和追溯功

能。

●支持派生指标的设置与维护，满意前后计算的两种统计模式。

●支持指标审核关系的自由设置，同时供应常规的审核公式函数库。

●供应图形化的报表表样配置工具，要求做到设计报表表样的所见即所得。

●供应维度（统计分类标准）管理，支持维度层级管理，唯独项基本信息

描述，包括：唯一标识、名称、显示名称、排序属性等。

1.1信息报送子系统

●为XX部门间信息报送供应统一规范的填报任务管理功能，实现指标管

理、分组名目管理、报表表样管理以及调查样本抽取及管理工作，并提

供调查任务发布、信息报送、数据审核、归档以及任务监控等功能。

●信息报送子系统基于信息报送平台，结合实际的数据填报采集业务，实

现任务发布、信息报送、数据审核、信息归档、任务监控、报送状况统

计。

2.3数据资源管理子系统

建立数据资源管理子系统，为历年各业务系统的数据以及其它部门的数据供应一个统一的数据查询、处理、审核、统计等数据处理工作的平台，详细包括：2.3.1数据库建设与管理

在元数据的统一管理下，对历年各业务系统进行梳理和加载，形成统一业务存储的数据格式；

●支持从各业务系统和软件中猎取数据，支持从关系型数据库、EXCEL、

DBF、TXT等数据格式中猎取数据；

●支持从其它政府部门的交换文件中猎取数据，如训练部、工信部、党校

等，并供应相同指标不同数据的解决方案。

2.3.2数据扫瞄与处理

对各类数据按统一方式进行扫瞄与处理维护工作，包括：

●对不同来源的原始数据进行分类分层次展现，比如按数据类型、时间（年、

月）、专业等属性及其不同的组合方式进行展现；

●通过可视化工具，根据报表制度样式设计原始报表，实现对单个企业数

据的查询、审核和修改；

●实现对基础数据的快速定位和展现功能；

●实现对基础数据的条件筛选和导出功能；

●对各类数据供应统一的审核、修改、删除、计算，以及数据导出、导入、

备份、恢复等基本数据处理功能；

●支持对各种操作进行日志和审计功能。

2.3.3查询统计

供应可视化工具进行数据的各类查询统计，实现:

●条件查询、模糊查询、组合查询、关键字搜寻；

●对结果进行各类排序、TOPN；

●基本统计（总量、均值、最大最小等）；

●支持各种类型发布，包括生成EXCEL、HTML等功能；

●供应各种图形、报表展现。

2.5统计数据分析与应用子系统

针对已有的基层微观数据和综合数据，系统需要供应以目标为需求导向的主题创建维护模块与统计分析工具，并利用工具，依据业务处室的要求以及领导所关怀的KPI指标，在零开发的方式下制定相应的专题分析模块，包括：

2.5.2多维数据在线分析

●在元数据的统一管理下，用户依据不同的关注领域创建各种主题和立方

体(CUBE)，敏捷进行报表、指标的各种维度的分类组合展现，供应可视

化工具进行维度、指标的配置；

●依据用户需求，定制各类固定报表、图表，供应查看、打印、导出功能；

●支持多维动态分析，供应钻取和切片功能，支持钻取到每个对象的细部

数据，支持渐变维的管理与分析；

●业务分析，为业务人员供应如过滤、排序、分布、行列互换以及一些基

本统计分析功能。

2.5.3即席查询

●供应各种向导式界面、图形查询生成器、提示窗口等，通过简洁的鼠标

操作实现即席查询、报告生成、图表生成、深化分析和发布等功能，业

务人员经过简洁培训即可设计报表和进行查询分析；

●供应可视化工具进行数据的各类统计分析，包括条件查询、模糊查询、

组合查询、关键字搜寻，并对结果进行各类排序、TOPN、基本统计（总

量、均值、最大最小等）、支持各种类型发布，包括生成EXCEL、PDF、

HTML等功能。

2.5.4智能报表

●要求为用户供应可视化、简洁易用的智能报表工具，通过鼠标拖拽的方

式，实现简单多变的报表需要；维度、指标可以任意组合；可以任意钻

取和切片；报表格式能快速以所见即所得方式进行显示。

●在Web上能够直接将维度、度量等直接拖放到显示的数据表格中，并

且实现敏捷的钻取功能(上钻/下钻/钻透)；

●支持简洁报表的自由组拼，形成简单报表的功能；

●支持对报表的数据进行修改而不修改原始数据；

●支持对数据的过滤和查询功能，可快速定位到最细条目；

●支持基于权限的智能报表的发布和共享功能，报表支持预定义参数，如

时间、地区等，便于一次设置，多次使用；

●支持图文同时显示的方式；

●支持报告帮助生胜利能，根据指定的格式自动生成报告；

2.5.5图表分析与监测预警

●依据专业人员对数据指标呈现与分析的要求，供应强大的图形呈现力量，

除支持常规图形，如：柱状图、曲线图、散点图、分区面积图、积累图、饼图、卡特图外，还支持三维图、企业驾驶舱、交通灯、雷达图、瀑布

图、工程进度图、动态地图（MAP），等特色图形呈现。实现趋势分析、对比分析等图表分析功能。

●利用图表中不同颜色的对比显示，实现对统计指标的监测预警。

2.5.6决策分析

●依据俄业务的数据特征，供应如决策树模型、柯布—道格拉斯生产函数、

线性回归模型等常用的决策分析模型，实现对统计数据的数据挖掘与决

策分析。

●支持对第三方决策分析工具的供应数据导入与结果呈现的接口，如SPSS

等工具软件。

2.5.7驾驶舱

●对领导关怀的各类关键指标，以各种图表、文字、仪表盘的形式直观展

示，类似飞机的驾驶舱。依据领导分工和权限不同，可以进行共性化定

制；

●通过各种直观的图形，例如仪表盘、温度计、气压计、动画等展现各类

相关的指标，对关键指标进行实时分析和监控；当某些指标发生特别时，

系统可以准时通知相关人员。同时，可对同一大事相关因素进行模拟仿

真分析。

2.5.8移动应用

系统供应的业务数据应用于分析功能，需要支持手机，Pad等移动终端，支

持Android、IOS等主流移动终端的操作系统。

3．性能要求

?20个并发用户登录系统时间小于5秒；

?20个并发用户登陆首页响应时间在2秒以内，在100个并发时，平均响应时间小于5秒；

?20个并发用户基础数据即席查询的响应时间应在5秒以内；

?20个并发用户100万条数据单表OLAP分析4级维度下在5秒以内；

?单点登录最大并发会话数为50，最大在线会话数应能支撑500个。4.现场演示要求

现场演示要作为技术评分的重要依据，无法根据下面要求供应完整现场演示的技术得分不得超过技术总评分的50%。演示内容包括：

●表样制定、数据报送与出版物制作功能演示

现场依据招标方供应的填报报表表样,完成表样设计,填报任务发布,数据填报,上报等操作,需要现场演示指标同比预警值的设置和特别显示，不同报表上相同含义指标的数据全都性掌握，数据填报需要支持直接填报、Excel导入；依据招标方供应的统计报表模板自动生成统计报表并形成可在线扫瞄的统计信息小册子。

●数据处理、分析、展现（报表、图表一键生成）