大数据分析平台技术要求

大数据分析平台技术规定技术构架需求采用平台化方略，全方面建立先进、安全、可靠、灵活、方便扩展、便于布署、操作简朴、易于维护、互联互通、信息共享的软件。技术构架的基本规定：采用多层体系构造，应用软件系统含有相对的独立性，不依赖任何特定的操作系统、特定的数据库系统、特定的中间件应用服务器和特定的硬件环境，便于系统此后的在不同的系统平台、不同的硬件环境下安装、布署、升级移植，确保系统含有一定的可伸缩性和可扩展性。实现B（浏览器）/A（应用服务器）/D（数据库服务器）应用模式。采用平台化和构件化技术，实现系统能够根据需要方便地进行扩展。2.功效指标需求2.1基础平台本项目的基础平台涉及：元数据管理平台、数据交换平台、应用支撑平台。按照SOA的体系架构，实现对XX数据资源中心的服务化、构件化、定制化管理。2.1.1元数据管理平台根据XX的业务需求，制订统一的技术元数据和业务元数据原则，覆盖多个来源统计数据采集、加工、清洗、加载、多维生成、分析运用、公布、归档等各个环节，建立对应的管理维护机制，梳理并加载多个元数据。具体实施内容涉及：根据业务特点，制订元数据原则，要满足元数据在口径、分类等方面的历史变化。支持对元数据的管理，涉及：定义、添加、删除、查询和修改等操作，支持对派生元数据的管理，如派生指标、代码重新组合等，对元数据管理实施权限控制。通过元数据，实现对各类业务数据的统一管理和运用，涉及：基础数据管理：建立各类业务数据与元数据的映射关系，实现统一的数据查询、解决、报表管理。ETL：通过元数据获取ETL规则的描述信息，涉及字段映射、数据转换、数据转换、数据清洗、数据加载规则以及错误解决等。数据仓库：运用元数据实现对数据仓库构造的描述，涉及仓库模式、视图、维、层次构造维度描述、多维查询的描述、立方体（CUBE）的构造等。元数据版本控制及追溯、操作日志管理。2.1.2数据交换平台结合元数据管理模块并完毕二次开发，构建统一的数据交换平台。实现统计数据从一套表采集平台，通过数据抽取、清洗和转换等操作，最后加载到数据仓库中，完毕整个数据交换过程的配备、管理和监控功效。具体规定涉及：支持多个数据格式的数据交换，如关系型数据库：MS-SQLServer、MYSQL、Oracle、DB2等；文献格式：DBF、Excel、Txt、Cvs等。支持数据交换规则的描述，涉及字段映射、数据转换、数据转换、数据清洗、数据加载规则以及错误解决等。支持数据交换任务的公布与执行监控，如任务的执行计划制订、定时执行、人工执行、成果反馈、异常监控。支持增量抽取的解决方式，增量加载的解决方式；支持元数据的管理，能提供动态的影响分析，能与前端报表系统结合，分析报表到业务系统的血缘分析关系；含有灵活的可编程性、模块化的设计能力，数据解决流程，客户自定义脚本和函数等含有可重用性；支持断点续传及异常数据审核、回滚等交换机制。提供数据交换日志审计功效。2.1.3应用支撑平台 作为系统的支撑平台，需要支持以下功效：顾客及权限管理，涉及：顾客及组织架构维护，权限管理与分派等功效。统一工作门户，涉及：门户菜单、栏目管理与维护，门户呈现、个性化制订、单点登录等功效。统一消息，规定提供通讯录管理，消息收发、状态监控等服务接口，支持手机短信、即时消息、系统消息。统一日志，提供统一的日志存储、管理、查询、监控、审计等功效，方便的集成到各应用平台和子系统模块中。2.2主题集市管理子系统 主题集市的管理是业务数据采集、存储、查询、分析等一切应用的基础，如何提供方便完善的主题集市管理功效，是数据仓库建设成功与否的重要基石。 具体规定以下：支持主题集市方便的复制、备份、调节，并支持对集市描述信息的版本管控。提供业务指标的增删改操作，以及对应的存储设计与字段的映射关系管理，并提供完整的指标生命周期管控，指标统计口径调节过程和追溯功效。支持派生指标的设立与维护，满足前后计算的两种统计模式。支持指标审核关系的自由设立，同时提供常规的审核公式函数库。提供图形化的报表表样配备工具，规定做到设计报表表样的所见即所得。提供维度（统计分类原则）管理，支持维度层级管理，唯独项基本信息描述，涉及：唯一标记、名称、显示名称、排序属性等。1.1信息报送子系统为XX部门间信息报送提供统一规范的填报任务管理功效，实现指标管理、分组目录管理、报表表样管理以及调查样本抽取及管理工作，并提供调查任务公布、信息报送、数据审核、归档以及任务监控等功效。信息报送子系统基于信息报送平台，结合实际的数据填报采集业务，实现任务公布、信息报送、数据审核、信息归档、任务监控、报送状况统计。2.3数据资源管理子系统 建立数据资源管理子系统，为历年各业务系统的数据以及其它部门的数据提供一种统一的数据查询、解决、审核、统计等数据解决工作的平台，具体涉及：2.3.1数据库建设与管理在元数据的统一管理下，对历年各业务系统进行梳理和加载，形成统一业务存储的数据格式；支持从各业务系统和软件中获取数据，支持从关系型数据库、EXCEL、DBF、TXT等数据格式中获取数据；支持从其它政府部门的交换文献中获取数据，如教育部、工信部、党校等，并提供相似指标不同数据的解决方案。2.3.2数据浏览与解决对各类数据按统一方式进行浏览与解决维护工作，涉及：对不同来源的原始数据进行分类分层次展示，例如按数据类型、时间（年、月）、专业等属性及其不同的组合方式进行展示；通过可视化工具，按照报表制度样式设计原始报表，实现对单个公司数据的查询、审核和修改；实现对基础数据的快速定位和展示功效；实现对基础数据的条件筛选和导出功效；对各类数据提供统一的审核、修改、删除、计算，以及数据导出、导入、备份、恢复等基本数据解决功效；支持对多个操作进行日志和审计功效。2.3.3查询统计提供可视化工具进行数据的各类查询统计，实现:条件查询、含糊查询、组合查询、核心字搜索；对成果进行各类排序、TOPN；基本统计（总量、均值、最大最小等）；支持多个类型公布，涉及生成EXCEL、HTML等功效；提供多个图形、报表展示。2.5统计数据分析与应用子系统针对已有的基层微观数据和综合数据，系统需要提供以目的为需求导向的主题创立维护模块与统计分析工具，并运用工具，根据业务处室的规定以及领导所关心的KPI指标，在零开发的方式下制订对应的专项分析模块，涉及：2.5.2多维数据在线分析在元数据的统一管理下，顾客根据不同的关注领域创立多个主题和立方体(CUBE)，灵活进行报表、指标的多个维度的分类组合展示，提供可视化工具进行维度、指标的配备；根据顾客需求，定制各类固定报表、图表，提供查看、打印、导出功效；支持多维动态分析，提供钻取和切片功效，支持钻取到每个对象的细部数据，支持渐变维的管理与分析；业务分析，为业务人员提供如过滤、排序、分布、行列交换以及某些基本统计分析功效。2.5.3即席查询提供多个向导式界面、图形查询生成器、提示窗口等，通过简朴的鼠标操作实现即席查询、报告生成、图表生成、进一步分析和公布等功效，业务人员通过简朴培训即可设计报表和进行查询分析；提供可视化工具进行数据的各类统计分析，涉及条件查询、含糊查询、组合查询、核心字搜索，并对成果进行各类排序、TOPN、基本统计（总量、均值、最大最小等）、支持多个类型公布，涉及生成EXCEL、PDF、HTML等功效。2.5.4智能报表规定为顾客提供可视化、简朴易用的智能报表工具，通过鼠标拖拽的方式，实现复杂多变的报表需要；维度、指标能够任意组合；能够任意钻取和切片；报表格式能快速以所见即所得方式进行显示。在Web上能够直接将维度、度量等直接拖放到显示的数据表格中，并且实现灵活的钻取功效(上钻/下钻/钻透)；支持简朴报表的自由组拼，形成复杂报表的功效；支持对报表的数据进行修改而不修改原始数据；支持对数据的过滤和查询功效，可快速定位到最细条目；支持基于权限的智能报表的公布和共享功效，报表支持预定义参数，如时间、地区等，便于一次设立，多次使用；支持图文同时显示的方式；支持报告辅助生成功效，按照指定的格式自动生成报告；2.5.5图表分析与监测预警根据专业人员对数据指标呈现与分析的规定，提供强大的图形呈现能力，除支持常规图形，如：柱状图、曲线图、散点图、分区面积图、堆积图、饼图、卡特图外，还支持三维图、公司驾驶舱、交通灯、雷达图、瀑布图、工程进度图、动态地图（MAP），等特色图形呈现。实现趋势分析、对比分析等图表分析功效。运用图表中不同颜色的对比显示，实现对统计指标的监测预警。2.5.6决策分析根据俄业务的数据特性，提供如决策树模型、柯布—道格拉斯生产函数、线性回归模型等惯用的决策分析模型，实现对统计数据的数据挖掘与决策分析。支持对第三方决策分析工具的提供数据导入与成果呈现的接口，如SPSS等工具软件。2.5.7驾驶舱对领导关心的各类核心指标，以多个图表、文字、仪表盘的形式直观展示，类似飞机的驾驶舱。根据领导分工和权限不同，能够进行个性化定制；通过多个直观的图形，例如仪表盘、温度计、气压计、动画等展示各类有关的指标，对核心指标进行实时分析和监控；当某些指标发生异常时，系统能够及时告知有关人员。同时，可对同一事件有关因素进行模拟仿真分析。2.5.8移动应用系统提供的业务数据应用于分析功效，需要支持手机，Pad等移动终端，支持Android、IOS等主流移动终端的操作系统。3．性能规定20个并发顾客登录系统时间不大于5秒；20个并发顾客登陆首页响应时间在2秒以内，在100个并发时，平均响应时间不大于5秒；20个并发顾客基础数据即席查询的响应时间应在5秒以内；20个并发顾客100万条数据单表OLAP分析4级维度下在5秒以内；单点登录最大并发会话数为50，最大在线会话数应能支撑500个。4.现场演示规定现场演示要作为技术评分的重要根据，无法按照下面规定提供完整现场演示的技术得分不得超出技术总评分的50%。演示内容涉及：表样制订、数据报送与出版物制作功效演示现场根据招标方提供的填报报表表样,完毕表样设计,填报任务公布,数据填报,上报等操作,需要现场演示指标同比预警值的设立和异常显示，不同报表上相似含义指标的数据一致性控制，数据填报需要支持直接填报、Excel导入；根据招标方提供的统计报表模板自动生成统计报表并形成可在线浏览的统计信息小册子。数据解决、分析、展示（报表、图表一键生成）现场根据招标方现场提供的数据，完毕数据加载，并根据招标方规定，现场制作解决过程的脚本，实现一键执行操作，解决过程将涉及多表关联查询、计算生成新的指标、制作统计报表、制作可联动的统计图表等解决环节。注：招标方提供的内容涉及：演示中所涉及到的指标、分类原则、加载数据的数据字典以及统计信息小册子的Excel模板，请联系招标方索取。下边是我们一种项目的招标评分原则，供参看序号评分因素及权重分值评分原则说明一价格30%100以本次有效最低投标报价为基准价，投标报价得分=(基准价／投标报价)×30。1.按财库[]181号文规定，对小型和微型公司产品的价格予以6%的扣除，用扣除后的价格参加评审（如投标人均为微小型公司，则不必再扣除）。2.按川财采[]33号文规定，对因失信行为记入诚信档案的且在使用期内的供应商（因其失信行为已收到行政处分或司法惩处的除外），实施6%的报价加成、以加成后报价作为该供应商报价评审。1.中小公司须提供《中小公司声明函》并与有关证明资料应证后方能承认。2.以供应商提供的未有失信行为被记入诚信档案且在使用期的承诺书为准。二技术指标和配备对招标文献的响应性20%1001基本分80完全符合招标文献规定，没有副偏离得80分。与招标文献规定有非实质性负偏离的扣分，每条扣5分,扣完为止。2高于招标文献规定加分20技术指标高于招标规定并体现出产品的质量和性能更优的可加分，每项加2分，最多加20分。三现场演示35%1001表样制订、数据报送与出版物制作30全部按规定成功演示得30分，没有全部完毕演示，则下边每一项演示成功得5分：1、现场根据招标方提供的报表表样,完毕表样设计；2、填报任务公布,数据填报,上报并上报成功；3、需要现场演示指标同比预警值的设立和异常显示；4、不同报表上相似含义指标的数据一致性控制；5、数据填报需要支持直接填报、Excel导入；6、根据招标方提供的出版物模板自动生成并在线浏览。2数据解决工具展示70全部按规定成功演示得70分，只完毕数据加载演示得20分，未完毕数据加载的演示则不得分。四售后服务5%1001基本分40完全满足招标文献售后服务规定的得40分；有一项不满足扣5分，扣完为止。2服务功效和实施方案20根据投标人提供的服务方法和实施方案评分。最优得20分，依次递减1分，扣完为止。3维修服务机构状况10根据投标人提供的维修服务机构状况评分。最优得10分，依次递减1分，扣完为止。4其它服务优惠条款10比较其它服务优惠条款状况，最优得10分，依次递减1分，扣完为止。5投标人售后服务20投标人培训方法及售后服务承诺及售后服务响应体系和保障方法的合理性、完备性。最优得20分，依次递减1分，扣完为止。五商务部分10%1001投标人业绩70提供同类项目完毕或在建的