档案大数据分析场景(公开招标)-技术规范111

1、北京某科技有限公司档案大数据分析场景项目投标文件（技术部分）招标编号： jl-gz01-2017-001 服务类别：包号：投标人：（盖单位章）法定代表人或其委托代理人：（签字）2017 年 3 月 23 日2 目录第一章总则 . 错误！未定义书签。1.1 投标要求 . 错误！未定义书签。1.2 投标方职责 . 31.3 招标方职责 . 错误！未定义书签。1.4 投标方资格及人员要求. 4第二章技术要求 . 52.1 引言 . 错误！未定义书签。2.2 项目背景 . 错误！未定义书签。2.3 项目目标 . 错误！未定义书签。2.4 项目范围 . 72.4.1 实施范围 . 72.4.2 建设范围

2、 . 72.5 技术平台选型. 82.6 功能及性能要求. 92.6.1 功能范围 . 92.6.2 性能要求 . 10第三章项目要求 . 113.1 项目管理 . 113.2 项目建设原则. 113.3 实施方案 . 123.3.1 系统安装调试. 123.3.2 系统技术培训. 123.3.3 系统试运行 . 133.4 项目验收 . 133.5 项目计划要求. 133.6 测试与验收 . 143.7 质量保证 . 143.8 其他要求 . 143 第一章项目综述1.1 项目背景国家电网公司交流建设分公司是国家电网公司直属的专业化电网建设管理单位，主要承担特高压交流输变电工程以及重要交流联

3、网工程的建设管理工作。本部设总经理工作部、计划部、财务部、安全质量部、工程管理部、信息科技部和党群部等 7 个管理部门，下属武汉、宜昌、郑州、华北和华东等5 个工程建设部。交流建设分公司是一支具有光荣传统的优秀团队，公司圆满完成了三峡输变电工程建设任务，顺利建成了世界上首个商业运行的1000kv特高压交流输变电工程，是国家电网公司推进坚强智能电网建设的重要力量。 十二五 期间，国家电网公司将建成 三横五纵一环网 的特高压骨干网架，线路长度超过 20000 公里，变电容量达 24000万千伏安。交流建设分公司将以科学发展观为指导， 认真落实国家电网公司党组决策部署，发挥专业建设管理公司优势，全力

4、支撑特高压电网全面加快建设。目前输变电工程项目已经积累了大量档案数据，但尚未和工程管理紧密结合，未能有效发挥发现问题、总结规律、指导实践的作用。 档案管理工作是工程建设中的基础性工作，在工程建设中起着重要作用。随着云计算， 移动互联网等新技术的不断涌现和信息化的迅猛发展，不同角色间所输入与输出的海量信息衍生出了巨大的数据量，世界迎来了大数据时代。大数据时代的到来对工程档案的管理有着重要的意义，因为工程建设的周期长，产生数据量大， 而且工程建设与各个部门和各个环节都有关联，但实际上却无法与这些部门和环境进行海量数据的高效率交流。大数据的特性能够有效的解决工程建设中的这些问题， 达到海量数据的无差

5、别交流， 满足工程建设对于数据的实际要求。同时大数据在管理工程档案的工作中也起着重要的作用，可以实现对工程档案数据的精确化管理， 可把复杂的海量数据有效的归类和整合，这对工程管理的效率提高有着重大的现实意义。在大数据的环境下， 工程档案管理从传统意义上的档案存储，升华为对档案数据的进一步挖掘， 工程建设领域档案的电子化和信息化将成为必然趋势。因此4 有必要采用先进的大数据技术对现有工程档案进行高效、准确的采集和分析， 并依托工程特性进行总结推演，发现规律，得出结论，提出建议，从而指导后续档案管理和工程管理。 为了提高客户的服务质量和满意度，加强输变电工程档案管理，在管理上需要借助信息化的手段，

6、建设一套工程档案大数据分析系统，为国家电网公司实现档案归集、编目、数字化、各类检索等功能。1.2 项目目标按照分步实施、重点先行的基本原则， 本项目总体目标和本期目标分别如下。一、总体目标对接输变电工程档案管理系统， 采集已经完成数字化的档案原件信息，搭建档案大数据库和大数据分析应用， 基于大数据采集技术和模块化设计思想进行分析和设计， 通过严格的系统需求分析， 确定功能模块和功能点， 基于文本挖掘技术，为各类基于档案分析的业务场景提供服务。二、本期目标本期主要目标包括如下：（1） 搭建档案大数据库，为档案数据分析奠定数据基础环境。档案大数据管理模块是管理系统的基础，保证系统数据的存储和安全使

7、用，主要有管理文件、 项目管理和文档管理三个功能点。将系统产生的各种报表数据和文档数据等进行统一管理和维护。并建设档案大数据安全体系， 检测并消除各种威胁，抵抗恶意进攻； 具有抗干扰、 抗故障能力和较强的数据容错和数据恢复能力，提供数据的备份功能，能够较为及时的支持灾难恢复。（2）实施档案采集功能：采集范围包括已经完成数字化的三峡输变电工程和特高压工程档案。建立资源目录， 与已有的三峡输变电工程及特高压工程建立接口，采集所需数据，另外利用文本挖掘技术抽取有效、新颖、有用、可理解的、散布在文本文件中的有价值的数据。（3）开发大数据分析应用，实现文本挖掘功能，支持未来其它算法功能拓展；利用智能算法

8、，如神经网络、基于案例的推理、可能性推理等，并结合文字5 处理技术，分析大量的非结构化文本源（如文档、电子表格、客户电子邮件、问题查询、网页等），抽取或标记关键字概念、文字间的关系，并按照内容对文档进行分类，获取有用的知识和信息。（4）试点大数据分析场景：本期选择档案特定信息统计分析、归档过程的文件跟踪分析、 电子文件空缺分析、档案条目信息与电子。文件信息匹配分析、档案同步性分析、工程建设单位关联分析、 工程过程常见问题分析、 工程档案预评优分析作为试点场景，通过收集的数据表征、 检索、可视化以及推送等技术实现工程档案大数据开展有针对性目标的挖掘。1.3 项目意义完整、系统的档案管理信息系统，

9、 有利于实现对工程设备的全过程管理，经常对档案中的设备资料、 技术参数进行分析和比较， 有利于确定设备故障发生的规律，便于排除故障和及时提报备品备件，对设备运行状况和维修的跟踪，有利于设备技术改造和更新工作； 通过对设备档案阶段性的重阅和分析，有利于总结设备管理工作的经验和不足， 有利于不断提高工作效率； 科学的档案管理， 有利于设备管理的连续性， 不因机构、人员调整与变动而中断； 档案材料的妥善管理，有利于跟相关单位的业务往来和协作，可以维护自己的合法权益。1、技术工作中重要的参考资料工程技术档案大数据据管理是企业在生产经营过程活动中产生的生产经营活动的真实反映， 工程施工活动中形成的大量真

10、实记载，设计文件和图纸， 主要技术档案以及工程建设中的来往文件等，都能在档案中真实的记录和反映，从事档案管理的工作人员在各施工阶段，以及检查资料收集的数量和质量情况，保证资料齐全， 及时对工程中的技术档案进行收集，整理和归档， 不仅有利于保证建筑项目的各个指标顺利完成，而且有利于提高企业的经济效益和市场竞争力。2、沉淀为企业的重要无形资产工程技术档案的重要性还表现在它能够间接地为企业创造经济效益，甚至解决各种纠纷，减少不必要的损失，通过工程档案的建立，项目现场的跟踪、监督和管理的大数据管理， 能够充分发挥档案的重要作用， 努力使这一无形资产转变6 为有型资产。3、建筑企业开发新技术、新工艺的依

11、据在国内建筑行业竞争日渐激烈的时代背景下，为提高工作效率和工程质量，降低工程造价，建筑企业都非常重视技术开发，技术革新和方案的优化，因此，企业要在市场上立足并得到良好的发展，就需要不断从项目施工中收集各种数据和资料，进行研究开发作为一种信息资源，工程技术档案中的内容都有可能成为先进的施工工艺诞生前身， 合理利用档案大数据管理， 对建筑企业新技术的应用，新工艺的开发有直接影响。7 第二章技术要求2.1 项目范围2.1.1 实施范围本项目涉及档案范围包括已经完成数字化的三峡输变电工程和特高压工程档案；用户涉及范围包括输变电工程管理者和输变电工程档案使用者。首先需要的就是有全局的观念， 从全局上去考

12、虑该模型， 方法就是用图形加上相应的文字来表征全局业务， 对这些业务不需要要有很详细的了解，譬如说某个部门的口常报表处理， 就可以把它当作一个模块， 通过模块与模块之间的交互，表征出系统的全貌。其次，自顶向下细分各个模型; 在知道了系统的整个业务框架也就是系统业务后，一个实体对象，例如，在模块处理业务的一部分，作为一个流动的方向为指导，融资文件，它是一个完善的模型。此外，分析模型，多余的重组，以实现重塑结构的目标。2.1.2 建设范围主要包括以下四方面建设内容：（1）搭建档案大数据库：基于hadoop技术，搭建档案大数据库，为海量的数据提供存储分布式处理软件框架， 以可靠、 高效、 可伸缩的方

13、式进行数据处理，为档案数据分析奠定数据基础环境；（2）实施档案采集功能：部署实时、可视化的采集、清洗功能，实现从档案系统采集档案编目和档案数字化后的原始数据，从工程管理信息系统中采集工程管理过程信息，存储入档案大数据库；（3）开发大数据分析应用：基于文本挖掘技术，开发大数据分析功能，支持不断变化的分析场景；（4）试点大数据分析场景：本期基于大数据分析应用功能，实现档案特定信息统计分析、 归档过程的文件跟踪分析、 电子文件空缺分析、 档案条目信息与8 电子文件信息匹配分析、 档案同步性分析、 工程建设单位关联分析、 工程过程常见问题分析、 工程档案预评优分析等业务场景的大数据模型构建，统计分析与

14、预测。2.2 技术方案设计2.2.1 技术目标2.2.2 技术平台选型本系统主要采用 spark 技术体系。spark 是一种开源集群计算环境， spark在在大数据处理和机器学习领域优势明显。在负载方面表现优越， spark 启用了内存分布数据集，除了能够提供交互式查询外，它还可以优化迭代工作负载。spark 是在 scala 语言中实现的， 它将 scala 用作其应用程序框架。 spark 和scala 能够紧密集成，其中的 scala 可以像操作本地集合对象一样轻松地操作分布式数据集。具体方面包括：历史数据存储： 基于开源分布式 nosql 数据库系统 cassandra 实现。具有模

15、式灵活特性， 在系统运行时随意的添加或移除字段；具有高可扩展性， 实现纯粹意义的水平扩展。为给集群添加更多容量；支持多数据中心。原始数据存储：hdfs 是 hadoop 体系下适合运行在通用硬件上的分布式文件系统，是一个高度容错性的系统， 供高吞吐量的数据访问， 非常适合大规模数据集上的应用。实时分析引擎： 基于 elasticsearch实现，是 java 开发基于 lucene 的搜索服务器，提供了一个分布式多用户能力的全文搜索引擎，能够达到实时搜索， 稳定，可靠，快速。聚合数据处理： 基于 druid 实现，实现大数据实时查询和分析的高容错、高性能，提供了以交互方式访问数据的能力，并权衡

16、了查询的灵活性和性能而采取了特殊的存储格式。实时计算组件：基于sparkstreaming 实现，实现建立在spark 上的实时计算，封装了 sparkstreaming 提供的丰富的api、基于内存的高速执行引擎，用9 户可以结合流式、批处理和交互试查询应用。实时查询组件：基于sparksql实现，使用了自身的语法解析器、优化器和执行器，不仅支持hive 数据的查询，同时实现了多种数据源的数据查询。批量事件处理：基于spark streaming 技术，将流式计算分解成一系列短小的批处理作业。复杂事件处理： 基于 siddhi 实现，支持对于流式数据的类 sql 的查询，采用多线程，可以重用

17、相同的 processor 。非关系型数据查询： 采用 cassandra 的查询语言，继承所有 cassandra 查询语言功能，实现非关系型数据查询能力。分布式协调服务： 基于 zookeeper 实现分布式应用程序协调服务， 封装好复杂易出错的关键服务，包括：配置维护、域名服务、分布式同步、组服务等。作业调度系统（datavidispatcher ） 和告警系统（alertplatform） 基于 java技术体系实现。2.2.3 技术架构2.2.4 数据架构2.3 功能及性能要求2.3.1 功能范围系统应具备大数据采集处理、 建模分析、 可视化、数据监控和系统设置等基本功能和业务场景分

18、析功能。采集处理功能需要实现多源数据采集。包括流式数据源、静态数据源、api数据源等。同时实现多种采集工具，包括datahub 、db采集器、日志采集插件和自定义采集插件等。建模分析功能需要预置丰富数据模型（含基础模型和高级模型），能够支撑对大数据的快速建模和数据分析，支持不断变化的分析场景的需求。可视化功能需要预置丰富的可视化组件，能够满足大数据可视化过程简单、快速实现。实现大数据业务大屏设计工具和数据报告设计工具。数据监控功能实现对系统运行状况的跟踪和监控，主要包括告警管理 （含告10 警设置和消息管理）、数据资源监控、服务资源监控（含计算资源和存储资源）。系统设置包括账户管理和用户管理等

19、功能。业务场景分析功能需要实现档案特定信息统计分析、归档过程的文件跟踪分析、电子文件空缺分析、 档案条目信息与电子文件信息匹配分析、档案同步性分析、工程建设单位关联分析、 工程过程常见问题分析、 工程档案预评优分析等业务场景的大数据模型构建，统计分析与预测。2.3.2 业务架构2.3.3 应用架构2.3.4 性能要求（1）海量流式数据实时处理能够实现对海量流式数据实时处理，对数据的加载、清洗、分解、结构化、归并、引用等实时处理、实时输出，为在线业务提供实时应用支持。（2）支持多维极简 bi 系统预置多维数据模型，支持快速适应复杂业务环境。通过简单单行js代码，应用多种复杂bi 视图，内置回归、

20、因子、聚类、方差等多种数学模型和柱状、折线、散点、热力、雷达、瀑布等多种可视化图表。（3）毫秒级计算能力基于 tb/pb级流式数据的实时处理在数十毫秒内完成。（4）支持快速实现业务大屏能够全面支持 echarts 、highcharts 、d3等图形框架， 所见即所得的快速创建业务大屏。（5）支持可视化的大数据分析过程通过 web 编辑界面，完成大数据处理的复杂操作， 无需编辑程序代码或shell脚本。11 2.3.5 安全架构第三章项目要求3.1 项目管理投标方必须遵守招标方相关管理规定和实施细则，严格按照国家电网公司信息化建设管理办法 建设，配合招标方完成项目建设工作，配合招标方相关部门的

21、管理和协调工作。投标方在投标时应提交项目管理方案，方案至少包括项目组织机构、 人员安排、进度安排、计划控制、项目相关人员管理、质量管理及风险管理等内容。3.2 项目建设原则工程技术统筹与支撑工作管理系统建设过程，遵循以下主要的原则：1)规范化原则严格遵循规范化原则； 系统实施的技术标准， 严格遵循公司总部相关数据规范、编码规范、平台功能规范、接口规范、管理制度等相关标准规范和软硬件集成相关标准， 公司相关标准暂未确定的， 参照国家标准、 行业标准和 iec、iso、ogc 等相关国际标准。2)安全性原则按照国家电网公司应用软件通用安全要求保证信息的安全性， 并保证数据在处理和传输全过程的安全性

22、，具有一定的抗攻击性。3)资源共享原则实施将充分考虑到国网交流公司已有软硬件设备设施，尽可能继承和复用有价值的软硬件资源，避免资源浪费，重复投资。4)保密性原则系统建设过程中需要对大量的电网资料进行整理与分析工作，实施人员应遵守国家电网保密制度，对项目涉及的各种资料与业务信息有保密责任。12 3.3 实施方案3.3.1系统试运行（安装调试）1) 投标方负责制定具体的安装、 调试进度计划，双方共同协商制定时间表，投标方应按招标方的要求，在规定时间内完成系统安装、调试。2) 投标方应向招标方提供系统安装、调试相关的所有技术资料。3) 在系统安装和系统调试期间，招标方有权派相应技术人员参加，投标方有

23、义务对其进行指导和现场培训。3.3.2用户培训与技术服务1)培训目的操作人员经培训后能够熟练操作系统。2)培训内容应用操作培训：对系统使用人员按不同岗位及管理层次进行相应的应用培训；系统技术培训：对系统管理人员进行的维护、开发本系统的技术培训；高级管理培训：对管理决策层进行的理解系统设计和管理理念的高级培训。3)培训要求投标方应提供全套培训教材和培训课程计划（包括人数、时间、课程、入学要求等）及培训所需要的教材和教师讲解说明。关于具体的培训详细计划、人数、开课日期等由双方在商务谈判中商定，投标方可提出一套参考建议。培训用教材至少应包括相应软件的安装、维护、测试，其内容应包括：投标方提供的软件系

24、统的操作方法、 维护方法、安装调试、排除故障及软件结构、定制和升级等各个方面。培训教材应与投标方提供的最新版本的软件系统相一致，要求用中文编写。4)培训方式13 要求提供现场培训，参加培训人数不限。3.3.3系统试运行在完成系统测试后， 进入试运行阶段。 必须严格按照 国家电网公司信息系统上下线管理办法执行，提交过程文档，确保至少3 个月的试运行时间。在满足以下条件的前提下，投标方方可提出项目验收申请：1) 必须在规定的环境下，完成所有软件安装、调试及软件的培训、修改工作并实现正常试运行满3 个月，达到验收的要求；2) 投标方应负责在项目验收前将系统的用户使用手册、维护说明书、及安装、 测试、

25、 验收报告等文档汇集成册交付招标方。 招标方在收到上述文档资料后，才予以项目验收，否则有权不予验收。3.4 项目验收1) 在完成三个月系统试运行之后，可以申请项目验收，项目验证必须严格按照国家电网公司信息化项目竣工验收管理办法进行验收，准备相应文档。2) 在完成本系统的安装调试后，在所有使用单位完成本系统的实施培训、上线运行，且系统功能达到本规范及双方认可的业务要求及技术要求后，可进行项目验收申请。3) 验收报告要根据合同、技术规范等技术文件的内容编写，由招投标双方共同制定。4) 投标方将负责功能验收的测试，招标方的工程师将协助进行验收测试。5) 培训材料及相关技术文档均作为验收的一部分。3.

26、5 项目计划要求（project）投标方要根据工程技术统筹与支撑工作管理系统制定切实可行的项目建设计划，系统建设应分阶段进行，需要描述每个阶段完成的工作内容、时间要求、输出的成果等。14 3.6 测试与验收现场验收开始前，供方应提出测试大纲经招标方认可。现场验收应在所有业务系统安装调试完毕，且系统投入试运行后进行试运行期不少于 3 个月，且在试运行期间无严重系统异常（系统崩溃、无法登录、不能正常运行问题等） 和缺陷等情况下， 将按照双方共同确认的测试大纲进行现场验收。验收报告需经过双方项目负责人共同签字后方能生效。3.7 质量保证本项目要求提供一年内免费技术服务和质量保证。1) 在保质期内，供

27、方应负责在正常条件下系统的正常稳定运行, 免费提供技术服务。2) 当系统和设备发生故障时， 供方在接到需方通知后， 确保在 12小时内恢复正常运行。3) 在使用周期内应提供技术咨询，软件免费升级，培训。3.8 其他要求1)该文档提及的所有国家电网公司管理办法，如在项目建设过程中发布新版本，投标方需按照最新版本的国家电网公司管理办法要求执行项目建设。2)投标方所提供的参加任何业主方项目的工作人员，须严格遵守业主方的信息安全保密规定，并签署保密协议， （见附件）按照保密协议规定，承担相关责任和义务。附件保密协议根据中华人民共和国保密法和国家、地方有关规定，双方当事人就投标方在为业主方服务期间及服务

28、结束以后保守业主方商业秘密、技术秘密和其它保15 密事项达成如下协议，供双方共同遵守：( 一) 保密内容和范围1、双方确认，投标方在为业主方提供服务期间，主要是利用业主方的物质技术条件、业务信息等产生的发明创造、作品、计算机软件、技术秘密或其他商业秘密信息， 有关的知识产权均属于业主方享有。投标方主张由其独自享有或共同享有知识产权的， 应当及时向业主方申明。 投标方应当依业主方的要求，提供一切必要的信息和采取一切必要的行动，包括申请、注册、登记等，协助取得和行使有关的知识产权。2、投标方在为业主方提供服务期间，必须遵守业主方规定的任何成文或不成文的保密规章、制度，履行相应的保密职责。业主方的保

29、密规章、制度没有规定或规定不明确之处，投标方也应本着谨慎、诚实的态度，采取任何必要、合理的措施，维护其于服务期间知悉或持有的任何属于业主方或虽属于第三方但业主方承诺有保密义务的技术秘密或其他商业秘密信息，以保持其机密性。3、投标方承诺， 未经业主方同意， 不得以泄露、 告知、公布、出版、发布、传授、转让或者其他任何方式使任何第三方( 包括按照保密制度的规定不得知悉该项秘密的投标方其他职员) 知悉属于业主方或者虽属于他人但业主方承诺有保密义务的技术秘密或其他商业秘密信息，也不得在履行服务之外使用这些秘密信息。未经业主方授权， 投标方及其相关人员不得使用业主方保密内容的技术，也不得出售或赠与这些保密内容给任何其它第三方从事生产或