高效、快速、灵活的弹性大数据平台设计

企业研究开发项目计划书

（自主开发类）

项目名称高效、快速、灵活的弹性大数据平台设L___________

企业名称_______XXXX_____________

企业法人（签名）_______________________________

项目负责人电话

项目起止时间XXX年1月至XXX年1月

填报日期年月日

一、立项依据

1、国内外现状、水平和发展趋势

目前，伴随移动互联网、智能硬件和物联网的快速普及，全球数

据总量呈现指数级增长态势，与此同时，机器学习等先进的数据分析

技术创新也日趋活跃，使得大数据隐含的价值得以更大程度的显现，

一个更加注重数据价值的新时代正悄然来临。发达国家一向重视大数

据在促进经济发展和社会变革、提升国家整体竞争力等方面的重要作

用，当前更是把大数据视为重要的战略资源，大力抢抓大数据技术与

产业发展先发优势，积极捍卫本国数据主权，力争在数字经济时代占

得先机。我们从各国发展大数据的新举措中或许可以窥探到大数据发

展的新趋势。

2、项目研发的目的、意义

大数据是继云计算、物联网之后IT产业又一次技术变革。“大数

据”是公司在日常运营中生成、累积的数据。这些数据的规模庞大。

因此，积极针对大数据布局，从战略层面应对大数据时代的挑战，推

进并建立起数据驱动型发展方式的金融机构将获得比同业更高的效

率，优化行政物控流程，结合企业内外部数据，在业务扩张的同时，

清楚掌握企业成本消耗，并最终实现精细化管理，并由此培育出自己

的信息核心竞争力。

3、本项目达到的技术水平及市场前景。

A高可用性

数据集市是分布式架构。数据存储是分布式的，数据的计算也是

分布式的，还带有备份机制和监控机制。当某一台数据集市的机器宕

机，另外一台数据集市会自动承担所有计算。该数据集市应用广泛，

有的电信级客户的数据量已经达到了上百T,依旧运行稳定可靠。该分

布式数据集市支持对计算和存储节点进行热插拔扩展，可以从一个节

点扩展到几十个甚至上百个节点；

A高并发性

数据集市支持高并发。数据集市作为计算层，支持分布式计算，

采用MapReduce架构来提高计算效率。永洪科技的分布式数据集市，

是列式存储的，采用良好的内存计算技术，可基于多台存储和计算节

点并行工作，非常适合海量数据的实时数据分析。

A高扩展性

整个系统架构，无论是ETL层、数据集市层，还是BI层，都可以

加入或者减少服务器节点。这里的服务器节点，既可以是物理机也可

以是虚拟机。

A高性价比，低TCO

整个系统架构，摒弃了传统系统常见的向上升级(Scale-Up)的

思想，不管是数据集市还是BI前端，都支持横向升级(Scale-Out)o

随着企业的业务增桧，数据量和分析需求都会大幅增桧，基于X86PC

Server集群的平台架构十分关键。在这种架构下，我们不用采购昂贵

的小型机去支撑高并发，去支撑海量数据计算，去支撑数据分析业务

的发展，而是采购多台普通的PCServer搭建集群，建设高性价比的

分析平台。

在达到高技术水平的同时，本项目市场前景较好，可广泛用于军

工、制造、金融、能源等行业，市场前景非常广阔。我公司该项目不

断发展、不断完善，功能以及性能可满足多行业、高标准企业，能提

升企业信息化建设，具有重要的经济和社会效益。

二、研发内容和目标

1.1项目主要内容及目标

研制具有高适应性、高可扩展性、安全可靠的基于Kubernetes和

Docker容器的新型虚拟化技术统一资源调度操作系统，操作系统支持

包括FPGA、GPU等异构计算设备、非易失内存等存储设备虚拟化的统

一资源调度，为大规模并行分析、分布式内存计算和大数据、深度学

习、HPC应用等负载提供超融合架构和调度能力，并提升应用迁移处理

能力、处理效率和用户资源隔离水平。

1.2关键技术

1)平台支持Docker公司的原生Kubernetes调度引擎，对外使

用标准DockerAPI,降低学习和开发成本，通过该调度引擎，能够提

供资源调度、服务发现、运行监控、扩容缩容、负载均衡、灰度升级、

失败冗余、容灾恢复、DevOps等，可实现大规模、分布式、高可用的

Docker集群。

2)通过云平台可以实现大数据平台的快速部署，用户只需要根

据生产环境的实际业务需求，选择用户需要使用的大数据组件，即可

轻松、快速地完成大数据平台的部署与使用。用户可以根据自己的需

要自定义相关组件，并保存为镜像文件，以后每次使用时，用户可使

用自定义的大数据功能组件进行部署。

3)云平台内部集成持续集成流水线，通过可视化、拖拽的形式,

将不同的微服务组件，根据不同项目情况建设不同的流水线，将开发、

测试、部署活动全部自动化，极大的节约开发戌本，提高软件交付速

度。支持基于Docker的持续集成流程，方便微服务的改造，可以直接

将代码和分支关联起来，用户可根据需求自动或者手动分布式构建微

服务项目。同时支持多微服务的流水线作业。

4)支持平滑的软件升级，通过灰度发布的方式，对不同应用的

不同功能组件进行升级。如果一个服务的由多个容器组成，灰度升级

会一个容器一个容器的进行，类似于RollingUpgrade的方式。如果

在升级的过程发现了问题，可以及时地对服务进行回滚。这样可以保

证整体系统的稳定，而且不会在升级过程中中断服务。升级完成后，

用户可以根据新版本的使用感受，来决定是否进行灰度降级回滚。

5)将大数据容器化，所有大数据组件依靠stackOS容器云平台

支撑，使用Kubernetes进行调度，完美融合云计算与大数据。

2.技术创新之处

(1)在原生的Docker和Kubernetes技术上做了自主研发

(2)大数据平台支撑

(3)开发运维一体化DevOps

(4)微服务支撑

(5)打造多租户能力

(6)设计平台计费功能

(7)大数据PAAS平台支撑

(8)云计算与大数据完美融合

3.主要技术指标或经济指标

研究开发Docker+Kubernetes,结合大数据、微服务等高级功能,

做到高性能，自动化快速部署，功能易用易懂。

主要技术指标：

无人值守，部署时间：＜30分钟

高故障恢复能力：＜10分钟

高效率故障切换：＜5分钟

三、研发试验方法及技术路线

整个云平台分为三层，包括“物理层”，“平台层”和“计算层”

物理层：采用传统的x86物理服务器、存储和网络设备，作为容

器云平台和大数据平台的底层物理支撑；为整个云平台提供一个弹性

的，可扩展的基础硬件资源。

平台层：平台层采用Docker容器作为业务系统封装技术，该层作

为智慧的核心处理层，主要包括以下功能：

容器平台的调度引擎，提供容器的生命周期管理，生命周期内能

根据业务压力自动调度业务运行；

所有计算层容器直接通过Docker引擎调用宿主机硬件资源，包括

CPU,内存，存储和网络设备资源；

针对有高性能要求和图像处理要求的应用，平台层可以提供Pass

Through能力，直接将宿主机硬件FPGA或GPU映射到容器内部，为计

算层平台应用提供高性能计算或图像处理能力，在最大化硬件资源利

用的情况下，同时以最高性能为智慧平台提供业务支撑。

平台具有DevOps敏捷开发辅助工具，为用户开发提供CI/CD能力。

支持平滑的软件升级，通过灰度发布的方式，对不同应用的不同

功能组件进行升级。灰度发布是指在黑与白之间，能够平滑过渡的一

种发布方式。

多租户能力，客器云平台不仅能够实现传统容器云平台的所有功

能，同时该产品能够针对不同的应用场景，对用户实现多租户管理，

每个租户应用都相互独立，互不干扰，各租户间的资源使用，都相互

独立。

计算层：提供大数据的业务应用服务，供多个客户使用，支持多

租户的应用开发框架，同时大数据分析能力和高性能处理能力或高性

能图像处理能力。

a）大数据分析

通过云平台可以实现大数据平台的快速部署，用户只需要根据生

产环境的实际业务需求，选择用户需要使用的大数据组件，即可轻松、

快速地完成大数据平台的部署与使用。

用户可以根据自己的需要自定义相关组件，并保存为镜像文件，

以后每次使用时，用户可使用自定义的大数据功能组件进行部署。

b）高性能处理能刀

云端的GPU和FPGA的主要功能是计算。用数据中心、人工智能、

机器学习、云计算和大数据云平台。云端的人工智能主要包括“离线训

练''和“在线判断和服务”两种方式。离线训练是指利用海量数据输入，

通过合适的训练方法，实现和验证人工智能算法模型。而在线判断和

服务是指利用训练出来的算法模型做出判断，在线响应用户的请求。

通过云平台PassThrough,能够为容器内业务应用直接提供裸硬

件级的性能，大大提高云平台在人工智能方向的支撑能力。

四、现有研发条件和工作基础

1.承担单位开展本项目的优势

公司拥有一支年轻化、知识化、专业化、经验丰富、勇于创新的

研发队伍，具有专业人才优势。根据项目开发内容和难度进行人员安

排，并根据计划有序地进行。

公司利用技术研发中心的技术平台，成立项目研发小组，实行项

目负责人负责制，由项目研发小组提出项目试制的技术工艺和立项报

告，外聘专家做技术指导，财务部安排科研经费，领导部门审批。整

个组织实施过程做到定期检查、定期汇报，以确保项目的顺利进行。

2.2,已有的工作基础，如预试及小试成果等。

该项目获得技术诀窍多项，已经过测试，已初步积累了数据和经

验。

五、计划进度

本项目目前完成情况:

序号功能模块完成备注

平台自动部署60%

主机管理90%

存储管理80%

网络管理90%

用户管理30%

容器全生命周期管理40%

灰度升级30%

GPU/FPGA15%

大数据20%

DevOps/微服务50%

日志管理80%

预计本年度完成内容:

序号功能模块预计完成备注

平台能在30分钟内，完成

平台自动部署100%

平台部署

主机管理100%

存储管理95%

网络管理95%

用户管理100%

容器全生命周期管理100%

灰度升级90%包括历史版本向滚

为容器应用提供更高性能

GPU/FPGA65%

的计算能力

提供大数据采集、分析能

大数据70%

力

DevOps/微服务70%CI/CD能力

日志管理90%

六、研究开发费预算报告

项目研发预计总经费元。

研究开发费预算表

单位：元

（已计入无形资产成本的费用除外）

所属年度:

序号研发费用项目预算额

1一、直接从事研发活动的本企业在职人员人工费用

21、工资、薪金

32、津贴、补贴

43、加班工资、奖金、年终加薪

5

6二、研发活动直接投入的费用

71、直接消耗的原材料、半成品、燃料和动力费用

82、达不到固定资产标准的模具、样品、样机及一般测试手段购置费

93、工艺装备开发制造费，设备调整检验费，试制产品检验费

104、用于研发活动的仪器设备简单维护费

11

12三、折旧费用与长期待建费用

131、专门用于研发活动的仪器、设备的折旧费或租赁费

142、研发仪器设备改装、修理过程中发生的长期待摊费用

15

16四、设计费用

171、新产品设计费、新工艺规程制定费

182、进行工序、技术规范、操作特性方面的设计等发生的其它费用

19

20五、装备调试费

211、工装准备过程中研发活动发生的费用

22

23六、专门用于研发活动的无形资产摊销费

241、研发软件

252、专利权

263、非专利发明（技术）

274、许可证、专有技术、设计和计算方法等专有技术发生的摊销费

28

29七、勘探、开发技术的现场试验费

30

31八、研发成果的论证、鉴定、评审、验收费

32九、与研发活动直接相关的其他费用

331、技术图书资料费、资料翻译费

34

七、主要（大中型）仪器设备清单

序号项目规格数量备注

1服务器1PoweiEdgeR7201台用于平台开发、测

试及业务测试、运

2服务器2PowerEdgeR71010台行

Lenovoideapad110-15IKB

Intelcorei5-7200U

3PC电脑20台

CPU2.50GHz2.70GHz用于开发编码，及

内存

8G日常办公

MacBookpro

4苹果电脑Intelcorei55台

内存8G+256G闪存

八、自主研究开发专项小组

XXXX成立专门的项目小组，该项目小组是由我公司核心研发人员

组成，是高素质、高技术、高水平人才。该项目小组