物联网大数据项目实施方案_第1页
物联网大数据项目实施方案_第2页
物联网大数据项目实施方案_第3页
物联网大数据项目实施方案_第4页
物联网大数据项目实施方案_第5页
已阅读5页,还剩25页未读 继续免费阅读

付费下载

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

项目编号:

物联网大数据项目

实施方案

甲方:___________

乙方:

目录

1项目介绍.............................................................4

1.1业务背景(行业背景,企业背景)..................................4

1.2项目目标........................................................4

2.项目实施前提.......................................................5

2.1xxx系统环境假设................................................5

2.2运维交付假设....................................................7

3.项目实施范围...........................................................7

3.1总体实施组织范围.................................................7

3.2项目实施业务功能范围............................................7

3.3项目实施非业务功能范围..........................................9

4.项目实施技术方案.....................................................11

4.1系统总体架构....................................................11

4.2系统应用架构...................................................12

4.3系统技术架构...................................................12

4.4系统技术参考模型...............................................13

4.5技术框架中的软件版本...........................................15

4.6系统部署方案和软硬件要求.......................................15

4.7生产环境现场硬件布点要求.......................................16

4.8系统集成......................................................16

4.9系统接口......................................................17

4.10系统安全.....................................................18

5.项目管理..............................................................20

5.1项目实施计划...................................................20

5.2项目实施组织...................................................20

5.2项目实施组织..................................................20

5.3项目实施方法...................................................21

5.5项目风险管理...................................................22

5.6项目变更管理...................................................23

5.7项目培训及知识转移.............................................24

6.项目交付件及验收.....................................................25

6.1项目正式交付物.................................................25

6.2项目非正式交付物...............................................25

6.3项目验收.......................................................26

项目验收的条件..................................................26

项目验收........................................................26

验收标准........................................................26

非正常验收约定..................................................27

7.质量保证及服务承诺.................................................27

8.运维及升级方案.......................................................28

1项目介绍

1.1业务背景(行业背景,企业背景)

XXX战略上基于信息化三年滚动规划,深化“四个+”建设工作,落地“数据驱动、在

线管理”,包括“大数据+”。XXX需要通过大数据统一思想,统一平台,统一数据,统一

分析,从而推动公司数据文化,建设整体数据体系,稳步高效地挖掘数据,实现数据全面、

真实、透明、共享。“大数据+”的工作包括IOT采集迭代,基础数据治理,HR分析,业

财一体化分析,运营分析,智慧XXX等。

1.2项目目标

通过本次项目实施,完成构建XXX企业级大数据平台如下目标:

一、建成XXX大数据集群,具备大数据存储和I/O能力

1.基于XXX自购和现有硬件,建成hadoop(2管理结点,3数据结点)、hbase(2管

理结点,3数据结点)、mysql(2数据结点)大数据集群

2.建成HDFS分布式文件系统、Zookeeper分布式系统、HBase分布式数据存储系统、

YARN分布式资源调度系统、KAFKA分布式消息系统从而实现数据的存储、转发、监

控管理。

3.hadoop集群用来存储xxx所有结构化、非结构化、半结构化数据,用做数据挖掘;

hbase用来存储高读高写在线和离线数据,用做高频数据读写;mysql集群用来存储

在线关系型数据。

4.hadoophbase集群按业务分类(整车xxx业务、零部件xxx业务、各分子公司等)

或系统类型(OTM、WMS、NC等)分类分区块存储数据。

二、建成I0T数据传入xxx大数据平台的专用通道,完成I0T历史数据迁移

1.建成由xxx平台传入xxx大数据平台的数据通道包括SQOOP数据采集转换系统、

KAFKA到MYSQL数据转存系统、KAFKA到Hbase转存系统、KAFKA到HDFS转存系统,xxx

I0T数据中xxx部分能够通过通道实时传入xxx大数据平台的hadoop集群和hbase集

2.通过xxx硬件采集到的xxx所有iot历史数据,全部存入hadoop集群,高频可用数

据(最近一年视集群规模而定)存入hbase集群。

3.未安装xxx硬件但成功接入xxx系统的xxx车辆数据(提供标准接口,第三方依据

标准接口虚拟转接到xxx平台),通过通道全部存入hadoop集群,高频可用数据(最

近一年视集群规模而定)存入hbase集群。

三、建成xxx业务运营数据传入xxx大数据平台的数据通道,业务运营数据可以按通道协议

传入大数据平台

1.建成非I0T数据传入xxx大数据平台的格式化数据通道。

2.提供工具,可以通过定期抓取的方式从xxx其它数据平台抓取数据,抓取到的数

据分类写入xxx大数据平台的hadoop集群的对应区块,此部分只建立标准,不实装

数据。

3.其它非格式化的数据(比如图片、视频等)按通道协议转化格式后可以输入到

大数据平台的hadoop集群对应区块。

四、建成I0T数据ETL能力,提供算法工具供ETL开发升级

1.大数据平台建成I0T数据ETL能力,I0T数据在大数据平台中经过ETL工具处理生

成了I0T数据仓库,数据仓库可以直接被使用进行BI开发。

2.提供十个以上常用开源的数据挖掘算法,xxx运维人员可以使用这些算法进行二

次开发,进行数据挖掘类功能扩展升级。

3.如果要搭建非I0T数据仓库,可以直接在平台中使用现有算法进行二次开发或引

入新的数据挖掘算法工具生成。

五、建成基础大数据监控能力

1.建成集群系统监控系统、KAFKA-M0NIT0R监控系统,实现大数据平台运行监控,

及时反馈平台状态。

2.项目实施前提

2.1xxx系统环境假设

1.假设xxxIoT数据专用通道传输速率稳定在200M以上。

2.假设xxx业务及运营数据专用通道传输速率稳定在200M以上。

3.假设硬件能够在计划时间(2018T-31)内到货上架并可用。

4.xxx硬件资源、网络资源等支撑服务正常运转。

xxx需要采购的硬件如下:

功能部件配置

CPU2xIntelXenSilver41102.1G(8C)

内存64G

Hadoop集群管理节点

硬盘4*600G(SAS)

(2台)

网卡4*1GE+2*1OGE(含FC模块)

电源双电源

CPU2xIntelXenSilver41162.1G(12C)

内存128G

Hadoop集群数据节点

硬盘2*600G(SAS)+8*4T(SATA7.2K)

(3台)

网卡4*1GE+2*1OGE(含FC模块)

电源双电源

CPU2xIntelXenSilver41102.1G(8C)

内存64G

Hbase集群管理节点

硬盘4*600G(SAS)

(2台)

网卡4*1GE+2*1OGE(含FC模块)

电源双电源

CPU2xIntelXenSilver41162.1G(12C)

内存256G

Hbase集群数据节点

硬盘8*900G(SAS)

(3台)

网卡4*1GE+2*1OGE(含FC模块)

电源双电源

机柜交换机24*1G下行端口

(4台)2*10GFC上行端口

2.2运维交付假设

假设平台部署时,XXX运维运营人员完成如下配备;运维交付时,配备人员能够熟练掌

握大数据平台运维技巧:

职位需求数量职责

系堤架构师1高线、实时系统架,基础系统开发、维护、优化

1»1,、1•a1yj3,t_j5.HL

大数据开发2hive.MR、spark,slorm以及ETLT具开发等

数据挖掘、算法1数据特征分析、数据建模、挖掘算法开发等

3.项目实施范围

3.1总体实施组织范围

本次项目实施组织范围包括管理信息部项目组、XXX项目组。

3.2项目实施业务功能范围

3.2.1HDFS分布式文件系统

是否必须是

是否为标准功能是

业务场景可靠性数据存储

3.2.2YARN分布式资源调度系统

是否必须是

是否为标准功能是

业务场景大数据计算资源调度管理

3.2.3MAPREDUCE分布式计算引擎

是否必须可选

是否为标准功能是

业务场景大数据任务计算引擎

3.2.4HIVE任务计算系统

是否必须可选

是否为标准功能是

业务场景基于SQL的大数据任务计算引擎

3.2.5SPARK任务计算系统

是否必须是

是否为标准功能是

业务场景大数据任务计算、数据挖掘引擎

3.2.6Zookeeper分布式系统

是否必须是

是否为标准功能是

业务场景分布式服务注册发现服务

3.2.7HBase分布式数据存储系统

是否必须是

是否为标准功能是

业务场景高性能并发读写KV型存储服务

3.2.8KAFKA分布式消息系统

是否必须是

是否为标准功能是

业务场景分布式持久化消息订阅转发服务

3.2.9KAFKA-M0NIT0R监控系统

是否必须是

是否为标准功能是

业务场景针对KAFKA系统状况的监控服务

3.2.10SQOOP数据采集转换系统

是否必须是

是否为标准功能是

业务场景提供关系型数据库与大数据数据交换服务

3.2.11KAFKA到MYSQL数据转存系统

是否必须是

是否为标准功能是

业务场景提供kafka数据实时写入mysql服务

3.2.12KAFKA到Hbase转存系统

是否必须是

是否为标准功能是

业务场景提供KAFKA数据实时写入HBase服务

3.2.13KAFKA到HDFS转存系统

是否必须是

是否为标准功能是

业务场景提供KAFKA数据批量写入HDFS服务

3.2.14集群系统监控系统

是否必须是

是否为标准功能是

业务场景提供大数据集群的系统监控服务

3.3项目实施非业务功能范围

可靠性、可用性:

・可用性一可用时间占比99%以上;

・平均故障间隔时间(MTBF)-(用户可感知故障)间隔时间为半年;

・平均修复时间(MTTR)—2H/次。

性能要求:

•对事物的响应时间:查询随意两个时间段的数据接口平均响应时间为0.2秒以

内,查询所有数据的接口再0.1秒以内,查询全天的平均响应时间再0.2秒以内;

・吞吐量:查询随意两个时间段的数据吞吐量为100笔/秒,查询所有数据在180

笔/秒,查询全天的数据在100笔/秒;

・容量:系统可以容纳客户3000以上,事务数100万/天,可灵活扩容;

・降级模式:系统升级不可用时,可以随时降级恢复使用;

・灵活性:当系统发生异常情况是,可以通过手工录入等方式让业务正常运行;

・精度:传输中精确数据到小数点后两位,如5.03秒。

数据备份:

・双机热备:RDS采用热备架构,物理服务器出现故障后服务秒级完成切换。整

个切换过程对应用透明。

・多副本冗余:RDS服务器中的数据构建于RAID之上,数据备份存储在OSS

上。

•RDS提供自动备份的机制。用户可以自行选择备份周期,也可以根据自身业务

特点随时发起临时备份。

・数据恢复:支持按备份集和指定时间点的恢复。在大多数场景下,用户可以将

7天内任意一个时间点的数据恢复到RDS临时实例上,数据验证无误后即可

将数据迁回RDS主实例,从而完成数据回溯。

作业日志:

・系统对于所有关键业务数据,都严格记录其访问和修改的情况;记录最后被谁

修改,什么时间修改都可以通过报表直接查询。

•网络安全

・对于核心业务管理系统,保护信息的传输安全至关重要。在网络上传输的是数

据信息,有效地保护这些数据信息是网络传输控制的最重要的方面。为了确

保用户整体信息平台不受到安全威胁,可以采用硬件防火墙技术,将系统的

应用服务器放置于DMZ中,开放且仅开放80端口供外界访问。数据库服务器

放置于数据中心独立网段,仅向应用服务器开放DB2数据访问端口。

・云监控(CloudMonitor)服务可用于收集获取阿里云资源的监控指标,探测互

联网服务可用性,以及针对指标设置警报。云监控服务能够监控云服务器

ECS、云数据库RDS和负载均衡等各种阿里云服务资源,同时也能够通过

HTTP,ICMP等通用网络协议监控互联网应用的可用性。

扩展性:

•大数据平台通过增加服务器节点的方式,实现对集群的横向扩展。

4.项目实施技术方案

4.1系统总体架构

描述项目建成系统的整体架构,并分析系统的关联性和可扩展性

数据通道跨机房数据推送内网数据采集

00

数据平台

ETL

HbaseHadoop

APIHive/Spark

:业务用户管车产品电子地图产品运营数据报表数据产品

整体架构包括数据源部分、数据通道部分、数据存储计算部分、业务应用部分;

数据源分为外部数据源和内部数据源,外部数据源目前主要是由XXX数据中心提供的

管车数据、电子地图数据、设备数据、各类事件通知类数据等等;内部数据指的是XXX公

司内部的各种应用管理系统数据、业务日志数据、子公司之间共享数据等;

针对不同数据源的数据类型、数据安全、性能要求等,分别采用两种不同的数据采集

方式,外部数据源使用跨机房基于公网的数据推送通道,内部数据采用基于内网的数据采

集通道,外部通道数据和内部通道数据在网络和存储上均隔离,在资源占用上互不影响。

数据存储包括Mysql、Hbase、Hadoop三类存储系统,Mysql负责存储业务系统的关

系型数据,Hbase存储设备、实时平台计算等海量数据,Hadoop负责存储全量的结构化、

非结构化数据。

数据离线分析计算、数据挖掘、机器学习等主要是基于Hadoop、Spark系统,采用

MapReduce>hive>spark等计算引擎;实时的数据读写API基于mysql、hbase。

业务应用如管车、电子地图通过接口网关来读取和写入数据平台的数据,数据运营

报表、数据产品基于hive、spark来进行各类分析、运营指标的计算。

4.2系统应用架构

4.3系统技术架构

Hadoop技术架构

网关机/ETL网关WSPRK网关机/ML

DN1/ZK3DN2DN3DN4DN5

Hadoop技术架构包括Zookeeper(简称ZK)集群、name集群、data集群、网关机集群,

zk集群部署在Namenodel、Namenode2、Datanodel三个节点上,NameNodel和NameNode2

为高可用模式(HA模式);网关机根据具体业务职能进行区分,比如ETL、SparkSQL计算、

数据挖掘等,在账户权限上也分别进行不同的管理策略。

Hbase技术架构

Hadoop技术架构包括Zookeeper(简称ZK)集群、name集群、data集群、网关机集群,

zk集群部署在Namenodel、Namenode2、Datanodel三个节点上,NameNodel和NameNode2

为高可用模式(HA模式),HMasterl和HMaster2分别复用NameNodel和NameNode2的服

务器,RegionServer分别复用DataNode的服务器;网关机根据具体业务职能进行区分,

比如API、Admin等,在账户权限上也分别进行不同的管理策略。

4.4系统技术参考模型

准确性:

平台架构设计方面数据处理和存储按照分层设计,数据的存储有存储层负责完成,数

据运算由业务层独立运算,业务模块的运算由事务性处理设计保障数据运算全局一致准确

性,避免运算错误和不完整性的情况存储入库的错误,一旦出现数据运算的错误,系统会

及时回滚事务和抛出错误标识以便数据的核查和操作。

通过错误日志的核查,可以分析数据错误原因和优化指导。

数据库部署按照集群搭建,保证数据的完整性和高可用性,数据库集群节点间实时复

制的设计,保证了每个数据节点的数据一致性。

可靠性:

在数据校验环节,系统提供基于逻辑性、完整性、一致性三方面校验,对输入调用的

数据,系统将进行主数据匹配,对不存在的数据进行提示,对于不符合逻辑的数据录入,

系统也将提供约束性提示确保数据质量。

系统的部署按照高可用性的架构设计,前端到后端应用集群环境杜绝单点故障,一旦

出现应用负载高,导致服务宕机或机器硬件故障,系统可实现故障转移,通过灾难故障转

移的机制从前端到后端保证系统的高可用性。

可伸缩性:

应用服务器和数据存储采用可扩展的分布式设计,分布式多实例运行,服务器的资源

扩容可通过集群配置工具轻松增加节点实现扩容,硬件平台采用业界常用的X86架构硬件

服务器,可实现硬件配件的可插拔扩容,新设备快速加入运算的运维成本几乎为零,可以

平稳的扩容和调整系统的运营能力和性能。

可扩展性:

系统模块采用服务组件化设计,每个功能模块都可以独立对外提供微服务的业务支撑,

符合现在流行的微服务化设计理念。接入第三方系统通过集成本系统发布的微服务即可实

现数据的集成,门户类集成平台只需做数据展现的工作。

开放性:

接口设计成采用REST的RESTful服务。RESTful服务使用HTTP作为底层协议。外部系

统通过访问RESTful服务即可实现对本系统接口的交互。HTTP做为标准的互联协议,已经

在我们网络中日常使用。

可用性:

通过数据存储和应用的分布式架构设计,整个系统的存储能力是横向可扩展的,能满

足未来业务量高并发的支撑。数据库的集群可灵活扩展,应用服务的节点可快速扩展,部

署架构最前的集群代理服务器可横向扩展,能够承受较大规模用户的并发访问与会话连

接。

可管理性:

操作系统的运行参数、数据库的运行参数、文件系统的参数、应用程序的状态,都可

以通过系统监控的手段实现阈值报警监控,并能实现及时接入管理。管理手段可通过操作

系统管理工具、数据库管理工具、应用程序中间件等实现对系统的调优和管理控制。

4.5技术框架中的软件版本

名称类型参数用途

Hadoop开源CDH5.1.2离线数据存储

JAVA开源1.7及以上应用环境

Mysql开源5.6及以上关系型数据存储

Nginx开源1.4.7及以上反向代理

Linux开源CentOSrelease6.8操作系统

Tomcat开源7.0及以上中间件

Hbase开源CDH5.1.2实时数据存储

ZooKeeper开源3.5.0分布式应用程序协调服务

Storm开源1.0.3实时数据处理服务

Spark开源2.2.0大数据计算引擎

Scala开源2.12.3大数据计算语言环境

Python开源2.6.6及以上数据挖掘语言环境

Sqoop开源1.4.0及以上数据转换工具

Kafka开源0.9.0.0及以上分布式消息系统

4.6系统部署方案和软硬件要求

>可用性

ZooKeeper,HDFS、YARN、HBASE等服务均需要部署高可用模式,zookeeper节点部署

在三台以上,无单点问题,任意一台存活都可以提供服务;HDFS、Hbase配置数据备份为

3份及以上,理论上非三个数据节点同时故障都不影响数据的存储;YARN配置为数据节点

同等或以上数量,只要计算节点非同时故障,服务不会停止。

>扩展性

ZooKeeper.HDFS、YARN、HBASE均可以支持节点动态扩容,生产服务不需要停止服务

或停机等待,扩容过程中也不会影响在线服务,考虑到数据平衡和网络影响,建议在业务

低峰期进行扩容操作。

4.7生产环境现场硬件布点要求

>硬件订单(含场所、设备名称、用途、网络要求、电源、数量等信息)

名称数量参考配置用途电源场所网络

交换机2带光模块交换机内网数据交换建议双电自建机房内网

Hadoop管2CPU:E2620Hadoop管理节点建议双电自建机房内网

理节点内存:16*6

硬盘:500G*4

Hadoop数5CPU:E2620Hadoop数据存储和计建议双电自建机房内网

据计算节内存:16*6算

点硬盘:4T*8

HBASE管2CPU:E2620Hbase管理节点建议双电自建机房内网

理节点内存:16*6

硬盘:500G*4

HBASE数5CPU:E2620Hbase数据存储建议双电自建机房内网

据节点内存:16*6

硬盘:4T*8

调度、工2CPU:E2620任务提交、任务调度、建议双电自建机房内网

作机、内存:16*6web服务等

WEB、后台硬盘:500G*4

MYSQL集2CPU:E2620Mysql数据存储建议双电自建机房内网

群内存:16*6

硬盘:500G*4

4.8系统集成

1、向下与xxxIoT平台的集成,完成xxxI0T历史数据迁移

a)建成由xxx平台传入xxx大数据平台的数据通道包括SQOOP数据采集转换系统、

KAFKA到MYSQL数据转存系统、KAFKA到Hbase转存系统、KAFKA到HDFS转存系统,xxx

IOT数据中xxx部分能够通过通道实时传入xxx大数据平台的hadoop集群和hbase集

群。

b)通过xxx硬件采集到的xxx所有iot历史数据,全部存入hadoop集群,高频可用数

据(最近一年)存入hbase集群。

c)未安装xxx硬件但成功接入xxx系统的xxx车辆数据(虚拟转接到xxx平台),通

过通道全部存入hadoop集群,高频可用数据(最近一年)存入hbase集群。

2、向上与电子地图平台集成

a)大数据平台建立标准接口,为电子地图平台提供IoT数据支撑。

b)电子地图平台的数据反向回写进大数据平台

3、横向与业务系统集成

a)建成xxx业务运营数据传入xxx大数据平台的格式化数据通道,业务运营数据可

以按通道协议传入格式化、非格式化数据到大数据平台。

b)通道可以通过定期抓取的方式从xxx其它数据平台抓取数据,抓取到的数据分类

写入xxx大数据平台的hadoop集群的对应区块,此部分只建立标准,不实装数据。

c)其它非格式化的数据(比如图片、视频等)按文件通道输入到大数据平台的

hadoop集群对应区块。

4.9系统接口

IOT

DW消息

中心

XXX数据中心部分:

1.开发数据ETL任务,从数据中心实时过滤、转发数据到I0T消息中心;

2.开发统一数据发送程序,将实时业务数据从xxxI0T消息中心推送至xxxAPI接受

服务器;

数据推送机制为atleastonce,保证数据不丢失,不保证数据重复;

XXX数据中心部分:

1.开发基于安全签名机制的RESTAPI,负责接收xxx数据中心推送的数据;

2.搭建分布式kafka集群,负责缓冲、持久化xxx数据中心推送的实时数据,防止数

据量过大对后端数据存储造成压力和数据丢失,同时去除xxx数据中心与xxx数据中心之

间的强耦合;

3.开发针对mysql、hbase、hadoop的入库程序,将数据根据使用场景分别存储至业务

库和大数据平台;

4.9.1数据开放平台接入

接入ID密钥签名

HTTP-Verb++

Content-MD5+-\n"+

Content-Type+"\n"+StringToSign

Date+"\n"+Restful接口

第HMAC-SHA1

三+ResourcePath;

方SecretAccessKey

开(rfc2104)

推送接口

号JWT(JsonWebToken)基于rfc7519标准MQTT

1.每个合作伙伴可以拥有一个或多个(方便有多个子机构需要独立开发)开发者账号;

2.通过开发者账号可以为开发的应用申请接入码和密钥,通过接入码+密钥签名后,

可以访问xxx的开放平台服务(也可以通过开发者账号,获取JWT,让前端直接访问

XXX的开放平台)。

4.9.2接口网关方案

基于springcloud的接口网关

4.10系统安全

1.硬件安全管理

系统具备全面的安全体系保障及完善的边界防护措施,对网络方面隔离控制、边界防

御等多方面都具备安全防范措施。

2.权限体系管理

对系统功能的使用设置了严格的授权机制,每个功能的开通都经过严格的授权审批和

认证流程,定期、不定期的对运行维护情况进行安全审计及漏洞检测。

3.日志分析管理

具备完善的日志收集分析系统,能够对应用日志、管理日志、数据库日志、安全日志

等进行数据分析,并且日志系统能够保存不低于90天的日志存档。

系统间数据的访问采用电子签名授权接口的调用,对重要敏感数据采用HTTPS的安全

访问。

4.密码登录管理

支持统一的身份认证的方式,能够实现证书、数字签名等多种身份识别功能,系统用户授

权管理支持多级多角色的授权,可以按照角色、用户、组织机构等授权管理方式对资源进

行管控。

用户的密码采用单向加密的措施,用户登录统一认证后才能进入各业务系统,实现SSO

(单点登录)的功能。对未登录、未授权的访问做到安全限制

xxx针对以上的安全措施已经通过信息系统安全等级保护三级的认证和备案。

图表1.信息系统安全等级证明

5.项目管理

5.1项目实施计划

1•架构段计1•模块设计1.系统开发功能施速1.硬件部署L系统上《

软L工』日后评估

•硬付配艮•模块设计•««蚓•用武方案.软件部A•验收报告

现2--tttittt•评估报告

掇♦定­组件设计对各个模

硬ftH-3.UATMX•尊础ft据

•系统构成块开发

软­货峨例•同功能用*A

•物理.架构.单元状*耳试.系统设运

件y2IB1

•塞辑架构

汨­各犊块做•18试执行•泠证*例

•安全机刖单元施微魔瞽

软•18MM台

i•险证捱告

蚂2.雌蝴•迭代开发

•功能列衰

定优化

・设计烧数

接2.抄位也广

4数据库设•同功g

­表模型设成

计•同功他爱

­表结构设成

­字段属性

5.2项目实施组织

5.2项目实施组织

角色职责

•负责组建项目团队并对项目团队进行管理、考核;

•负责组织进行项目总体规划的编制与审核、项目设计方案的审批;

•负责做好项目实施中与各部门的协调,定期和不定期组织召开项目协

项目发起

调会,确保项目建议顺利进行;

•负责管控项目建设进度及质量情况,提交相关报告及考核建议;

•负责组织定期向上一级领导汇报项目总体情况;

•负责牵头组织项目竣工综合验收,组织编制项目建设总结。

•负责XXX方项目实施工作,用户资源的调配,能够协调各职能部门以

XXX及项目关键节点的把控;

项目经理•组织、决定和审批XXX方的工作及相关会议;

•与XXX方项目经理保持沟通,紧密合作。

XXX•负责在项目过程中和XXX方保持联系、相互沟通,以解决出现的XXX

项目经理方服务及工作计划的问题。

•负责项目中每天的工作管理。

•负责制订项目计划和其他一些全局性项目政策。负责整个项目的规划、

资源调配、监控和进度报告。

•管理项目质量、以里程碑为标志的项目进度,安排适当的项目组成员

的级别结构、管理项目组成员的工作质量,并解决工作上及项目组成员的

问题。

•能依照项目计划,对项目组提出一些指导性的建议并在项目进程中被

执行。

•负责技术环境:网络、基础设施、操作系统和数据库管理;

•支持项目的成功实施和系统维护;

项目管理

•配合项目实施协调IT资源(软/硬件);

•对项目实施技术安全进行管控;

•对业务重大变更和新增需求进行评估;

工作项人数开始时间结束时间

基于容器云的大数据平台、数据接入32018/1/22018/2/28

java(本地相关服务及接口开发)32018/1/22018/3/1

网关(服务搭建及接入配置管理)12018/2/12018/3/1

测试(api、服务环境)22018/1/22018/3/1

项目经理(项目管理)12018/1/22018/4/1

5.3项目实施方法

项目开发维护的实施中,要遵循下列工程实施管理原则和保证体系。

(1)人员及沟通管理

有经验、成熟的技术队伍是工程实施的前提条件完成任何项目工程,必须拥有一支有

经验的、勇于探索的、高水平的、具有严谨工作作风的技术队伍,在工程实施的过程中发

挥团队协作精神和用户密切协作的能力。XXX团队要在整个项目实施周期中全程参与。XXX

与XXX双方保持合作和有效沟通的原则,包括日报、周报、月报的汇报机制,项目周会,

不定时的临时会议,会议纪要的确认,针对高层领导的特定汇报等。

(2)职责管理

管理层次分明、职责清晰是工程实施的基础建立层次分明的项目工程实施管理机构,

明晰各层的管理职责,从组织管理的角度保证项目实施计划落到实处。

(3)项目计划管理

按项目跟踪KTM表,里程碑节点计划打印上墙并定期跟踪、更新,双周计划滚动更新、

跟踪。对需要领导决策问题,立即启动专项会议。确定过程控制点,以过程质量保证整体

工程质量整体都是由局部和具体的细节构成,项目由一个个过程环节组成,只有认真对待

每一个过程细节,才能保证项目工程整体的实施质量。

5.5项目风险管理

>风险管理计划、策略及详细说明

对该项目过程中发生的或可能发生的各种风险进行管理和控制,是项目管理贯穿该项

目全过程的重要内容。对于实施项目的风险管理,首先需要对项目本身有着深刻的认识和

理解,通过理解项目去识别项目潜在的各种风险。对各项风险采取专门措施进行风险管理

和控制,从而最大程度地降低风险、控制风险。

发生概

NO.主要风险影响负责人应对措施

XXX采购硬件不能提前跟采购部门和中标

160%影响进度邓辉

按计划部署部门沟通,缩短时间

影响大数

公网传输数据有延

据平台数讨论搭建XXX与XXX专线

2迟导致系统看到的60%余洋

据的实时的可能性

数据有延迟

XXX与XXX的网络带影响大数

提前规划大数据专有带

3宽收到XXX其他IT30%据平台的余洋

系统的影响性能

影响后续

XXX团队人员不能郅玉文、邓提前做人力资源规划,招

450%运维工作

及时加入辉聘合适人员加入

交接

5.6项目变更管理

>变更管理机制及流程

1)变更类型一般包含进度、范围变更等

2)变更由双方项目经理发起

3)我方项目经理对变更产生的影响进行评估与销售协调是否上报,PMO/CCB进行

评估并决定是否审核批准

4)变更管理中,销售经理参与评估变更成本和销售管理

5)变更批准后,项目经理和项目团队执行变更,并更新项目计划和成本预算

6)经客户确认未被执行的变更进入变更记录手册

7)仅接受由双方项目经理提出的变更申请单;

8)仅执行经过双方项目经理确认后的变更申请单;

9)通过紧急渠道提交的变更申请单可以被优先执行,但是事后的确认过程应当被

及时认可,对于变更单的工时及周期变化不存在讨论空间;

10)若发生了CCB会议,则应当于会议当场得出最终的变更申请单并予以确认。

注:CCB为变更管理委员会,成员包括双方项目发起人,项目经理及关键技术人员。

5.7项目培训及知识转移

1.准备培训材料

针对不同人员准备不同的培训材料包括开发人员,运维人员,使用人员。材料包括文

档、录屏的方式体现。

对关键用户提供不超过3次培训。

2.制定《培训及知识转移计划》

1)在培训前针对培训人员的分类和项目的范围,制定一个比较合理的培训计划,

包括培训的时间、地点,培训的内容分类或分组、接受培训的人员以及设备要求、考

核方法等等;最后由XXX方项目经理确认并发出通知。

2)培训的时间安排应根据关键人员的工作情况而灵活制定,最好能安排一段连续

的时间段,而且培训的地点也最好采用集中培训的方式。这样培训的效果较好,人员

思想也比较集中。

3)对于不能到现场的人员,采取远程培训的方式

4)开发、运维人员要从项目开始就要深度参与,在项目实施过程中通过实际操作

掌握知识及技能。

3.培训及知识转移考核策略

1)通过实际曹操的方式做培训考核。具体操作时,可以将学员应该掌握的内容列

一个清单,对学员逐一进行考核,记录考核结果并向XXX方项目组反馈。

2)对于考核不合格的人员,项目经理应根据实际情况做出判断是否建议用户进行

自学并再次接受考核,若实在不能胜任,建议更换关键用户。

6.项目交付件及验收

6.1项目正式交付物

>交付清单

项目阶段交付文档交付产品

1.项目实施方案

准备阶段无

2.SOW

1.业务蓝图解决方案

设计阶段无

2.系统详细设计

1.hadoop、hbase、mysql大数据集群

2.xxx平台数据传入xxx大数据平台的数据通道

1.系统部署手册3.非I0T数据传入xxx大数据平台的格式化数据

系统部署

2.操作说明通道

4.十个以上常用开源的机器学习算法工具

5.I0T数据仓库

1.功能测试报告

系统测试2.性能测试报告无

3.安全评测报告

1.上线启动会材料

上线试运2.培训计划

行3.培训材料

4.培训考核报告

系统运维维护管理说明资料无

系统验收报告

项目验收定制部分的源代码

需求变更文档

6.2项目非正式交付物

>非交付清单(周报、月报、进度表)

6.3项目验收

项目验收的条件

1.XXX方应在项目验收前按照工作说明书中的约定向XXX方提交与项目配套的交付

件,如6.1的交付清单。

2.确认项目实施中所有影响系统正常运行的广2级问题已被处理,其它不影响项目交

付成果使用遗留的3、4级问题,xxx方已提交解决计划。

问题级别问题级别定义

1级对业务有至关重要的影响(包括即将发生和已发生),系统完全丧失了

服务功能或丢失了所有的资源,工作无法再继续进行。系统完全不可用。

2级对业务有严重的影响(包括即将发生和已发生);系统丧失或可能导致

丧失重要的服务功能,已丢失或可能导致丢失重要的资源。

3级对业务有较小的影响(包括即将发生和已发生);系统丧失了较少的服

务功能或丢失了较少的资源,个别用户某些业务功能不能使用。

4级对业务没有影响,用户工作正常,没有因为该事件的存在而妨碍其工作,

可正常查询和报告信息。

以上条件全部达成后的当月,即达到项目验收条件并可启动

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

评论

0/150

提交评论