生产企业大数据平台建设项目建议书v2

1、大数据平台建设项目建议书目录第一章、项目背景 3第二章、项目思路 4第三章、建设内容与方案 5第四章、时间进度 13第五章、项目预算 15第六章、企业效益及社会效益 15第七章、结论 15第一章、项目背景企业对信息化工作历来较为重视， 也是省内较早开始实施信息化的大型企业。 目前已经建成财务系统、生产调度系统、农务系统、供应链系统等 :调度系统， 2015年公司共投资了 175 万元，按集团分步建设、逐步投入的 规划，完成了系统基本硬件与亚控平台软件的结合， 构建了一个以明阳糖厂生产 调度指挥中心为核心，生产信息能够上至集团，下至车间的生产调度网络系统。农务系统，2005年开始实施，经过多次升

2、级，现涵盖了计划、 报蔗、派车、 质检、过磅、结算、短信管理、移动应用等一系列模块，覆盖公司 4 家直属糖厂 和大桥制糖公司，实现了农务统一的信息化管理。供应链系统，利用用友NC供应链系统，以公司存货管理为核心的采、供、 销、存供应链管理平台，实现物资、仓储、供应、销售、物流一体化业务协同处 理平台，建立了公司对各直属厂工作的监督平台， 总部可以实时对下属各公司的 工作进行监督， 实时对各公司的具体业务执行情况进行查看， 及时的对下属公司 进行指导和监督。尽管在两化融合及企业信息化方面已取得了相当的成效， 但在实际应用过程 中仍然存在一些较为显著的问题。（一）总部与下属糖厂未实现完全的集约管理

3、a）企业在原先六家糖厂的基础上，又收购了三博公司五家糖厂。三博五厂 由上海迁回南宁，在宜州设立管理下属五厂的二级管理总部。b）从系统部署上分析，企业总部与原先六厂为一套架构，而三博总部与下 属五厂为一套架构，各自独立，暂未整合为一体。c）为了保证各糖厂生产的稳定，企业总部与下属六厂之间仅在NC供应链、OA财务、人力等系统方面实现了集约管理，农务管理系统、生产调度 系统以及化验系统均由各厂自建，因此出现各厂建设系统的厂家不同， 使用的系统版本不同等现象。三博总部与下属五厂的关系亦如此。（二）总部及各厂之间的数据共享有限a）由于大多数生产相关的系统均为各厂自建，因此不管是企业总部，或者 是三博总部

4、在获取各糖厂生产相关数据上均较为困难。b）企业总部通过制定报表模板、开发报表同步功能的方式，定期的获取下属六家糖厂的生产相关报表，但这些报表的数据容量有限、数据呈现较 为固定，无法为总部经营决策提供实时、灵活的数据依据。c) 三博总部获取下属糖厂的数据方式更为有限，仅依靠各厂按照总部的业 务需求进行手工填写，通过邮件、微信等方式提交数据报表，汇总到三 博总部。(三) 各业务部门对未来的数据应用有着强烈的需求a) 当前业务条线对于未来大数据平台建设的需求仍处于较为初步的设想阶 段，但已具雏形：b) 进一步完善供产销流程中系统数据采集能力，尤其是对于甘蔗种植面积 的测绘、甘蔗产量的估算等信息，因此

5、对于 GIS 地理信息系统的上线有 需求；c) 提高总部对于各厂生产数据的获取及共享能力，解决目前总部各部门、 总部与各厂、各厂与各厂之间数据不流通、共享困难的现状；d) 提高内部各平台数据对于生产经营的指导作用，充分利用各环节系统流 程数据汇总，产出经营决策建议、对比分析、趋势统计、效益分析等数 据应用；e) 实时、动态、快速的掌握外部环境的动向，包括行业发展、原材料、供 应商、产品销售、竞争对手等信息，以形成内外部数据的融合，为生产 经营决策提供数据支撑。第二章、项目思路为了解决内部各厂、 各系统之间的数据共享问题， 此次项目将依托现有的农 务管理平台、NC供应链平台、生产调度平台、电子商

6、务平台、协同工作平台0A 质量管理平台等一系列业务相关系统， 通过制定一定的标准， 整合下属各厂各系 统数据，打造统一的大数据平台及智能决策分析平台。 利用大数据分析技术， 为 公司管理层、 业务部门及各生产单位提供具有指导意义的数据分析结果， 实现生 产精准化、管理可视化。根据对内部信息化及系统部署情况的分析， 此次项目将按照由近及远、 由浅 入深的方式划分为几个阶段：（一）对总部及下属六厂各系统的数据进行整合、共享及分析，以企业六厂为 基础，搭建大数据平台框架， 在不对基础系统进行迁移整合的前提下， 对数 据进行整合并建立数据之间的关系。 并制定一定的数据采集规则， 获取三博 五厂的数据。

7、（二）基于大数据平台全面的数据共享能力，强化数据的表达深度，能够对原 有汇总的报表数据进行更细粒度的表达和展示； 这里可能需要创建新的应用 服务系统或者是扩充原有的服务系统来完成。（三）完全整合三博所属五厂系统及数据，消除企业内部的数据孤岛。（四）面向外部进行数据扩充，例如利用网络进行相关行业的数据抓取，并将数据整合到大数据平台，结合既有的内部数据建立运营决策系统。第三章、 建设内容与方案基于对整合三博五厂系统及数据难度的考虑， 本次项目以第一、 第二阶段作 为项目的主要内容。3.1、建立大数据平台基础架构，整合现有生产及管理系统由合作方负责建设大数据平台基础架构，整合现有的各个生产及管理系统

8、， 将各系统的生产及管理数据进行集中统一管理、 分析，对大数据平台建设提供相 应的支撑。大数据平台的总体架构及模块部署情况如下：、总体架构*LtC#4fY戡阳诂瞬尖I:Mi肉存川算Zoo keeper散掘采集宗模块划分及部署根据大数据平台建设的要求，大数据智能决策平台（大数据存储、计算及分 析平台）主要由三大模块组成：数据采集模块、存储计算模块及访问支撑模块。数据采集模块：数据采集模块提供支持多数据源提取、多通道传输、多 种方式聚合的数据采集工具及接口，包括 flume代理集群日志采集、Chukwa 实时数据采集、Python网络数据爬取、Sqoop关系数据库数据批量提取、HDFS 文件上传下

9、载FTP客户端及多通道数据源整合实时分布式消息系统Kafka。存储计算模块：存储计算模块实现了海量数据存储、批处理计算、实时 计算、机器学习、图计算、实时查询及集群运行监控等功能，包括YARN分布式资源管理系统、分布式文件系统HDFSSpark/MR批处理、Spark实时计 算、GraphX图计算、MLLib机器学习、Hbase实时查询、Hive等Sql计算引 擎、 MySql 关系型数据库及 Dr.Elephant 等可视化集群监控工具。访问支撑模块：访问支撑模块提供了上层软件易于使用和编程的大数据 平台层接口及内存数据库，包括封装了 SparkSql 、 Hive、 Phoenix 的 s

10、ql 查 询接口，封装了 MR、 Spark 开发函数库的 API 编程接口、工具及 redis 内存 数据库。系统部署：基础Hadoop大数据平台服务器集群由一台主机 （Master ）、三台 从机（ Slaver152/153/154 ）、组成。平台采用分布式集群方式工作，提供 N+1 冗余模式。、通过建设，提供存储及数据服务能力1）存储能力：初期建设完毕按照其物理硬件配置，平台实现如下存储能力 指标：业务数据存储：1TB业务数据实时数据存储： 8GB实时数据查询： 2 秒业务数据查询： 10 秒存储动态扩容能力：根据后期系统以及数据迁移的需要平台具备动态扩 容能力，在先期物理设备所提供的

11、容量不能满足业务发展需要的请下进行动 态扩容。2）业务数据支持：根据企业既有业务系统以及对应的实际行业和运营特征， 基于大数据平台被划分为三级数据存储，各级存储的建设目标描述如下：平台存储运营管理数据生产支撑数据三级存储Redis财务&供销数据供销&农务数据农务&生产数据生产&办公数据二级存储HBase财务数据供销数据农务数据生产数据办公数据一级存储HDFSA. 一级存储：平台的原始业务数据存储层，面向企业内部的原有各大业务系统，支持其将原有数据存储完全迁移到大数据平台，即提供数据融合能力外还 把原有系统的基础存储支持作为平台基础能力；也支持通过文件或者消息方式将 其部分的融合数据以非实时或准

12、实时的周期上传到大数据平台，主要用于业务数据融合。B. 二级存储：细化的融合层，主要面向现有业务之间的数据融合沟通，解 决现有业务系统之间数据互通问题；同时在该层对于基础业务数据进行整合以及 基础计算，产生新的业务数据并存储，为更高层级的业务运维提供大数据支撑。 本层数据是对基础数据的第一级融合计算，主要面向业务。C. 三级存储：基于二级存储数据进行高层的决策分析计算，产生最终的运 营支撑和决策分析结果数据，该层次计算过程中将应用各种统计、 分析、学习算 法；同时也给予业务访问特征，将二级存储的热点数据组织为热表进行存储， 对 外提供高速数据访问接口。3.2、对目前生产及管理中涉及的数据进行采

13、集并予以整合、内部数据整合完善现有农务管理平台、NC供应链平台、生产调度平台、电子商务平台等 与企业供产销业务流程相关的系统采集数据功能， 统一集中管控的形式， 将公司 管理范围内的农户、车辆及地块信息、 糖厂生产信息集中输入到公司总部平台中， 完成集中化采集及管理。1、 优先针对农务系统以及生产系统进行数据整合共享，再次是NC系统；考 虑整合的主要目标是可分析业务数据， 图片图表等文件类型数据不考虑在大数据 平台上存储；可以存储在其它位置仅在大数据平台上存储其位置信息；2、在各分厂数据库服务器上部署数据采集代理，按照业务数据规则要求最 高以准实时的要求同步数据到大数据平台； 或者首先以生产报

14、表为周期在同步报 表数据的同时同步相关详细数据记录。将以上各平台采集到的结构化及非结构化的数据以统一的数据规则进行处 理，通过图形可视化的方式，对采集到的数据进行抽取、转换、加工、整合，最 大程度的简化数据并 采用过程流式的组织方式进行数据集成应用开发。322、外部数据采集利用爬虫技术，帮助企业把外部互联网的各类相关数据资源转变成企业的数据资产，并且与内部数据结合，结合的数据挖掘平台和文本处理技术， 能够从海 量的文本数据中智能地获取深度的价值信息，最终形成行业的发展趋势、竞争对 手情报、竞品对比分析、以及各类数据提供服务，如财报数据、宏观经济数据、 价格指数等。F1调苗洌屋盯動负载均ST11

15、不需.动石扩=_瓠4?竹些 1 JMj15=2atr*N6丽131 顾URL写上N話捆苣扌誌网判RI(Jtohcmaxonicn)戟诙.範卷卿内容 Ji1HJW与羡比 Bftffas-fc Cw )科31JS处挣聘哽fFerMd1iiliMJiaftUSIT谯埔带*雹十（CzmS14轉 If tPpFMd)tW7ffFEkJ出孚川*flfJ7a户雄整*豊秋（RW戶匕冲）t車瀟事r和“mi】%Dt*i时闻vnhFtri*24JACUHift *IO.I瑋力抻盼（JJ.*aTiftrC平巾 IF#r1HIJ供廊FM外峙角艸屮昨T 7MU税It HLJjl十卜htItltf诵 IS R1*UAlff

16、tl軽邸再逞Rfttt HRt 49A*4A44iiK 厲3血*4Mil二讣斗lie UN F 旳 WeMF*UdiEJUrtHUferA*t加8Elh岑如UT.ASI.產逼魚矍BjKttkTAwl)t?TMiP.9 啓 Mtt CKS.t-n,)4L31K4741J.M7讣沖协毀卜FwlMJ1、LJ.3IlJSU电更(ilw lA miW1 金H(hmjH庐堕fi）啊SMSW加Pftiwl直里It車曜甘n)CaHfaiixjiKfiSwriwirJtB 画IL5.(H)Mm1J9-AS0S (SS) tHMM117345D421111.554曰比辄in验辛Vl.0一担B牲普） 1O.DHDj

17、QDO01HD曰比申JI.D0lllt*SjDIIW*TfcHt.sjDII1fl耒肆着“山r-hMIZa IS9M白砂瑞jr计禅上Taaii扯袖1JTj|J50之阜与韻血 1JS113 JbnldJtBRK.&04J2J：?r|(W亚嘗fTE甘青比bRwrlA150血7 J 3.冃1MS r*iBxAJ-.甌ECO邛力特底（*）ajsnsea冋a臺貶看逐IT冋JU冷曙fhS (PTOiirer：K4eIwrfc无満沖(ClvarjiIjMfT.T*IJlIF弼UJTT.JVt(rsir.plMJTM5JSflSIMUltJIIJFJ曲 日皿皿商FJ.*ffM-LEJ甲抵oA HimZA ZR

18、側Zttn hllJfS-Tf?|JT轉丹IT.II$111ll!IV林權峙店C 4I-JV741TIMMUW74MM157i.ilV*Ji44UE.iuaTJSlIi lyLjT 2019 CHU文ftHI产销售分析分别从天气、气候、成熟过程、运输等对甘蔗成品的影响，以及成品糖的整个生产过程（如收割、榨汁等）分析，实现降本增效，确保甘蔗的高峰生长期间 提升甘蔗的单位产量和品质，产糖率保持在稳定向上水平，保持稳定不变的甘蔗甜味比率3.34行业分析1、行业发展动态跟踪OF 百SHE.话/ MWMMfhnUHWUB.撼1*制剧聽牡：斤.豐品也罕（吟乜审耳林性riibuBm 1*1事曲 田:舷主毎辄

19、口断証 ma怪JMiMM Q.令启fi肛如3亦豊翎亂-曲M ftRXl&WJt京理铀 ffllS.M-tSL.空兰鵰玛咒尊=台耳车耳丽刖S看皿畑*剧沪*毎K 合昨色力Emgdi锂*t西I酗母万人亡曲1丰是砖殳:期越匚：由*cnBxarijEi如4M毎;；罡娶出 *TAM*盘WjS4MBUfieN*iSfe* iieiiJWit；二L坠电希懿*1 在轨（q 你 hu砂n WH1? 曲牟电畅对m卿马hrmncw*“（：叩刑 旳烁（M事*0*|hDurusn2tlU4- 讦费s車；密 mt評希就ECifamaujzan芳 amt2、行业发展分析1）糖业发展景气指数：宏观环境数据（GDP增长率、工业增

20、加值、人均收 入、人口信息、农业人口、糖业产值等）、市场数据（总体规模、市场份额、 竞争信息等）、生产数据（甘蔗种植面积、产量、产糖量、劣质比例、销量、 价格、设备运行数据等）、供应链数据（竞价信息、物资仓储信息、供应销 售信息、物流信息等），建立算法模型，输出糖业发展景气指数，动态显示 糖业目前发展情况。2）糖业发展分析：市场经济环境分析、竞争环境分析、糖业环境发展、企 业内部发展分析等。第四章、时间进度1、建设期限如下：（1）系统硬件需求建议及配备：项目启动后 30天内（2）2017年12月底完成股份大数据项目系统基础平台搭建(3) 2018年6月底，完成内外部数据的采集及整合。(4) 2

21、018年12月底，完成数据整合、决策分析模型、预测分析模型与算 法。(5) 项目整体完工：2019年6月底。2、工作计划如下：阶段任务计划时间交付地点需求调研1.1项目启动2017/6至 2017/7广西区内指定地点1.2范围定义广西区内指定地点项目规划2.1制定项目计划及实施解决方案2017/7至 2017/8广西区内指定地点3.1系统基础平台搭建2017/8至 2017/12广西区内指定地点3.2数据仓库广西区内指定地点3.3主题分析广西区内指定地点3.4数据测试2018/1至 2018/12广西区内指定地点3.5应用测试广西区内指定地点实施交付3.6数据修改以及应用调整广西区内指定地点3.7将开发系统组