生产企业大数据平台建设项目建议书v2

1、大数据平台建设工程建议书目录第一章、工程背景 3第二章、工程思路 4第三章、建设内容与方案 5第四章、时间进度 13第五章、工程预算 15第六章、企业效益及社会效益 15第七章、结论 15第一章、工程背景企业对信息化工作历来较为重视，也是省内较早开始实施信息化的大型企业。 目前已经建成财务系统、生产调度系统、农务系统、供应链系统等：调度系统，2021年公司共投资了 175万元，按集团分步建设、逐步投入的 规划，完成了系统根本硬件与亚控平台软件的结合， 构建了一个以明阳糖厂生产 调度指挥中心为核心，生产信息能够上至集团，下至车间的生产调度网络系统。农务系统，2005年开始实施，经过屡次升级，现涵

2、盖了方案、报蔗、派车、 质检、过磅、结算、短信管理、移动应用等一系列模块，覆盖公司 4家直属糖厂 和大桥制糖公司，实现了农务统一的信息化管理。供应链系统，利用用友NC供应链系统，以公司存货管理为核心的采、供、 销、存供应链管理平台，实现物资、仓储、供应、销售、物流一体化业务协同处 理平台，建立了公司对各直属厂工作的监督平台， 总部可以实时对下属各公司的 工作进行监督，实时对各公司的具体业务执行情况进行查看， 及时的对下属公司 进行指导和监督。尽管在两化融合及企业信息化方面已取得了相当的成效，但在实际应用过程中仍然存在一些较为显著的问题。一总部与下属糖厂未实现完全的集约管理a企业在原先六家糖厂的

3、根底上，又收购了三博公司五家糖厂。三博五厂由上海迁回南宁，在宜州设立管理下属五厂的二级管理总部。b从系统部署上分析，企业总部与原先六厂为一套架构，而三博总部与下 属五厂为一套架构，各自独立，暂未整合为一体。c为了保证各糖厂生产的稳定，企业总部与下属六厂之间仅在NC供应链、OA财务、人力等系统方面实现了集约管理，农务管理系统、生产调度 系统以及化验系统均由各厂自建，因此出现各厂建设系统的厂家不同， 使用的系统版本不同等现象。三博总部与下属五厂的关系亦如此。二总部及各厂之间的数据共享有限a由于大多数生产相关的系统均为各厂自建，因此不管是企业总部，或者 是三博总部在获取各糖厂生产相关数据上均较为困难

4、。b企业总部通过制定报表模板、开发报表同步功能的方式，定期的获取下 属六家糖厂的生产相关报表，但这些报表的数据容量有限、数据呈现较 为固定，无法为总部经营决策提供实时、灵活的数据依据。C三博总部获取下属糖厂的数据方式更为有限，仅依靠各厂按照总部的业 务需求进行手工填写，通过邮件、微信等方式提交数据报表，汇总到三 博总部。三各业务部门对未来的数据应用有着强烈的需求a当前业务条线对于未来大数据平台建设的需求仍处于较为初步的设想阶 段，但已具雏形：b进一步完善供产销流程中系统数据采集能力，尤其是对于甘蔗种植面积 的测绘、甘蔗产量的估算等信息，因此对于 GIS地理信息系统的上线有 需求；c提高总部对于

5、各厂生产数据的获取及共享能力，解决目前总部各部门、 总部与各厂、各厂与各厂之间数据不流通、共享困难的现状；d提高内部各平台数据对于生产经营的指导作用，充分利用各环节系统流 程数据汇总，产出经营决策建议、比照分析、趋势统计、效益分析等数 据应用；e实时、动态、快速的掌握外部环境的动向，包括行业开展、原材料、供 给商、产品销售、竞争对手等信息，以形成内外部数据的融合，为生产 经营决策提供数据支撑。第二章、工程思路为了解决内部各厂、各系统之间的数据共享问题，此次工程将依托现有的农 务管理平台、NC供应链平台、生产调度平台、电子商务平台、协同工作平台0A 质量管理平台等一系列业务相关系统， 通过制定一

6、定的标准，整合下属各厂各系 统数据，打造统一的大数据平台及智能决策分析平台。 利用大数据分析技术，为 公司管理层、业务部门及各生产单位提供具有指导意义的数据分析结果，实现生产精准化、管理可视化。根据对内部信息化及系统部署情况的分析， 此次工程将按照由近及远、由浅 入深的方式划分为几个阶段：一对总部及下属六厂各系统的数据进行整合、共享及分析，以企业六厂为 根底，搭建大数据平台框架，在不对根底系统进行迁移整合的前提下， 对数 据进行整合并建立数据之间的关系。并制定一定的数据采集规那么，获取三博 五厂的数据。二基于大数据平台全面的数据共享能力，强化数据的表达深度，能够对原 有汇总的报表数据进行更细粒

7、度的表达和展示；这里可能需要创立新的应用 效劳系统或者是扩充原有的效劳系统来完成。三完全整合三博所属五厂系统及数据，消除企业内部的数据孤岛。四面向外部进行数据扩充，例如利用网络进行相关行业的数据抓取，并将数据整合到大数据平台，结合既有的内部数据建立运营决策系统。第三章、建设内容与方案基于对整合三博五厂系统及数据难度的考虑， 本次工程以第一、第二阶段作 为工程的主要内容。3.1、建立大数据平台根底架构，整合现有生产及管理系统由合作方负责建设大数据平台根底架构，整合现有的各个生产及管理系统， 将各系统的生产及管理数据进行集中统一管理、分析，对大数据平台建设提供相 应的支撑。大数据平台的总体架构及模

8、块部署情况如下：、总体架构fieri4 rdf" 口mookeeperatifrir ?逊掘廉理圧、模块划分及部署根据大数据平台建设的要求，大数据智能决策平台大数据存储、计算及分 析平台主要由三大模块组成：数据采集模块、存储计算模块及访问支撑模块。?数据采集模块：数据采集模块提供支持多数据源提取、多通道传输、多 种方式聚合的数据采集工具及接口，包括 flume代理集群日志采集、Chukwa 实时数据采集、Python网络数据爬取、Sqoop关系数据库数据批量提取、HDFS 文件上传下载FTP客户端及多通道数据源整合实时分布式消息系统Kafka。?存储计算模块：存储计算模块实现了海量数

9、据存储、批处理计算、实时计算、机器学习、图计算、实时查询及集群运行监控等功能，包括 YARN分 布式资源管理系统、分布式文件系统HDFSSpark/MR批处理、Spark实时计 算、GraphX图计算、MLLib机器学习、Hbase实时查询、Hive等Sql计算引 擎、MySql关系型数据库及Dr.Elephant等可视化集群监控工具。?访问支撑模块：访问支撑模块提供了上层软件易于使用和编程的大数据 平台层接口及内存数据库，包括圭寸装了 SparkSql、Hive、Phoenix的sql查 询接口，封装了 MR Spark开发函数库的API编程接口、工具及redis内存 数据库。系统部署：根底

10、Hadoop大数据平台效劳器集群由一台主机Master、三台从机Slaver152/153/154、组成。平台采用分布式集群方式工作，提供N+1冗余模式。通过建设，提供存储及数据效劳能力1存储能力：初期建设完毕按照其物理硬件配置，平台实现如下存储能力 指标：?业务数据存储：1TB业务数据? 实时数据存储：8GB?实时数据查询：2秒?业务数据查询：10秒?存储动态扩容能力：根据后期系统以及数据迁移的需要平台具备动态扩 容能力，在先期物理设备所提供的容量不能满足业务开展需要的请下进行动 态扩容。2业务数据支持：根据企业既有业务系统以及对应的实际行业和运营特征， 基于大数据平台被划分为三级数据存储，

11、各级存储的建设目标描述如下：平台存储运营管理数据生产支撑数据三级存储Redis财务&供销数据供销&农务数据农务&生产数据生产&办公数据二级存储HBase财务数据供销数据农务数据生产数据办公数据一级存储HDFSA. 一级存储：平台的原始业务数据存储层，面向企业内部的原有各大业务系统，支持其将原有数据存储完全迁移到大数据平台，即提供数据融合能力外还 把原有系统的根底存储支持作为平台根底能力；也支持通过文件或者消息方式将 其局部的融合数据以非实时或准实时的周期上传到大数据平台，主要用于业务数据融合。B. 二级存储：细化的融合层，主要面向现有业务之间的数据融合沟通，解

12、决现有业务系统之间数据互通问题；同时在该层对于根底业务数据进行整合以及 根底计算，产生新的业务数据并存储，为更高层级的业务运维提供大数据支撑。 本层数据是对根底数据的第一级融合计算，主要面向业务。C. 三级存储：基于二级存储数据进行高层的决策分析计算，产生最终的运 营支撑和决策分析结果数据，该层次计算过程中将应用各种统计、 分析、学习算 法；同时也给予业务访问特征，将二级存储的热点数据组织为热表进行存储， 对 外提供高速数据访问接口。3.2、对目前生产及管理中涉及的数据进行采集并予以整合、内部数据整合完善现有农务管理平台、NC供应链平台、生产调度平台、电子商务平台等与企业供产销业务流程相关的系

13、统采集数据功能， 统一集中管控的形式，将公司 管理范围内的农户、车辆及地块信息、糖厂生产信息集中输入到公司总部平台中， 完成集中化采集及管理。1、 优先针对农务系统以及生产系统进行数据整合共享，再次是NC系统；考 虑整合的主要目标是可分析业务数据，图片图表等文件类型数据不考虑在大数据 平台上存储；可以存储在其它位置仅在大数据平台上存储其位置信息；2、在各分厂数据库效劳器上部署数据采集代理，按照业务数据规那么要求最 高以准实时的要求同步数据到大数据平台；或者首先以生产报表为周期在同步报 表数据的同时同步相关详细数据记录。将以上各平台采集到的结构化及非结构化的数据以统一的数据规那么进行处 理，通过

14、图形可视化的方式，对采集到的数据进行抽取、转换、加工、整合，最 大程度的简化数据并采用过程流式的组织方式进行数据集成应用开发。322、外部数据采集利用爬虫技术，帮助企业把外部互联网的各类相关数据资源转变成企业的数据资产，并且与内部数据结合，结合的数据挖掘平台和文本处理技术， 能够从海 量的文本数据中智能地获取深度的价值信息，最终形成行业的开展趋势、竞争对 手情报、竞品比照分析、以及各类数据提供效劳，如财报数据、宏观经济数据、 价格指数等。fcs=*a-.写 ANoSQLfimU悴屯箱拒乂底臣盂轧迂rURLjWlJRI 姑jjjghonwxonvm雅虫湃芝理1点7I1"?T.EJ分V&

15、#167;hrnnHL专廿=LK.厅 =.：啊1 购H kJ3.3利用采集的数据进行挖掘分析，输出有价值的成果331、经营分析主要分析价值链，包括种植、加工、销售三个阶段，依据企业价值链模型展 开分析，如种植-加工生产采购、生产、质量-销售物流仓库管理、销售管 理，纵向分析各职能对主价值链的支撑与协同。生产分析利用大数据处理和分析方法，挖掘工艺参数如处理甘蔗、初压汁、末压汁、 打包蔗渣等流程、优化协同时间实际榨蔗时间、生产平安率、设备故障损失 时间、部门/公司协作流程时间优化等、成品糖优级白砂糖、一级白砂糖、一 级赤砂糖产量之间的流程工艺优化、生产能耗分析混合蔗渣、滤泥、废蜜、 辅助材料、燃料

16、及汽电消耗等、产能分析多维度分析，如糖产率，优化生产 流程、降本增效、提高收益、实现利润最大化是生产主题的核心内容。*曰-印汀隼；月脚日目<krm)Ag (lr)盒朗l蛊4汕1和鹊峠“比 5*“ c®.)科215S处kiiiimiafttt <PJEl叠底闻1 (SfctSttlTt >««4»JTIt £ (FnlJ打Ujj軒堆田(Filbrr)SUl苜叠曲削惬-.+ (Fri-i-fl)*sUM点椚)聲Htftf fa CEIhHdU-IC卡逊定H童CDwj P«»J轨山来杂傭i n«LH.U

17、mi千徨九肄it芈勿rptrzi令SUH畔# C LnrjKds)铀勺5产甲巧耳k»H、bde>It194.td9出華需许平m <rwM>MJ1芦11權错讦CPfTWdlIt4J47.i(!T卫比抽出车f和*1扪*師户 tttK垂蟹材(C mpri-n-)t15414JMi比Itt£ t=rfW,?时冃iTr神鼻时冃Crufa lErIh14MKt.<p.>JUS空产吉宁寧< Ime BlfcniBryJ*L(MUM*4».iaTin生产瓷仝车平也EFfriodl9SKU与臣比 1 MJ'Cair )fl* 54if E

18、E 悅 4 RJif.«(Tib)15.11虚样H愷I处何r西此n血八*9U.IS汽电昼番耳軽K i541r«4Ll；lSiFItMlim CPmJ*id,11商 1#与简 It CH1F1H CmftJUJ&4«MTAMLLB耳WE*?tH»酝天址矍处竝用于tI74jjj>rr卅册泮 FtER 冲in、neTM叶Twi豪怖B!車"7旺miwl«iM汁确厨底<F.E. J)町Ljrr5 him«43FJ1j.i j c.p1IJ5ElrCM盹仃曹H单甲<n*<Ti w>聲酬HP?芦甲懈置

19、涉rw»*1R干实愛ZEfft弹tftIS"匝i9(Ira)in(0WJ冋刖(Wil眄ZVJiWMi叭NrilSnrrac*tr.gr HkiiirTarihill-WR»OfCr«bJ.wi)O14MU4IH«.L1HUMiBd*# <fi? t吕蜩口并誓<AAU1V1WMU Ul*J7* Wn)tT"2« «HMULT*1*«KMittEVNIMft.wn»ff <T»i> *-ivl.Ofl1|和.1卿IJIIUHBK«1UltthWIN<

20、+?yaiMVwn»ff <ci)<飢血tjm0*DQ.蟻II It 轴Mtw胃"fl嫩12. 14dtMLlH)«J'H-|W.5 1414±2JtiJ1J»T4J£I>>14：UJM>11J1llrfT11J9jwinfl斡時啣更*盯村业匚査比h«lnd/.«TJOi»cHl'kEa £J3J1809£c«KnFHfl邑(Q；a«c« HCtenj(*1(*)(*)p*>F*)(PW>隔IksJ

21、LF静UF.KS.UfM1L*4«arT«r4飞:AN (ClEir>IfkMfTMms沖3TJLl»MJJ凶艇U2l»l蘭目n匡帯IU.*K；1 LEJ.IP9<FA linkZVtFB Zblni国.IFC Mu sIPCCA MdlA ia hCKuZftEU 1Auhft 阳Uj»ITSs-urms4U1击1*5T辭75MStflS了»5*15T»JtWJ144g勺EIUD甲血应< vl *4«JJT 2*914954!销售分析分别从天气、气候、成熟过程、运输等对甘蔗成品的影响，以及成品糖

22、的整个生产过程如收割、榨汁等分析，实现降本增效，确保甘蔗的顶峰生长期间提升甘蔗的单位产量和品质，产糖率保持在稳定向上水平，保持稳定不变的甘蔗甜味比率。3.34行业分析1、行业开展动态跟踪2、行业开展分析1糖业开展景气指数：宏观环境数据GDP增长率、工业增加值、人均收 入、人口信息、农业人口、糖业产值等、市场数据总体规模、市场份额、 竞争信息等、生产数据甘蔗种植面积、产量、产糖量、劣质比例、销量、 价格、设备运行数据等、供应链数据竞价信息、物资仓储信息、供应销 售信息、物流信息等，建立算法模型，输出糖业开展景气指数，动态显示 糖业目前开展情况。2糖业开展分析：市场经济环境分析、竞争环境分析、糖业环境开展、企 业内部开展分析等。第四章、时间进度1、建设期限如下：1系统硬件需求建议及配备：工程启动后 30天内。22021年12月底完成股份大数据工程系统根底平台搭建32021年6月底，完成内外部数据的采集及整合。42021年12月底，完成数据整合、决策分析模型、预测分析模型与算 法。5工程整体完工：2021年6月底。2、工作方案如下：阶段任务方案时间交付地点需求调研工程启动2021/6至 2021/7广西区内指定地点范围定义广西区内指定地点工程规划制定工程方案及实施解决方案2021/7至 2021/8广西区内指定地点系统根底平台搭建2021/8至 2021/12广西区内指定