精准扶贫项目解决方案说明书

精准扶贫项目解决方案说明书XX科技股份有限公司编制

目录一、项目存在问题及需解决问题 31.存在问题 31.1. 扶贫信息化建设管理相对滞后 31.2. 扶贫工作政策及信息上传下达不通畅 31.3. 一线帮扶干部缺乏有效线上管理 41.4. 扶贫措施管理和落地原始粗放 41.5. 缺乏全面的数据决策分析系统 41.6. 社会扶贫缺乏参与平台或途径 41.7. 未建立完整的退出管理机制 52.需解决问题 5二、解决方案 61.解决方案总体架构 62.核心技术 7（1）Hadoop 7（2）SpringMVC 7（3）MyBatis 8（4）Echarts 8（5）MySQL 8（6）Hive 8（7）HBASE 9（8）Zookeeper 9（9）Flume 9三、开发范围 101.数据生产 102.数据采集/消费 103.数据分析 114.数据展示 12

项目存在问题及需解决问题存在问题我国政府历来高度重视扶贫工作，国家“十三五”规划明确提出扶贫工作在2020年的整体目标为“实现农村贫困人口全面脱贫”，精准扶贫已成为全党和各级政府实现同步小康的共识。目前距2020年还有不到4年时间，扶贫开发工作已进入“啃硬骨头、攻坚拔寨”的冲刺期。扶贫信息化建设作为推进精准扶贫、精准脱贫的基础性工作和检验“扶贫工作六个精准”的重要平台，发挥着越来越重要的作用。而在历年的扶贫工作中，伴随着扶贫对象的多样化，扶贫项目多样化、资金使用多样化、扶贫措施多样化、人力资源配置多样化，面对资金统一监管、脱贫效果统一评估、区域协同发展、上级部门无法及时掌握扶贫干部帮扶情况等一系列问题，传统的扶贫建档立卡信息管理已越来越不能满足现有的信息化扶贫管理要求。扶贫信息化建设管理相对滞后各地扶贫单位大多使用国扶办的“扶贫开发信息管理系统”，囿于全国信息数据的庞大，功能模块设计有一定局限性。建档立卡无法满足扶贫的过程管理和精准要求。扶贫数据基本依靠扶贫干部手动纸质填写收集，数据填报基本依靠后台专人不定时人工操作，费时费力且更新不够及时。扶贫工作是一个动态过程，由于贫困户数量、致贫原因、脱贫返贫数据经常变化，而数据滞后给统计汇总工作带来极大困难。一方面，传统的逐级汇总、上报方式难以应对如此规模的信息统计；另一方面，数据更新不及时也造成统计数据不准确，精准扶贫工作落实和扶贫成效均难以体现。扶贫工作政策及信息上传下达不通畅工作任务的下达、分配常通过会议、电话等方式，造成工作安排缺乏高效性；上级部门无法实时掌握帮扶干部的帮扶工作情况，导致对基层帮扶干部的帮扶工作难以监督。贫困户和帮扶干部通过纸质文件查询政策信息效率较低，扶贫工作政策及信息上传下达不通畅。一线帮扶干部缺乏有效线上管理驻村帮扶干部的工作管理粗放，贫困户遍访、扶贫过程、扶贫纪事等扶贫工作动态跟踪和评估机制缺乏精确的数据支撑，难以做到准确考核和有效奖惩。扶贫措施管理和落地原始粗放扶贫不仅是扶贫办一个部门，也是政府各层面所有部门参与的大扶贫，扶贫项目尤其是资金是各方管理，专项扶贫项目和资金管理各部门各自为政，未打通业务关键数据，帮扶干部无法全面掌握帮扶对象资金情况。贫困户实际情况掌握不清楚，产业项目的实施缺乏科学的制定过程，以农产品销售为例，以粗放、简单的模式难以稳定的提供产品输出，很难形成规模效应，这也是制约农产品输出和产村电商发展的重要原因。缺乏全面的数据决策分析系统缺乏指挥调度大屏展示，当地政府和相关部门无法及时掌握区域扶贫全局、扶贫项目工程落实实施、扶贫资源配置和风险应急处置等情况；数据的分析呈现仍以手工统计层层汇总、文字汇报的方式，信息滞后容易虚报、瞒报。社会扶贫缺乏参与平台或途径贫困户受限于知识水平与经济条件，获取帮扶政策、信息的渠道有限，处于信息匮乏状况。社会扶贫力量缺乏获得贫困户信息及诉求的渠道，有心帮扶但难以找到真正的帮扶对象，缺乏参与平台和帮扶途径。未建立完整的退出管理机制在国家扶贫办根据年收入单一脱贫标准的基础上，各地政府结合当地扶贫现状制定一套符合当地特点的脱贫评估标准，这就要求扶贫系统具备灵活的贫困户贫困村脱贫评估指标、脱贫评估规则配置支撑。传统退出只看收入是否达标，很难通过新的脱贫验收评估要求。需解决问题扶贫信息化建设管理相对滞后扶贫工作政策及信息上传下达不通畅一线帮扶干部缺乏有效线上管理扶贫措施管理和落地原始粗放缺乏全面的数据决策分析系统社会扶贫缺乏参与平台或途径解决方案解决方案总体架构图1精准扶贫解决方案总体架构HBase是一个分布式的、面向列的开源数据库，该技术来源于FayChang所撰写的Google论文“Bigtable：一个结构化数据的分布式存储系统”。就像Bigtable利用了Google文件系统（FileSystem）所提供的分布式数据存储一样，HBase在Hadoop之上提供了类似于Bigtable的能力。HBase是Apache的Hadoop项目的子项目。HBase不同于一般的关系数据库，它是一个适合于非结构化数据存储的数据库。另一个不同的是HBase基于列的而不是基于行的模式。系统采用面向对象的软件设计方法，把整个系统看作是多个离散对象的组合。系统设计时，首先把业务流程分解成功能模块及其业务实体对象，然后根据业务流程分析对于这些业务实体对象的操作方法，形成业务处理对象，最后把各个功能模块关联起来，形成系统。软件设计是一个将需求转变为软件的过程，系统通过逐步求精使得设计陈述逐渐接近于源代码。系统程序采用MVC的设计思想，将展现逻辑、控制逻辑、业务处理逻辑分离。系统采用参数化的设计思想，定义和管理系统的实体及配置，调整实体以适应外部变化。系统采用J2EE技术保证程序逻辑实现的平台无关性，并便于安装部署。系统采用AJAX技术，提高客户操作的交互性，保证实际使用的易用性。系统采用echarts可视化框架实现数据展示。核心技术HadoopHadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。SpringMVCSpringMVC：属于SpringFrameWork的后续产品，已经融合在SpringWebFlow里面。Spring框架提供了构建Web应用程序的全功能MVC模块。MyBatisMYBatis：是支持普通SQL查询，存储过程和高级映射的优秀持久层框架。MyBatis消除了几乎所有的JDBC代码和参数的手工设置以及结果集的检索。MyBatis使用简单的XML或注解用于配置和原始映射，将接口和Java的POJOs（PlainOldJavaObjects，普通的Java对象）映射成数据库中的记录。EchartsECharts是一款基于Javascript的数据可视化图表库，提供直观，生动，可交互，可个性化定制的数据可视化图表。MySQLMySQL是一个关系型数据库管理系统，由瑞典MySQLAB公司开发，属于Oracle旗下产品。MySQL是最流行的关系型数据库管理系统之一，在WEB应用方面，MySQL是最好的RDBMS(RelationalDatabaseManagementSystem，关系数据库管理系统)应用软件之一。MySQL是一种关系型数据库管理系统，关系数据库将数据保存在不同的表中，而不是将所有数据放在一个大仓库内，这样就增加了速度并提高了灵活性。MySQL所使用的SQL语言是用于访问数据库的最常用标准化语言。MySQL软件采用了双授权政策，分为社区版和商业版，由于其体积小、速度快、总体拥有成本低，尤其是开放源码这一特点，一般中小型网站的开发都选择MySQL作为网站数据库。HiveHive是基于Hadoop构建的一套数据仓库分析系统，它提供了丰富的SQL查询方式来分析存储在Hadoop分布式文件系统中的数据：可以将结构化的数据文件映射为一张数据库表，并提供完整的SQL查询功能；可以将SQL语句转换为MapReduce任务运行，通过自己的SQL查询分析需要的内容，这套SQL简称HiveSQL，使不熟悉mapreduce的用户可以很方便地利用SQL语言查询、汇总和分析数据。而mapreduce开发人员可以把自己写的mapper和reducer作为插件来支持hive做更复杂的数据分析。它与关系型数据库的SQL略有不同，但支持了绝大多数的语句如DDL、DML以及常见的聚合函数、连接查询、条件查询。它还提供了一系列的：具进行数据提取转化加载，用来存储、查询和分析存储在Hadoop中的大规模数据集，并支持UDF（User-DefinedFunction）、UDAF(User-DefnesAggregateFunction)和UDTF（User-DefinedTable-GeneratingFunction），也可以实现对map和reduce函数的定制，为数据操作提供了良好的伸缩性和可扩展性。HBASEHBase–HadoopDatabase，是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价PCServer上搭建起大规模结构化存储集群。ZookeeperZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，是Google的Chubby一个开源的实现，是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件，提供的功能包括：配置维护、域名服务、分布式同步、组服务等。FlumeFlume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。开发范围数据生产对于该模块的业务，即数据生产过程，一般并不会让你来进行操作，数据生产是一套完整且严密的体系，这样可以保证数据的安全性。但是如果涉及到项目的一体化方案的设计（数据的产生、存储、分析、展示），则必须清楚每一个环节是如何处理的，包括其中每个环境可能隐藏的问题；数据结构，数据内容可能出现的问题。数据采集/消费数据采集模块（消费），在企业中你要清楚流式数据采集框架flume和kafka的定位是什么。我们在此需要将实时数据通过flume采集到kafka然后供给给hbase消费。flume：cloudera公司研发适合下游数据消费者不多的情况；适合数据安全性要求不高的操作；适合与Hadoop生态圈对接的操作。kafka：linkedin公司研发适合数据下游消费众多的情况；适合数据安全性要求较高的操作（支持replication）；因此我们常用的一种模型是：线上数据-->flume-->kafka-->flume(根据情景增删该流程)-->HDFS线上数据-->flume-->