蔬菜价格大数据初步建设方案v1.03

编制单位：编制日期：2023年12编制单位：编制日期：2023年12月蔬菜大数据平台建设方案密级：项目编号：项目建设背景建设背景蔬菜作为日常生活中重要的食材，是人们健康饮食的基础。然而，自然灾害如洪涝、千旱、病虫害等不可抗力的因素时有发生，可能导致蔬菜产量的大幅波动甚至无法收获。蔬菜理赔方案的重要性在于为农户提供一定的保障，减轻因生产风险而造成的损失，在一定程度上确保社会稳定和人民的健康需求。蔬菜理赔方案的实施不仅直接保护了农户的利益，还对农业发展产生了积极影响。首先，蔬菜理赔方案鼓励农户采用科学种植技术和优质品种，提高种植效益和抗灾能力，推动农业现代化进程。其次，理赔方案的存在降低了农户的经营风险，增强了其对农业生产的信心，进而促进了农业产业链的健康发展。此外，蔬菜理赔方案还能吸引更多资金和技术进入农业领域，促进农业产业结构优化升级，进一步提升农业的经济效益和可持续发展能力。运作方式蔬菜理赔方案的运作方式一般由政府、保险公司和农户共同参与。政府在制定农业保险政策时，应合理统筹各方利益，明确责任主体和保险范围，并提供一定的财政支持。保险公司作为中介机构，负责产品设计、理赔审核和风险管理等工作。农户作为保险的购买方和实施方，需要按照相关规定及时缴纳保费，履行种植管理责任，同时在受损时及时申请理赔。需求分析业务需求分析采集海南以及全国部分市场的蔬菜价格作为参考，作为保险理赔的基准价格。关键价格预测算法蔬菜价格预测是本项目最关键的一环，遵循蔬菜产业链的结构，蔬菜形成了地头价、产区批发市场价、销区批发市场价以及终端零售价等价格体系。本项目主要是针对市场的零售价格是对菜农的卖出价格，主要是地头价和批发价进行预测。是对菜农的卖出价格，主要是地头价和批发价蔬菜市场价格变化快速，影响因素复杂多变，因此，蔬菜价格的预测是一项困难而复杂的工作。蔬菜价格存在年度之内呈现季节性波动，不同品种之间价格的差异波动等特点。但蔬菜价格始终是围绕商品价值进行回归，并且结合季节性，上市量等因素具备一定的波动规律，这为蔬菜价格的预测带来了可操作性。目前常用的蔬菜价格预测算法如下：专家经验法

专家根据相关产区市场的近5年市场历史价格数据以及近2周的市场近期价格数据，进行历史同期相似性分析及近期价格趋势分析相结合，通过专家经验分析预测出未来一周相关市场的价格区间，再结合近期各品种的种植面积及种植趋势以及主要销区及外部产区近期的天气情况等影响因素，对预测价格区间进行修正。最终获得未来一周相关市场的蔬菜价格预测区间及走势分析。平均差值法平均差值法概述

平均差值方法实施细则如下：（1）收集历史市场价格数据： 收集蔬菜的历史市场价格数据，最好能够按照不同蔬菜种类和不同季节进行分类。（2）计算平均价格： 对每个蔬菜种类和季节，地域，计算历史市场价格的平均值，这将成为基准价格的一部分。考虑价格波动因素： 计算历史价格的标准差或其他波动性指标，以考虑价格的波动性。这有助于确定基准价格的变动范围。（3）设定基准价格： 基于平均价格和波动性指标，设定一个基准价格，可以是平均价格加上一个合理的波动范围。例如，基准价格=平均价格+k*标准差，其中k是一个调整系数。考虑其他因素：考虑一些特殊因素，如季节性变化、天气条件、市场趋势等。这些因素可能对蔬菜价格产生影响。（4）建立计算公式： 最终的基准价格可以用以下简化公式表示： 基准价格=平均价格+k×标准差平均差值法计算步骤标准差(StandardDeviation)是一种用于度量数据集合散布程度的统计指标。标准差越大，表示数据点相对平均值的偏离程度越大。例如：在标准差的计算中，基准价格=平均价格+标准差基准价格=平均价格+k×标准差中，k是一个调整系数，用于确定基准价格的变动范围。选择合适的k值取决于你对价格波动的容忍程度以及对农产品市场的了解。一般来说，常见的k值有1、1.5或2，这些值分别对应着标准差的一个倍数。不同的k值对应不同的置信水平。较小的k值会使基准价格范围较为狭窄，较大的k值则会使基准价格范围较为宽泛。k=1：通常对应着68%的置信水平，基准价格将覆盖数据中大约68%的观测值。k=1.5：对应着较高的置信水平，通常约为86%。k=2：通常对应着95%的置信水平，基准价格将覆盖数据中大约95%的观测值。选择k值时需要考虑以下几点：1.风险承受能力：如果你对价格波动的容忍程度较低，可能会选择较小的k值，使得基准价格的范围较为稳定。2.市场波动性：不同的农产品市场有不同的波动性。对于波动性较大的市场，可能需要较大的k值来反映实际情况。3.历史数据分析：分析过去的价格数据，观察价格的波动情况，可以帮助确定一个合适的k值。4.保险政策需求：具体的保险政策可能对k值有要求或建议，需要根据具体保险合同来确定。在实践中，通常需要进行多次试验和模型验证，以选择最适合特定场景的k值。选择一个合适的k值可以平衡基准价格的稳定性和对实际市场波动的敏感性。建设思路大数据平台应实现以下功能：本次项目需要开发一个WEB管理后台和种植户小程序。建设内容如下：采集全省种植农基本信息；开发一个微信小程序，给种植户自主上报信息。采集全国各地区蔬菜价格数据；通过自动化服务定时从互联网获取。对接保险公司系统，获取保险相关数据。对采集的数据进行梳理，清洗入库。建立价格预测模型，包括专家预测、平均差值等模型，对蔬菜细化品种，将蔬菜各品种市场价格中线性因素和非线性因素进行分离，不同因素的品种使用不同的模型进行预测分析，在运行的过程中，结合专家经验对复杂影响因素进行分析纠正，逐步完善优化模型。WEB后台功能需求功能清单Web后台使用者为平台运营管理人员。平台模块功能说明WEB后台数据采集数据采集入库对数据进行清洗入库数据采集算法实现不同数据源数据采集算法采集任务参数设置设置采集任务的参数，包括状态、频度，时间等理赔价格预测模型专家预测模型专家预测价格，由人工录入理赔价格平均差值模型通过采集的数据，建立定时任务，根据模型算法计算自动理赔价格种植户查询分析种植户查询分析对种植户的信息汇总分析，从户籍、种植地、种植面积等纬度，详见原型种植户列表注册种植户信息列表种植户详情查看某个种植户的详细信息，包括种植自主上报的，基础信息、地块信息、种植记录、农事记录、采收记录。种植地分布图在地图上以多边形直观显示所有种植地的位置，面积。这部分地图功能暂时不需要这部分地图功能暂时不需要市场价格查询分析今日蔬菜价格查询今日实时价格、查询，从产品、省市地区纬度查询历史价格查询从时间和省市、蔬菜品种等维度进行查询价格变化趋势查询理赔价格查询分析今日理赔价格查询历史理赔价格查询理赔价格变化趋势受灾登记受灾登记记录查询展示种植户自主上报的受灾信息这个功能目前也不要这个功能目前也不要保险赔付状态标记手工标记或从保险系统同属保险的赔付状态数据大屏展示总体指标和价格数据总体指标展示：包括种植户数量、地块数量、面积总数、种植品种数量、种植面积数量、未处理受灾登记数量实时蔬菜价格列表展示（3）价格变化趋势曲线图内容管理保险动态在首页给种植户展示最新的保险政策行业动态在首页给种植户展示最新的行业信息种植经验在首页给种植户展示行业种植经验和心得系统管理包括机构管理、站点管理、用户管理、角色管理、权限管理等功能系统对接对接保险系统，获取保险相关数据.主要界面原型种植户查询分析种植户列表种植户详情种植地分布市场价格查询该功能模块包括：实时、历史理赔价格查询市场价格变化趋势理赔价格管理查询该功能模块包括：理赔价格自动计算专家预测价格录入实时、历史理赔价格查询理赔价格变化趋势受灾查询这部分内容不要这部分内容不要数据大屏菜农小程序功能需求功能列表菜农小程序的使用者为蔬菜种植户，自主上报种植数据，包括土块管理、播种管理、农事记录登记、采收管理、受灾登记等全流程管理，实现数据朔源。功能清单见下表：平台模块功能说明微信小程序用户注册用户注册获取微信当前用户信息默认注册用户登录注册后，绑定微信OPENID自动登录用户实验证用户通过人脸识别等方案实名验证个人信息设置设置个人信息，包括名称、基地名称、联系电话等政策扶持保险动态在首页给种植户展示最新的保险政策行业动态在首页给种植户展示最新的行业信息种植经验在首页给种植户展示行业种植经验和心得理赔价格公示实时理赔价格、历史理赔价格查询地块管理地块新建、修改、删除种植户自主上报地块信息，包括位置、面积大小等地图上标识地块在地图上通过点击标识出地块的地理范围地理功能目前不需要地理功能目前不需要种植管理包括新建播种、结束播种种植户自主上报种植产品的情况，包括产品名称，种植亩数等信息农事记录包括农事记录新建、删除种植户自主上报农事记录，包括播种、施肥、浇水等这部分不需要这部分不需要采收管理蔬菜采收登记种植户自主上报每次采收的产品记录受灾登记新建受灾登记种植户自主上报受灾情况不需要不需要保险赔付状态查询主要原型地块管理原型地图功能不需要地图功能不需要种植管理原型农事登记原型采收登记受灾受灾这部分不需要登记上报受灾这部分不需要初步设计关键技术利用应用可执行环境（TEE）利用应用可信执行环境（TEE）、分布式协同认证技术，基于TSM安全管理系统，通过智能POS在线密钥管理，在风险可控的环境下，完成POS终端的密钥空发、密钥更新、设备锁定等功能，提升特约商户的服务体验和收单业务风险防控能力。利用大数据技术利用大数据技术，建立橡胶生产交易大数据中心（领导驾驶舱），实现橡胶交易数据自动统计，完善问题反馈预警机制，为各级领导精准决策提供依据。利用物联网、人工只能技术利用物联网、人工智能技术，建设基于“工业机器人”式全自动化的天然橡胶智能管理平台，包括智能管理终端、云平台、后台管理系统、大数据中心、微信公众号平台等，将为广大胶商、胶农提供实施橡胶销售线上交易、交易数据查询、保险理赔查询等便捷的橡胶生产销售服务环境。使用区块链技术利用基于企业级联盟链HyperledgerFabric框架的共识算法、智能合约算法和链上链下数据共享技术，实现智能合约与传统交易支付和保险赔付程序无缝迁入，解决经典PBFT算法共识时延长、拓展性差等问题，并同时解决政府、银行、保险公司、胶农胶商等用户的数据确保数据的关联一致性，进一步提升系统的运算速度、数据安全传输稳定性和用户体验等。技术架构整体架构分为前端架构、后台架构、存储架构前端架构前端主要技术为JS、antdesign、g6、npm、CSS、VUE等。后端架构后台架构使用的是Springboot开发组件等。存储架构存储架构主要有Redis缓存存储、MySQL数据存储、MPP分布式数据存储、HDFS文件存储等。微服务架构微服务架构微服务之间采用RESTful等轻量级Http协议相互调用，对单体应用进一步拆分成更小的服务，每个服务都是一个可以独立运行的项目。服务原子化拆分，独立打包，部署升级，保证每个微服务清晰的任务划分，利于扩展。接口定义接口设计系统整体结构如图，系统采用微服务设计，一切皆是接口，主要分为内部使用接口（免安全认证）、外部使用接口（需要认证合法性），接口上层有网关，避免非法系统接入，内部网关采用白名单接入，外部网关采用认证方式接入。接口规范定义系统接口均采用RESTful规范定义，内部接口采用HTTP传输；外部接口采用HTTPS传输。为了便于与浏览器兼容，接口采用Form表单格式传输参数，返回数据采用Json格式，例如：Client-ServerPOST${path}/urlRecognizeHTTP/1.1Accept:application/jsonContent-Type:application/x-www-form-urlencodedContent-Length:xxxxHost:xxxxPort:xxxxurl=/abc.jpgServer-ClientHTTP/1.1200OKContent-Type:application/json;charset=utf-8Content-Length:xxxx{“state”:0,”desc”:”成功”,”value”:”京B54321”}接口分类接口分为三类：内部接口、外部接口、第三方调用接口。内部接口这类接口主要是系统内部各模块间调用，基本不用考虑安全问题，通过白名单解决调用端的合法性问题。外部接口这类接口主要是与公共服务系统对接而定义的。这部分接口主要通过两个办法来解决安全性问题。1无状态接入。这部分主要是针对通讯场景比较简单（接口较少），不需要维护会话状态的场景。这部分接口采用签名认证的接口上传数据，完成业务逻辑。目前主要采用RSA、RAS2，SHA1，SHA256等签名方式接入。适合这类的有：设备接入，数据上传等。2有状态接入。这部分主要针对某个具体的端，一般比较复杂，需要在有限时间内维护会话状态。大部分场景适合本接入方式，目前采用认证返回token的办法，双方维持token作为合法性依据。第三方调用接口这类接口主要是为第三方系统对接使用，可以对接第三方平台、也可以对接第三方设备、第三方组件等。数据库设计分区设计随着系统不断使用，数据表将会越变越大，性能越来越差，一般来说解决的办法有几个：1采用分布式MPP数据库存贮，仅简单查询，不需要事务操作。2对超大数据量通过分区、分桶的方式进行存储，使数据均匀分布各个节点，提升数据读写、计算性能。3、控制数据的存储时长，默认只保存一年内数据，超期的数据进行迁移。分层设计逐层解耦，减少重复计算，降低烟囱式开发，对数据进行分层管理，越到底层，越接近业务发生的记录，越到顶层，越接近业务目标。1、ODS

(opreationaldatastore)存放未经过处理的原始数据至数据仓库系统，结构上与源系统保持一致，是数据仓库的数据准备区2、DWD(datawarehousedetail)

DWD层是以业务过程为驱动，基于每个具体的业务过程特点，构建最细粒度的明细层事实表。3、DIM（dimension）基于维度建模理念思想，建立整个企业的一致性维度。降低数据计算口径和算法不统一风险。4、DWS(datawarehouseservice)

DWS层会在DWD层的数据基础上，对数据做横向的连接，纵向轻度的聚合操作，生成一系列的中间表，提升公共指标的复用性，减少重复加工。

数据冗余设计1、字段冗余设计：针对系统访问频繁的大表，由于数据量比较大，对于大表间的关联查询，为提高系统性能，尽量避免关联查询，因此对这些表做冗余字段处理。例如：公交站点信息里存储行政区划id，同时存储行