基于支持向量机svm的蔬菜价格预警模型研究

基于支持向量机svm的蔬菜价格预警模型研究

一、蔬菜市场预警指标体系“人们吃是天堂，蔬菜是蔬菜的一半。”蔬菜占食物消费的比例增加，蔬菜也是农民的重要来源。2012年我国蔬菜播种面积约为3亿亩,总产量约7亿吨,蔬菜总产量和人均年拥有量均居世界第一。由于受供求关系、生产成本、运输成本、蔬菜产量、CPI、种植面积、自然灾害、市场投机等多种因素的影响,近年来我国蔬菜收购、批发和零售价格均出现大幅波动,并呈现出明显的纵向不对称价格传导特征。蔬菜价格的大起大落扰乱了正常市场秩序,危害整个产业链的健康发展,最终损害农民和消费者的利益。因此,有必要对蔬菜供应链中的生产、收购、运输、批发、零售、消费进行动态监测,构建蔬菜价格风险预警模型,为政府部门、生产者和经营者提供决策参考,从而为稳定蔬菜价格波动提供更具针对性的政策建议。关于农产品价格预警指标及模型,已有研究大多从指标体系的设置着手研究。例如,易泽忠等(2012)构建猪粮比等6个指标对我国生猪市场价格风险进行评价,并采用2001—2010年数据进行实证分析;阎晓军等(2011)从批发市场供应水平、生产环节效益、流通环节收益情况对北京市蔬菜市场展开预警;赵友森(2011)采用标准差技术对北京市蔬菜批发价格开展预警。但上述研究实证部分较弱,预警指标体系建立不完善;张瑞荣等(2013)采用ARIMA和ARDL模型分别对肉鸡价格进行预测,并对两种模型的预测误差进行了比较,但构建的模型并未考虑影响肉鸡价格的内部因素和外部冲击;罗超平等(2012)利用省际面板数据对我国蔬菜价格波动预警进行研究,从供给、需求、其他影响因素构建了预警指标,进行了简单的实证,只是验证了某些指标是否通过了显著性检验。刘芳等(2013)采取6个一级指标、18个二级指标对生猪市场价格指数进行预警,并用BP神经网络进行实证研究;王新利(2011)对农业企业财务进行预警研究,选取17个指标作为警兆指标,构建基于偏最小二乘BP神经网络的预警模型,以上两位学者并未对预警指标进行分析评价与冗余度研究;王蕾(2011)对中国食糖市场价格波动展开预警研究,从生产、消费、其他、动向警兆指标等方面构建了预警指标体系,合计13个指标,但研究中并未对指标进行特征提取消除冗余;唐江桥(2011)研究畜产品价格波动预警,以价格波动率为警情指标,警兆指标设计为27个,只是用时差相关分析法确定了先行、同步、滞后指标,并未做指标优化。赵瑞莹(2006)以生猪价格风险预警为例,研究农产品市场风险预警,构建的警兆指标有17个,采用BP神经网络预警前并未对指标进行约简。国外学者对预警的研究主要在经济、环境监测、气候、粮食安全、生态等领域。Persons(1919)首先提出经济预警中的先行指标、同步指标、滞后指标概念。Moore提出警兆信息综合方法———扩散指数(DiffusionIndex)法,希斯金提出了合成指数(CompsiteIndex)监测预警法。Benzing(2000)从预测和判别两方面对企业危机进行预警研究。Caoetal.(2011)利用BP神经网络和粗糙集理论对企业衰退期预警进行研究。MichaWerner(2009)对洪水预警问题展开了具体的实证研究。LiN,WangR(2009)开发了辅助决策的工具,可以评估和预警有关水质管理的鱼类疾病风险。RudeDJ(2012)就如何提高气象预测的准确度和预警精度进行研究,为提高气象预警的准确度和预警精度提供了决策依据。Blaseretal.(2012)使用贝叶斯网络对海啸预警问题进行研究。这些研究有利于加深对预警指标设置和预警模型的认识,但普遍存在指标体系建立不全,未进行指标冗余度分析,预警模型实证研究不具体等问题。本文试图从自然环境、经济与政策环境、成本、供给、需求、价格等因素入手建立蔬菜价格预警系统特征指标,运用多种评价方法,利用1995—2011年的特征指标数据进行实证研究,选取一种综合选取法作为预警特征指标评价方法,确定了6个关键指标作为预警模型的输入,最后建立了基于支持向量机的蔬菜价格预警模型。二、分析警影,预报警度预警研究的思路是明确警情,寻找警源,分析警兆,预报警度,排除警情。在预警系统建立过程中,很重要的工作就是确定预警指标,它包括警情指标和警兆指标。(一)蔬菜价格的警情指标在蔬菜价格预警研究中:警情是指蔬菜市场上出现供求不平衡,其外在表现是蔬菜价格的上下波动。一般来说,警情指标都是用增长率或比率来度量,而蔬菜价格的警情指标是反映蔬菜价格波动是否有警情的指标,因此通常会想到采用蔬菜价格变动率作为警情指标。然而,一方面蔬菜价格的原始数据仅能收集到价格指数,另一方面指数化处理后的数据本身就是以上年为基础、能够体现波动(增长率)的数据,因此本文的蔬菜价格预警模型采用蔬菜价格指数作为警情指标。(二)蔬菜价格预警警基设置蔬菜价格预警系统警兆指标,除了借鉴国际上常用的指标外,还应考虑我国蔬菜生产流通销售的具体情况,本文将蔬菜价格预警警兆指标分为四个方面:供给、需求、经济政策环境和自然环境,共29个指标(如表1所示)。(三)预警系统特色评价1.农民家庭的蔬菜消耗量和农村劳动力受教育程度计算本研究数据来源于1995—2011年《中国农村统计年鉴》、《中国统计年鉴》、《中国海关统计年鉴》等。蔬菜价格预警指标体系的警情指标是蔬菜价格指数。其中有些警兆指标的数据由于来源有限,在统计上作了一些处理,如以全国肉禽及其制品零售价格指数作为蔬菜相关替代品价格指数为我国蔬菜相关替代品价格;农村居民蔬菜消费量=农村人口数×农村居民家庭人均蔬菜消费量,城镇居民蔬菜消费量=城镇人口数×城镇居民家庭人均蔬菜消费量;蔬菜成本利润率=蔬菜种植利润/蔬菜种植成本费用×100%;农村劳动力受教育程度用农民家庭劳动力的平均受教育时间来表示。平均受教育年限=不识字或识字很少比例×1+小学比例×6+初中比例×9+高中比例×12+中专比例×12+大专及大专以上比例×15.5。蔬菜成灾面积=成灾面积×(蔬菜播种面积/农作物播种面积)。2.输入值的选取首先对以上29个指标进行均方差分析,也就是各数据偏离平均数距离的平均数,它是离均差平方和平均后的方根,用σ表示。标准差是方差的算术平方根。标准差能反映一个数据集的离散程度。其计算过程为:假设有一组数值X1,X2,X3,......XN(皆为实数),其平均值为μ:对29个指标分别进行均方差计算,得图1所示结果。将均方差结果按照从小至大排序,图中柱线上方的数字即为序号,大部分的指标均方差值为大于0.5,即代表其变化比较显著。其中许多指标大于0.6的指标均方差的值较大,说明这些数值都在一直增加或者减小,并且这些值增加或减小的幅度也较明显,或者说曲线变化速率较快。本文选取其中前6个方差最大值作为我们BP神经网络预测方法的输入值。根据排名,前6个方差最大值的指标是:X28为人民币汇率、X23为城镇居民对蔬菜需求量、X1为物质费用投入、X22为农村居民对蔬菜需求量、X21为蔬菜出口量、X15为城镇居民家庭恩格尔系数。(2)方差比较:以前6个方差最大的指标本文将正相关和负相关两种情况看成相同的影响结果,也就是根据相关系数的绝对值来排名,根据排名,前6个方差最大值的指标是:X27(居民消费价格指数)、X3(成本利润率)、X2(劳动力投入)、X10(蔬菜进口量)、X15(城镇居民家庭恩格尔系数)、X20(相关替代品价格指数)。(3)主成瘾载荷矩阵主成份计算的目的是将高维数据投射到低维空间中。主成份分析法的分析步骤为:第一步计算矩阵X样本的协方差矩阵S;第二步计算协方差矩阵S的特征向量的特征值。本征值按大到小排序;第三步投影数据到本征数据的空间之中。利用SPSS软件对29个指标进行主成份分析计算得到成份矩阵。在成份矩阵中,给出了主成份载荷矩阵,每一列载荷值都显示了各个变量与有关主成份的相关系数。从主成份载荷表中可以看出,大部分指标在第一主成份上载荷较大,亦即与第一主成份的相关系数较高,这些指标主要是:X1,X4,X5,X6,X7,X8,X9,X10,X11,X12,X13,X14,X16,X17,X18,X19,X21,X22,X23,X24,X25,X26和X28;X15(城镇居民家庭恩格尔系数),X20(相关替代品价格指数),X27(居民消费价格指数)和X29(蔬菜成灾面积)在第二主成份上的载荷绝对值较大,即负相关程度较高;X3(成本利润率)在第三主成份上的载荷较大,即相关程度较高。由于本文采用历史样本指标为年份指标,样本数量比较有限,因此希望采用一种方法可以将这29个多维度的数据压缩为低维度的数据信息,同时又不会损失太多原始信息的含义,这样就得出3种主要特征成份。(4)指标值的测定如果采用前面提到的单一特征选取方法只能片面体现一个方面的数学形式变化情况,这对于蔬菜价格预警系统来说会忽略考虑一些变化不明显,但是涵义又很重要的特征。这时就需要综合多种因素来考虑如何选取合适的特征指标,既能具有很好的数学区分度,又能体现指标在最终价格指数中的重要性。因此综合考虑前面三种提取方法,提出了一种综合选取方法。首先将三个主成份都包含进去,结合前面均方差分析和相关性分析结果,对它们给予相同权重,然后统计得出排名在前的指标。然后将每个特征指标的相关系数排名和均方差排名相加,对得到的数值进行排名,得到如表2所示的综合排名。由于需要将三种主成份都包含进去,首先就选取排名靠前的第二主成份的X15,X20和第三主成份的X3特征指标,再选取排名靠前的第一主成份指标:X28、X22和X9。最后综合选取法确定的特征指标为X3(成本利润率),X9(蔬菜播种面积),X15(城镇居民家庭恩格尔系数),X20(相关替代品价格指数),X22(农村居民对蔬菜需求量)和X28(人民币汇率)。三、支持向量模型的蔬菜价格示范分析(一)最优分类超平面法向量的确定支持向量机的数学模型可以归结为一个约束二次规划问题,这是一种有效工具来解决新兴的模式识别问题。它建立在统计学习理论的基础上,可以实现分类问题和预测问题。支持向量机的原理是一个约束的非线性规划问题(崔建明,2013):这是一个严格的凸规划,目标函数是严格凹二次约束函数是凹的。范数最小的满足约束的w就是最优分类超平面的法向量。根据最优化理论和凸二次规划方法,可以把它变成沃尔夫的双重问题来解决:只需将对偶问题中的点积用卷积核函数K(xi,xj)代替。其中,H是一个半正定的对称阵[yiyjK(xi,xj)]li,j=1(线性的情况也就是(XY)T(XY),X=[x1,x2,…,xl],Y=diag(y1,y2,…,yl),)α=[α1,α2,…,αl]T对于Kuhn-Tucker条件,这个对偶问题仍是一个有约束的二次规划,也可等价地表示为:其中ui就是分类平面函数作用在xi上的输出:(二)svm网络的预测模型数据来源于上述1995—2011年的年鉴数据,通过对以上四种指标评价方法分别进行实验,确定综合选取法的6种指标作为输入所得计算结果误差最低。在开始进行预警程序前,首先需要对各个特征做归一化处理,也就是将不同变化范围的各个特征量,统一到[-1,1]这样的区间内部。其中,ue0afj、xi分别表示第j个预警指标的下限和上限;y、分别表示价格预测输出结果的下限和上限。采用台湾大学林智仁开发的Libsvm软件包来建立基于SVM的蔬菜价格指数的预测模型。此SVM网络的训练样本是从1995—2011年随机选取出16年作为训练集,剩下的一年作为预测测试数据集。6个特征指标归一化以后的值选取其中的一部分组成输入向量的分量(Xi),蔬菜价格指数值作为输出向量(Y)。输入特征指标input=[X3,X9,X15,X20,X22,X28]T,通过试用matlab调用libsvm反复计算。经过40次迭代,网络性能达标,达到训练误差。利用综合选取法选取特征指标进行预测的结果如表3所示,从下表的结果我们可以看出训练得到的SVM网络基本上拟合了原始变化记录的变化趋势,差异稍大的年份没有,但是趋势上保持了一致性。经过统计计算,该预测方法的均方误差值为0.000101518,预测值与原始实际值之间的平方相关系数为1,也就是说基本上可以认为非常准确的进行了预测。(三)蔬菜3.2警限划分确定警限的方法是考虑系统变动规律、经济发展速度,以及一些客观标准。主要有以下原则:负数原则、半数原则、多数原则、均数原则、物价原则(王蕾,2011)。综合考虑,由于蔬菜价格指数是由内、外多种因素决定的,价格指数不是一个绝对量指标,所以我们采用组合加权判定的方法,因此制定了以下准则:均数原则是将警情指标的均值作为无警警限的下限,因为总平均值是各种警情指标的综合,反应一段时间内的平均水平,因此蔬菜价格指数低于这个平均值,说明蔬菜价格出现了倒退,也就出现了警情,1995—2011年我国蔬菜平均价格指数为108.5。物价原则是考虑蔬菜价格指数不应低于居民平均消费价格指数,如果低于这个数值,则说明蔬菜种植的平均收益下降了,菜农的种植积极性就会受到影响,1995—2011年我国居民平均消费价格指数为103,将103作为轻警下限。负数原则将零增长或负增长划为重警警限,因为零增长或负增长意味着指标代表的经济意义绝对下降,按照负数原则,重警警限的上限为100。由于蔬菜价格指数并非越高越好,因为蔬菜价格较高时,农户会转向蔬菜种植,造成蔬菜产量过高,市场供给大于需求,因此将150作为无警警限的上限。具体的警限划分结果如表4所示。将表3的数据对照表4的警限进行预警判别,可以看到使用PCA的综合选取方法来选取特征指标的模型检验结果,预警的正确率为95%以上,说明模型预测效果良好,可以用来对蔬菜市场风险进行预警(如表5所示)。四、蔬菜价格预警的政策建议本文运用统计年鉴数据,采用指标均方差分析、相关性分析、主成份分析等方法对蔬菜价格预警系统特征指标进行实证遴选,采用基于三种方法的综合选取法得到输入的特征指标:成本利润率、蔬菜播种面积、城镇居民家庭恩格尔系数、相关替代品价格指数、农村居民对蔬菜需求量、人民币汇率。建立了基于支持向量机的蔬菜价格预警模型,通过实证预警结果表明,其准确率达95%以上,该指标提取法和模型