基于Web信息的玉米价格影响因素关联分析

ClassifiedIndex：Confidential(yes/no)：noCode：10224NO.：130710542DissertationfortheMasterDegreeCorrelationAnalysisoftheImpactFactorsofMaizePricebasedonWebInformationCandidate:JiaShengtingSupervisor:Prof.MengJunDegreeCategory:MasterofManagementCollege:CollegeofEngineeringFirstleveldiscipline:ManagementScienceandEngineeringSecondleveldiscipline:IndustrialEngineeringHarbinJuneChina2016目目录录摘要.I英文摘要.III1绪论.11.1选题背景.11.1.1国际背景.11.1.2国内背景.11.2研究目的及意义.21.3文献综述.31.3.1国外研究动态.31.3.2国内研究动态和趋势.41.4研究内容和技术路线.51.4.1研究内容.51.4.2研究的技术路线.62国内玉米价格波动影响因素分析.82.1供给因素.82.2需求因素.102.3政策因素.132.4生产成本因素.142.5国际市场玉米价格.143基于易语言的Web信息的实时采集.173.1Web信息实时采集的必要性.173.2网络爬虫方法与理论.173.2.1网络爬虫的定义.173.2.2抓取目标描述.183.2.3爬行策略.183.2.4网络爬虫的组成.183.3易语言数据采集系统.193.4玉米Web信息的采集系统的设计.203.5数据库设计.214基于关联规则的玉米价格波动影响因素分析.234.1数据挖掘.234.1.1数据挖掘的定义.234.1.2数据挖掘的应用.23I东北农业大学管理学硕士学位论文4.2关联规则.244.2.1关联规则定义.254.2.2支持度和置信度.254.2.3关联规则的步骤.264.2.4Apriori算法.264.3成本因素关联分析.274.3.1生产成本影响因素的选取.274.3.2黑龙江玉米价格成本因素的关联规则提取.284.4供需及政策等影响因素关联分析.295基于多元回归方法的国内玉米价格预测.325.1国内玉米价格的多元回归模型.325.1.1多元线性回归理论与概述.325.1.2多元非线性回归分析概述.335.1.3玉米价格多元非线性回归模型.335.2预测模型的分析与评价.345.2.1玉米市场价格与玉米总产量的单因素分析.355.2.2玉米市场价格与玉米消费量的单因素分析.355.2.3玉米市场价格与城镇居民可支配收入的单因素分析.365.2.4玉米市场价格与生猪价格的单因素分析.375.2.5玉米市场价格与国际玉米价格的单因素分析.375.2.6玉米市场价格与玉米进口量的单因素分析.386结论和政策建议.396.1结论.396.2政策建议.39致谢.41参考文献.42攻读硕士学位期间发表的学术论文.46IICONTENTSCONTENTSAbstractinChinese.IAbstractinEnglish.III1Introduction.11.1Selectedtopicbackground.11.1.1Internationalbackground.11.1.2Domesticbackground.11.2Researchpurposeandsignificance.21.3Journalsreviewed.31.3.1Researchdynamicinforeigncountries.31.3.2Domesticresearchdynamicandtrends.41.4Researchcontentsandtechnicalroute.51.4.1Researchcontents.51.4.2Technicalrouteofresearch.62AnalysisontheinfluencingfactorsofmaizepricefluctuationinChina.82.1Supplyfactors.82.2Demandfactors.102.3Policyfactor.132.4Productioncostfactor.142.5Maizepricesintheinternationalmarket.143RealtimeacquisitionofWebinformationbasedoneasylanguage.173.1Thenecessityofreal-timecollectionofWebinformation.173.2Methodandtheoryofwebcrawler.173.2.1Definitionofwebcrawler.173.2.2Grabtargetdescription.183.2.3Crawlingstrategy.183.2.4Compositionofwebcrawler.183.3Easylanguagedataacquisitionsystem.193.4DesignofWebinformationacquisitionsystemforMaize.203.5Databasedesign.214Analysisontheimpactfactorsofmaizepricefluctuationbasedonassociationrules.234.1datamining.234.1.1Definitionofdatamining.234.1.2Applicationofdatamining.23III东北农业大学管理学硕士学位论文4.2Associationrules.244.2.1Definitionofassociationrules.254.2.2Supportandconfidence.254.2.3Stepsofassociationrules.264.2.4Apriorialgorithm.264.3Costfactorcorrelationanalysis.274.3.1Selectionofinfluencingfactorsofproductioncost.274.3.2AssociationrulesextractionofHeilongjiangmaizepricecostfactor.284.4Analysisontherelationshipbetweensupplyanddemandandpolicy.295Domesticmaizepriceforecastbasedonmultipleregressionmethod.325.1Multipleregressionmodelofdomesticmaizeprice.325.1.1Theoryandsummaryofmultiplelinearregression.325.1.2Anoverviewofmultivariatenonlinearregressionanalysis.335.1.3Maizepricemultivariatenonlinearregressionmethod.335.2Analysisandevaluationofpredictionmodel.345.2.1AnalysisofthesinglefactorofmaizemarketpriceandthetotalyieldofMaize.355.2.2Thesinglefactoranalysisofthemarketpriceandtheconsumptionofmaize.355.2.3Marketpriceandtsinglefactoranalysisofdisposableincomeofurbanresidents.365.2.4Singlefactoranalysisofmarketpriceandpriceoflivepigsinthemaizemarket.375.2.5Thesinglefactoranalysisofmaizemarketpriceandinternationalmaizeprice.375.2.6Thesinglefactoranalysisofthemarketpriceofmaizeandtheimportofmaize.386Conclusionsandpolicyrecommendations.396.1Conclusions.396.2Policyrecommendations.39Acknowledgement.41References.42PaperpublishedintheperiodofPh.M.education.46IV摘摘要要玉米由于其多元化的用途，在世界及中国粮食市场中都占据重要地位，其价格波动情况受到社会各界的广泛关注。玉米产业发展至今，每天都会生成一定的数据记录，通过这些记录，可以有效地了解玉米的交易信息。但是目前的玉米加工企业和政府部门，未能实现对已有数据资源的有效开发和利用，那么这些数据和信息也就失去了相应的价值。本文从Web中抽取玉米价格及其相关数据，构建玉米行情数据库，并采用关联规则方法分析玉米价格影响因素，且对玉米价格波动情况加以预测，力求更全面、更精确地为农民、企业和政府提供玉米相关信息。针对玉米价格影响因素问题，本文做了如下工作：首先，本文充分考虑供给、需求、政策等影响因素，探讨了各因素与玉米价格的关系，最终确定供给因素（总产量、库存量、进口量等）、需求因素（城镇居民收入、饲料用粮、工业用粮等）和政策因素（国家临储政策），作为Web信息的采集关键词。其次，本文实现Web上玉米及其相关信息的网络数据的实时接收和存储。通过易语言网络爬虫工具，确定爬取的初始网页和爬虫字段。收集网络实时数据转到Access数据库，为进行玉米价格走向预测提供数据支撑，实时数据获取能更有效地利用网络实时数据，提高农业中决策的智能性，为农业的发展决策提供科学依据。再次，本文采用关联规则方法获取玉米价格波动的关联规则，通过1998年到2015年的相关数据，实验结果表明，成本因素的关联规则为每亩直接物质用量和玉米价格呈正相关，农业机械化背景下，家庭用工天数同玉米价格呈反方向变动关系。需求因素的关联规则为工业用粮和饲料用粮量的增加将减少现有库存量。而政策因素的关联规则为国家政策影响玉米价格的同时又影响着库存量、年产量、进口量（进口配额）、工业用粮。最后，本文采用多元非线性回归方法建立玉米价格与玉米总产量、进口量、消费量、城镇居民收入、生猪价格和国际玉米价格的关系，拟合优度为0.997。同时分别建立了和各因素的非线性关系。农业生产者能够以此为依据制定正确的生产和销售策略。Web信息采集系统和影响因素关联分析，在玉米价格波动研究方面的应用还较少，希望本研究有利于促进玉米价格影响因素的理论研究，同时也为其它农作物的研究提供新的思路和方法，从而做出更加准确的农业生产决策与市场预测。关键词:玉米价格；Web信息；关联分析；回归分析IAbstractCorrelationAnalysisoftheImpactFactorsofMaizePricebasedonWebInformationAbstractMaizeplaysanessentialroleingrainmarketbothinChinaandintheworldduetoitsdiversifiedusage;itspricefluctuationhasdrawnwideattentionofallsocialcommunities.Inthedevelopmentofmaizeindustry,thereisdatarecordforthemaizeeveryday,throughwhichwecaneffectivelyunderstandthemaizetransactioninformation.Butatthemoment,themaizeprocessingenterprisesandgovernmentsdonotmakeeffectivedevelopmentuseofthisdataresource,whichmakesthedataandinformationlossescorrespondingvalues.Thispaperextractsmaizepriceandrelateddatainweb,createsmaizepricedatabase,analyzesaffectingfactorsofmaizepricethroughassociationrulesandforecaststhefluctuationsituationofmaizeprice,whichwillprovidemorecomprehensiveandaccurateinformationaboutmaizetopeasants,enterprisesandgovernments.Thispapermakesfollowingworkabouttheaffectingfactorsofmaizeprice:First,exploretherelationshipbetweeneveryfactorandmaizepricewithfullconsiderationofsupply,demand,policyandotherfactorsandfinalizesupplyfactors(totaloutput,stocks,importvolume),demandfactor(incomeofurbanresidents,feedgrainandindustrialgrainetc.)andpolicyfactor(nationalreservepolicy)askeywordsofWebinformationcollection.Second,realizereal-timeinternetdatareceivingandstoragerelatedtomaizeandotherinformationontheWeb.DeterminetheinitialwebpageandcrawlerfieldthrougheasylanguageWebCrawler.Collectinternetreal-timedataandtransferittoAccessdatabasetoprovidedatasupportinforecastingmaizepriceschanges.Real-timedataacquisitioncanmakeuseoftheinternetreal-timedatamoreefficientlyandimprovetheintelligenceindecisionmakingofagriculture,whichcanprovidescientificbasisfordevelopmentanddecision-makingofagriculture.Third,thispapergetstheassociationrulesofmaizepricefluctuationwiththemethodofassociationrules.Basedontherelateddatafrom1998to2015,researchresultsshowthattheassociationruleofcostfactoristhatthereisapositivecorrelationbetweentheusingamountofdirectmaterialperacreandmaizeprice.Underthebackgroundofagri