大数据时代计量经济学发展展望

大数据时代计量经济学开展展望计量经济学家建立经济理论或模型，目的就是解释这些经历特征事实，下面是小编搜集整理的一篇探究计量经济学开展的论文范文，欢送阅读查看。计量经济学已成为我国高校经济管理类学科本科和研究生必修的核心理论课程之一，并在我国经济学界越来越受到关注，正可谓经济学界的宠儿,引领经济学的研究方向。任何计量经济学研究都离不开高质量的数据。然而对计量经济学学者来讲，数据都是观测数据而非实验数据，很难得到大而全、高质量的数据，导致模型拟合存在天生缺陷。经济理论或模型作为对复杂现实经济的简化抽象，只能刻画主要的或重要的经济因素。而实际观测到的数据却是由许多因素共同作用的结果，其中，有些因素是未知的或不可观测的，或者没有包括在经济模型中，因此反映不出它们的影响。数据搜集困难导致数据不全、质量不高，加之计量模型假设过于苛刻和模型的过度拟合等缺陷致使处理结果缺乏可信度和实用性，因此当下计量经济学研究价值也饱受争议。自然科学中很多学科，如物理学，可以准确地把握物体运动规律和预测物体运动变化，一个重要原因是所研究的物理系统在相当长的一段时间内不具有时变性。经济系统那么有很大不同，经济开展是一个不可逆或不可重复的动态过程，经济关系和经济系统也常常发生时变和构造性变化。大数据概念炙手可热：随着互联网的开展，大数据有着强大的数据采集才能，且数据的采集具有实时性;大数据处理和数据建模都有专业的大数据团队来完成;计算机本身拥有强大的计算、分析和处理才能，计算机没有失误(除非程序本身错误)、不存在偏见和丰富的感情色彩。大数据使得不管是在数据的采集、数据的挖掘、数据的处理和数据建模等方面都有了质的飞跃，然而大数据能否弥补计量经济学的局限?在哪些方面、多大程度上弥补?大数据又将给计量经济学带来哪些影响和冲击?一、计量经济学的局限性(一)数据1.数据的搜集计量经济学研究的成功离不开全面、高质量的数据。然而，全面、高质量的数据离不开高程度的数据采集。因为受数据采集的工具、采集的条件和采集人员的失误等因素的限制，导致经济数据可能存在测量误差，数据很难满足高质量、全面、准确的要求，且经济学学者搜集到的原始经济数据几乎都已经过工作人员的处理，工作人员在数据统计时难免带有偏见和盲点，无论预测人员带有什么偏见和盲点，这些偏见和盲点都可能会被复制到他的计算机程序中，加之工作人员的偷懒和难以防止的失误等人为因素，都会使得采集的数据存在失真可能，数据经过多重的辗转反侧和多级的践踏才到达研究者手中。一些经济变量数据缺失，也使得经济理论研究数据缺乏完好性，给计量经济学研究带来阻碍。同时经济数据的获得存在严重的时滞现象，时滞也使得数据的使用价值和统计计量研究价值黯然失色。如美国劳工统计局的人员每个月公布(CPI)，联邦政府为了得到相关数据，要雇佣很多人向全美90个城市的商店、办公室打、发准确的也是有序的，然而从数据的搜集到到达统计计量经济学者手中再到结果的公布会滞后数周。2022年的经济危机说明，这种滞后是致命的。对于计量经济学学者来说，所使用的数据时间跨度更大，要求披满厚厚灰尘的数据有左右将来经济的才能，未免力不从心，数据的过于陈旧，也使得计量经济学模型频繁遭遇滑铁卢。2.数据的处理对于搜集到的数据，作为数据的应用方--经济学学者只能被动承受。建模者通常面对的是观测数据而非实验数据。这对计量经济学中的经历建模有两方面的重要含义。首先，要求建模者掌握与分析实验数据极为不同的技巧其次，数据搜集者与分析者的别离要求建模者非常熟悉所用数据的性质和构造。因此经济学学者只能凭借个人经历等手段屏蔽自己眼中的噪声--对数据进展加减乘除等各项处理(微观经济数据推宏观经济数据尤为如此)。在对数据进展处理时，受制于分析才能和技术条件的限制，经济学学者对搜集到的数据(尤其超大型数据)很难进展再处理，或者进展简单的处理，乃至不处理;即使处理也是根据学者要求进展，按照经历来看，所有人都有各自的信仰和偏见--这种信仰和偏见是由个人的阅历、价值观、知识、修养、政治立场或者专业背景等因素凝聚而成，处理的数据也很难给出公正合理的结果;计量经济学学者在数据选择时可能存在样本的选择偏向，数据与经济模型中的变量的定义可能不相符或贴合度过低;因为过分追求模型的准确性，学者常常以特别数据严重偏离曲线为正当理由对数据进展抹杀;数据处理时细分维度低、无精细的数据，使得曲线过度拟合风险增加，且原始数据很难二次细分，也给数据的应用带来阻碍;宏观经济数据大都由微观经济数据简单的加减乘除得来，这种处理可能是应用两个或者多个低相关度的微观数据组推导宏观数据，可能改变宏观经济变量之间的关系。数据形式多样化：随着互联网的开展，数据不仅仅是可观测的构造性的数据，还存在不可观测的半构造性和非构造性数据(谷歌的搜索词条)等等，计量经济学却没有才能对构造性数据之外的数据进展处理。计量经济预测者面临的最大挑战之一就是，他们的原始数据质量不高。经济预测者在进展预测时，很少公开自己的预测区间，或许是因为这样做会降低公众对他们的专业知识的信任度。哈祖斯说：经济预测者为什么不公开预测区间呢?因为他们怕出丑。我认为就是这个原因.然而，不仅经济预测中存在着不确定性，经济变量本身也具有不确定性。大多数经济数据序列都需要修正，统计数据已经公布，修正工作可能长达数月甚至数年。(二)数据建模1.模型假设计量经济模型的构建之前，需要对函数形式提出众多前提假设，如最小二乘法的根本假设：x值是固定的或独立于误差项;干扰项ui的均值为0;各干扰项之间无自相关等。一个非常有价值的问题是：所有这些假定有多真实?这个假定现实性的问题是科学哲学中的一个古老问题。有一派观点认为假定是否真实无关紧要，重要的是基于这些假设的预测。以假定无关紧要论着称的弗里德曼，对他来说，假定的非真实性有着积极的意义。为了有意义，一个假设在其假定中从描绘上看必定是错误的。但是回想一下在任何科学研究中我们做某些假定，都是因为它们便于逐步开展主题研究，并不因为它们在准确地复制了现实的意义上必须是真实的。但是，如一位作者所说，假设简单性是好的理论所盼望的一个准那么，那么所有好的理论都将肆无忌惮地理想化和简单化。模型破绽百出，提出利己假设更多的是为弥补模型破绽。为了方便对经济数据进展统计分析，计量经济学家常常要假设一个经济系统的运行规律具有不随时间和个体改变的某些特征，比方假设经济系统具有时间平稳性或不同经济人的数据生成过程具有同质性。而任何经济系统的时变性(不确定性)是影响经济系统最主要的因素，一些经济预测者不愿意让人们知道这一点。与其他大多数学科门类的预测者一样，计量经济预测者将不确定性视作仇敌--威胁其声誉的天敌。他们没有对经济时变性做出准确地预测，而是无端地认为预测模型中的不确定性降低了，但在现实理论研究中，他们却无法进步预测的质量，这样做也无法改良真实经济中的预测。一旦洪水来袭，我们将毫无准备。假设给模型带来的害处就是给模型套上了枷锁，使得模型与实际相去甚远，多数模型只是划过天空的流星--经不起时间的考验。2.模型拟合计量经济学家建立经济理论或模型，目的就是解释这些经历特征事实。这一阶段的关键是建立适宜的经济数学模型，模型的好坏事关经济研究的成败。大多失败的模型预测大都源于一种盲目的自信导致的过度拟合，模型实际所能解释的问题和自认为所能解释的问题之间存在鸿沟。他们用准确的预测冒充精准的预测。在统计学中，将噪声误认为信号的行为被称为过度拟合。拟合的说法源于统计模型和过去的观测值贴合度，当过于粗略地拟合时即不充分拟合，就意味着你在对观测数据中的噪声进展拟合，而不是挖掘数据的深层构造。在计量经济学研究领域，过度拟合的错误更为常见。为了弄清这种错误的成因，我们暂且赋予自己一种在现实中几乎不可能拥有的优势--我们清楚地知道真实数据的庐山真面目。如图1,画了一条平缓的抛物线，顶点落在中间位置，末端逐渐增强。这条抛物线代表着我们想理解的所有现实数据。但是，我们还是不能直接观察到隐藏在数据中的深层关系，这种关系由一系列的独立的数据点表达，而我们只能从这些点推断出这种关系模型。此外，这些数据点必定受特殊环境的影响--有信号，有噪声。在图1中，画了100个数据点，分别用圆形和三角形标记，貌似这样就足以从噪声中捕捉到信号。即使这些数据中存在一定程度的随机性，但显然它们仍遵循此抛物线。然而，当我们的数据相对有限时(现实情况常常如此)，情况将会如何呢?那时我们就更可能陷入过度拟合的陷阱中。在图2中，将100个数据点缩减至25个，这时，你会如何连接这些点呢?当然，前面已假设我们知道真实数据应该呈现的关系模型，就会自然地将它们连接成为一条抛物线。当然，这样的数学表达式用二次方程式可以很好地重建真实的关系模型(图3)。但是，在无法得知数据拟合的理想模型时，我们有时就会表现得贪心和聪明的无知。如图4,一个过度拟合的模型案例。在图中，设计了一个复杂的函数，可以追踪每一个边缘数据点，建构准确的数学模型，用这个函数连接这些点，曲线的上下波动陡然增强。这使得模型离真实的关系模型相去甚远，也使得预测更离谱。这个错误貌似很容易防止，前提是我们无所不知，对数据的深层构造总是了如指掌，因此防止这个错误就显得很轻松。然而，几乎在所有的计量经济学研究工作中，我们都必须利用归纳法，从的证据中对其构造进展推断。当数据有限且充满噪声时，且我们对根本关系的理解很粗浅时，就更有可能对一种模型做出过度拟合，在对经济危机预测时，这两种情况可谓司空见惯。假设我们既不在乎也不知道数据关系的真相，就有很多理由解释我们为什么倾向于过度拟合的模型。其中之一就是，在计量经济学学者最常用的统计测试中，过度拟合模型更受青睐。有一项测试是用以测试拟合模型可以解释多少数据的变化。根据这一测试，过度拟合的模型(图4)解释了85%的数据变化，而适度拟合模型只解释了56%的数据变化。但是本质上，过度拟合模型是在混淆视听，将噪声误当作信号混入模型中。事实上，在解释真实世界时，它的表现更糟。这种解释似乎让情况一目了然，但很多计量经济学学者完全无视此问题。研究者拥有众多统计检验方法，可这么多的方法却没有使他们增加一点科学态度，减少一点梦想，而是更像充满梦想的孩子在天空中寻找动物形状的云一样。过度拟合代表了双重毒运：过度拟合模型外表上看来比拟好，但其实际性能却很糟糕。因为后一种因素，假设被用在真实的经济预测中，过度拟合模型最终将使得预测者付出惨痛的代价。而因为前一种因素--其外表效果不错，而且自称可做出非常准确并且经济价值很高的预测，所以，这类模型更吸引人，更易在学术上推介。但是，假设这个模型是用噪声拟合的，就很有可能会阻碍经济的预测，进而阻挠经济开展。应该说明的是，这些错误司空见惯。它影响我们，让我们更容易被随机性愚弄.我们也可能会越来越迷恋此模型的特质，甚至可能会创造出一个貌似很有说服力的理论来佐证这一错误的合理性。从逻辑的角度来看，这有点像观测者效应(长被误认为海森堡的不确定性原理)：一旦我们开场测量某物，它的行为就会主动乃至被动发生改变。大多数统计模型都是依托这一概念建立的，自变量与因变量、信号与噪声，彼此之间泾渭清楚，但在经济领域中，它们彼此之间却混在一起、乱作一团。(三)模型检验和预测以统计检验着称的计量经济学，做普通的线性回归分析时，如研究自变量和因变量的关系时，对自变量回归系数采用t检验，计量经济学界公认t0.05就说明两变量相关，准确度那么在95%以上。计量经济学学者在搜集样本的时候应用一整套的方法减少错误发生的概率。在统计检验之前，他们也会检测样本是否存在潜在的系统性偏向。这些躲避错误的手段无不在美化结果。一味的追求准确性,无时不在驱使着统计计量学家去挖掘更加智能的算法系统模型。回归分析有一些值得提出的根本分歧：在回归分析中，对解释变量和因变量的处理方法存在着不对称性。因变量被当作是随机的、统计的，也就是因变量有一个概率分布。而解释变量那么被看作是在重复抽样中获得固定值。解释变量本身也是随机的。但是出于回归分析的目的，计量经济学学者假定它们的值在重复抽样中固定不变(即X在不同的多个样本中取同样的一组值)，从而把它们转变本钱质上非随机的。计量经济模型通过实证检验拟合成功后，可用来检验经济理论或经济假说的正确性以及提供政策建议，当然最终要预测将来经济的走向。模型的质量决定预测的质量：墨菲提出，衡量预测的一种途径--或许也是最显而易见的途径--就是通过他所说的质量,但何种质量才可被认定为准确呢?质量是指预测与实际天气相符合吗?无论预测得多么准确，这个预测是预测者当时的巅峰之作吗?这个预测是否反映了预测者的最正确判断呢?公之于众之前，这个预测是否作了某种程度的修饰呢?预测是否有经济价值，判断的根据就是，预测是否有助于公众或政治决策者做出更好的决定或决策。经济理论或模型作为对复杂现实经济的简化抽象，只能刻画主要的或重要的经济因素。而实际观测到的数据却是由许多因素共同作用的结果，失败预测的模型可能应用非样本数据，其中有些因素是未知的或不可观测的，并没有包括在经济模型中，或者数据的信噪比过低，因此反映不出它们的影响，而计量经济学学者却没有足够的才能和技术做出甄别。这点与自然科学不同，自然科学研究可以通过可控实验过滤或消除次要因素的影响。在经济学领域，经济学家通常是数据的使用方，大多数搜集到的经济数据都是非实验性的。因此无法从观测到的经济数据过滤出经济模型以外的因素所产生的那一局部影响，这便造成经济实证研究的困难。经济数据和经济系统的上述特征，不可防止地造成了计量经济学实证研究的局限性，使之难以到达与一些自然科学学科那样的成熟程度。计量经济学所面临的局限性不是计量经济学本身所特有的，而是整个经济学科所面临的局限性。事实上，正是由于经济系统的非实验性、时变性和不可逆性，以及经济数据的种种缺陷，计量经济学理论本身的开展已相对全面和成熟。但是这种先进的实证研究方法，仍无法代替或抑制由经济系统和经济数据特点所造成的局限，从而使得计量经济学的分析与预测远没有像多数自然科学学科那样准确。经济是一个动态系统，不是一个方程式，假设你只把经济当作一系列变量和方程式，而没有看到其深层次构造，那就很容易把噪声当成信号，误认为自己正在做出准确地预测，而实际上你的预测并不准确。大多数计量经济学家做预测时，会在一定程度上依赖自己的判断，而不根据统计模型输出的信息进展预测。考虑到数据杂乱性，这种做法或许是有益的。20世纪七八十年代计算机开场广泛使用时，经济学家普遍认为统计模型可以解决经济预测问题。但是，改良的技术无法掩盖对经济领域理论认识的缺乏，只会让经济学家更加迅速且煞费苦心地将噪声误认为信号。看似前景不错的预测模型在某些方面一败涂地，最后惨遭淘汰。二、大数据时代的思维变革经济预测者面临着三大根本挑战。第一，单纯依靠经济统计数据(仅依靠构造性数据)，很难判断起因与结果。第二，经济是一个动态系统，始终都在变化，某一经济周期的经济运行状况无法被用来解释将来经济的开展。第三，经济学家以往的预测如此糟糕，那么他们作预测时所参照的数据也好不到哪去。以上挑战问题和大数据的特点不谋而合。IBM公司从其特点定义大数据：实时性--大数据是在线的，随时可调用和计算的，这是大数据区别于传统数据的最大特征;多样性--种类、来源多样化，包括构造化、半构造化和非构造化数据;规模性--数据量大，包括数据的采集、存储和计算的量都非常大。之后业界又加了两个特点：价值性--大数据作为新的消费力，创造价值;速度快时效高--增长和处理速度快，时效要求也高。如此一来，大数据又在哪些方面给计量经济学带来影响和冲击呢?(一)数据1.数据的采集大数据是以挪动终端、物联网、互联网等挪动或者固定设备为依托而产生的非构造化、半构造化以及构造化数据的总和。几乎每个经济体，每时每刻都在消费数据，虽说大数据技术的意义不在于掌握规模庞大的数据信息，而在于对这些数据进展智能处理，从中分析和挖掘出有价值的信息，但前提是拥有大量数据。古人云：巧妇难为无米之炊,所以数据采集是为大数据价值挖掘创造条件，是大数据价值挖掘的根底。数据采集的方式多样化：不管是挪动的还是固定设备，要进展数据的采集都直接或者间接的和传感器相关。它更多地赋予设备智能化。传感器的可集成性、多样性、准确性等特点使得数据的采集变得方便、快捷、准确。目前世界最小的晶体管2nm[7].2nm的研发成功对于芯片市场来说绝对是个令人振奋的成果，假设该晶体管真正量产并广泛使用，将会极大地进步芯片的性能。到时科技将赋予传感器更多、更全的功能，传感器的准确度也会有质的飞跃。2nm绝对不是极限，科技的飞速开展和进步--数据采集的方法和手段的革新，也将更好地帮助人类去获取更加及时、准确和多样的数据。2.大数据的挖掘只有米没有巧妇,也不会有可口的饭菜。如此一来，自然诞生了下一个产业链：数据挖掘。数据挖掘赋予了大数据智能生命。有了数据仓库为依托，数据挖掘如虎添翼，就如巧妇进入了米仓.数据挖掘指通过一定的计算机算法对大量数据进展数据分析，进而解释大数据背后隐藏的趋势、形式和关系，为决策者提供根据，创造价值。之所以称作挖掘,就比方在苍茫大地中开矿掘金一样困难。数据挖掘的主要目的：一是去发现埋藏在大数据外表下的历史规律，即对历史描绘性分析;二是对将来进展预测，即预测性分析。数据挖掘把数据分析的范围从到未知,从过去到将来,是商务智能的真正的生命力和灵魂所在。它的成熟与开展，最终推动商务智能在各行各业的广泛应用。多维度数据分析法作为大数据挖掘的根本方法，它主要通过对数据的汇总、比照、穿插、趋势分析等途径，获取有价值的信息。数据分析的多维度不仅弥补了独立维度进展分析所难得发现的一些问题--不同维度之间的相关关系，通过多维度之间的比拟、细分，使得分析结果更有意义，还赋予大数据更多的价值。计算机数据处理的优点：计算速度快;不会犯错，除非编程时就编入错误;不会偷懒，在分析招数、分析可能位置时不会半途而废;不存在偏见，不带感情色彩，不会赢了一步过度自信以致失去胜势，或是遇到困局而沮丧。互联网的数据采集优点：数据的采集实现实时性，不掺杂个人感情和偏见;采集到的数据形式多样化;原始数据可根据个人需要随意提取。计算机和互联网的以上优点也给大数据弥补计量经济学的局限和成就计量经济学带来了可乘之机。(二)大数据分析1.大数据预测追求混杂性而非准确性计量经济学研究经常根据所研究的内容事先提出多个前提假设，在假设的根底上，应用数学模型进展统计检验验证假设。经济学学者在搜集样本的时候应用一整套的方法减少错误发生的概率。在统计检验之前，他们也会检测样本是否存在潜在的系统性偏向。这些躲避错误的手段无不在美化结果。一味地追求准确性,无时不在驱使着统计计量学家去挖掘更加智能的算法系统。大数据更多的用概率说话，不再追求准确性,转而追求数据维度的集合--混杂性。大数据不仅要求计量经济学预测不再追求准确性，伴随数据维度和组合越来越丰富，也使得他们无法实现准确性。错误不是大数据所特有的，但是也是大数据无法消除的，且可能长期存在的。假设计量经济学试图扩大数据的维度，获得大数据带来的价值，大数据就要求计量经济学包容和承受混杂性和不确定性。混杂是标准途径，而不应当是计量经济学所竭力防止的。大数据要求计量经济学学者重新审视准确性的优劣，尝试追求数据的完备性和混杂性，进而实现范式转移。据估计，只有5%的数字数据是构造化的且能适用于传统数据库，假设不承受混杂性，剩下95%的半构造化和非构造化数据都无法被利用，比方网页和视频资源。通过承受大数据非准确性，我们就会翻开一个从未涉及的经济之窗。2.大数据预测：样本=总体传统计量经济学研究一直停留在小数据时代，对于新惹事物是不敏感的，必须等事情发生并且成长到一定规模以后才能搜集到足够数据进展相关研究。在计量经济学理论研究中，因为分析、记录和存储数据的工具不够好，加之数据搜集条件和数据处理才能等方面的影响，只能应用少量数据说话.计量经济学家们认为：样本分析的准确性随着采样随机性的增加而大幅度进步，与样本数量的增加关系不大，即样本选择的随机性比样本数量更重要，退一步讲，当然这种观点颇有建树，通过搜集样本，用较少的花费做出高准确度的判断，虽然样本分析获得了宏大成功，成为当代测量领域的中流砥柱。但是这只不过是条捷径，是在无可奈何(搜集和分析数据等困难的束缚)的情况下的迫不得已。样本采集的过程中难免掺杂个人感情，加之经济学学者往往还要对采集到的数据进展二次处理，研究结果多被采样的质量绑架，大大降低了研究成果的质量。结论往往诞生在结果之前，也不免使得结论价值大打折扣。在经济活动中真正有趣的事情往往藏匿在细节中，这是样本分析法难以捕捉的--如啤酒与尿布的相关关系。在大数据时代，利用所有的数据，而不再仅仅局限于依靠小局部构造性数据，拓展了计量经济学的研究范围。采集数据的方式多样化，拥有先进的技术手段对大规模数据快速处理，且数据的采集具有实时性，可以更加快捷地通过分析全体数据对经济行为进展研究，一旦有新情况、新动态立即予以关注，及时对事前政策做出适应性调整和指导将来政策的走向，从而实现对新惹事物的早期干预和分析，因此具有前瞻性。大数据本身就具有智能，可以辅助计量经济学发现知识。麻省理工学院(MIT)的两位经济学家，阿尔贝托卡瓦罗和罗伯托里哥本通过一个软件在互联网上搜集信息，他们每天可以搜集到50万种商品的价格。搜集到的数据很混乱，也不是所有数据都能轻易进展比拟。但是把大数据和好的分析法相结合，这个工程在2022年9月雷曼兄弟破产之后马上就发现了通货紧缩趋势，然而那些依赖官方数据的人直到11月才知道这种情况。三、大数据和计量经济学的交融计量经济学是被样本=总体撼动的最厉害的经济学分支学科之一，伴随大数据分析取代样本分析，计量经济学不再单纯地依靠实证数据分析。虽说统计抽样在经济学界固假设金汤，但统计抽样只是为了在被技术限制的特定时期，解决存在问题的被动选择。现如今，技术已不是阻止大数据的最大障碍，当然在特定条件下统计抽样方法仍然可用。大数据拓展了计量经济学的研究范围，可增加计量经济学研究的实用性，数据的实时性也可增加计量经济学预测的准确性。大数据所涉及的资料已远远超出一般的计量经济学分析所能处理的范畴，大数据分析法的出现给计量经济学研究提供了更大的空间、更新的视角，也给以往计量经济学难以研究或者不可研究的经济领域--如商业中啤酒和尿布的关系，注入了新的原动力;大数据分析法并非是传统计量经济学家通过考虑、领悟、观察、建模等方法的分析而获取结论的，而是通过大数据的聚集和不同数据维度的组合、穿插，运用计算机技术和大数据思维处理得来的;大数据构建了丰富且可持续完善的数据集和分析工具，其共享性、协调性、重用性等大大增强，这些都为大数据与计量经济学的交融提供条件;大数据聚集专业领域的数据采集、数据处理、数据维护等专业团队，也为与计量经济学的交融提供了必备条件。以上所有的理由都说明：大数据和计量经济学交融有其天然的优势，同时也是大势所趋。计算机速度非常快，而且它可以非常踏实衷心地计算--不知疲倦、不带