科技政策评估的方法论体系及相关性研究(社会经济类学术论文).doc

本文档系作者精心整理编辑，实用价值高。科技政策评估的方法论体系及相关性研究摘 要 科技政策评估方法是科技政策评估的操作环节，合理而科学的方法论体系可以体现出政策的价值导向，本论文试图建构一个科技政策评估的方法论体系。同时，相关性问题是科技政策评估中普遍忽视的一个重要学术问题，本文详细阐述了相关性的内在本质，并分析由相关性所导致的政策评估问题。关键词 科技政策；政策评估；方法论体系；相关性中图分类号 G322 文献标识码 A 文章编号 16716639（2012）02000106一、引言科技政策评估一般具有三种评估框架（“目标执行效果”框架、经济框架、利益相关者框架），以体现出科技政策的三种不同的价值取向（行政价值、经济价值、社会价值）1。科技政策的评估方法是评估环节中操作层面的问题，往往对评估结果的准确性和有效性产生实质性的影响。所以，评估主体应用不同的评估方法就会产生不同的评估效果，从而影响到科技政策的价值。目前，由于我国的科技政策评估方法多是参考一般公共政策的评估方法，而没有形成有针对性的、系统性的方法论体系，因而导致科技政策评估不规范，评估结果的差异性很大，无法起到政策评估应有的对科技政策的完善、监督、反馈等作用。完善而科学的方法论体系的建立是实现科技政策评估的民主化和科学化的关键环节，目前我国的科技政策评估还处于起步阶段，因此对科技政策评估方法论的研究就具有理论与现实的双重意义。二、科技政策评估的方法论体系研究我们知道，社会科学研究的方法主要有定性与定量方法。20世纪末以来，社会科学研究的定量与定性分析引入了“信度”、“效度”等概念，并运用计算机来辅助定性信息的分析，使得定性与定量分析呈融合趋势，越来越数字化和计算机化。社会科学中的定性方法经常遵循非线性的研究路径，定性资料意义丰富，定性分析并不将社会生活转换成变量和数字，而是借用研究对象的想法，将它们置于一个自然的情景之中，强调对出现在社会生活的原始自然状态下的个案进行细致考察，通常采用“扎根理论”和“田野调查”2，因此是一种“建构主义”的范式。而定量研究则遵循线性路径，强调客观性，更倾向于使用清晰的、标准化的程序，以及一种拟因果的解释，同时使用“变量和假设”语言进行表述，强调精确地测量变量和检验假设，使其与普遍的因果解释相联系3，因此是一种“实证主义”的范式。科技政策评估属于“应用社会学”的范畴，因此科技政策的评估方法也需要遵循上述社会科学研究的一般方法，即依据评估标准与框架所设计的评估目标，用定量或定性方式对评估数据进行收集、统计、汇总、分析。因为任何科技政策的评估实践，都需要在专业的评估方法指导下开展，否则评估数据的设计、收集、统计、分析就会陷入某种“失序”状态。社会研究有多种形式，能被用来探究广泛的社会问题。被社会研究者们用来验证他们假设的方法有实验法、调查法、内容分析法、参与观察法和二手资料分析法等4。除需要遵循社会科学的方法外，科技政策评估还要遵循公共政策评估的方法。而适应公共政策的评估方法众多，如同行评议法、德尔菲法（兰德公司首先应用）、层次分析法（AHP法）、经济计量法、文本分析方法、政策前后对比分析法、回归分析法、情境分析法、SWOT分析法等。但是由于科技政策评估的特殊性，一些传统的公共政策评估方法并不能适应复杂的科技政策评估项目。科技政策由于涉及到科技与经济、科技与政治等国家发展的短期与长期利益，具有更大的复杂性与不确定性，因此对其评估的方法也具有多元和综合的特征。一种评估方法并不能完全反映出科技政策的多元价值，需要综合使用、有效组合多种评估方法。对于科技政策的行政价值评估，一般是通过文本分析法（内容分析）和问卷调查法来进行。由于科技政策价值的反馈信息大量是文本信息，因此科技政策评估离不开各地政策文本的分析，以及自评估报告的解读。这些自评估报告一般是设计好的问答题，可以反馈评估者需要的评估信息与评估数据，通过对这些问卷的文本分析，可以发现各地在政策执行效率上的差异性。这些文本信息是科技政策行政价值的主要表现方式，并且文本信息中既包含定性信息，也包含定量信息，信息反馈数据大，所以文本分析法成为科技政策评估中最常用的方法之一，这也是与其他科技评估类型（科技项目评估、科研机构评估等）最大的区别。对于科技政策的社会价值评估，一般是采用对不同利益主体的社会调查法和座谈法来进行。科技政策社会价值的评估离不开政策受益者的反馈，通过社会学意义上的访谈和问卷调查（包括田野调查）方式，可发现政策的实施效果对各方面的影响，可通过不同利益主体的回应性反映得到第一手的评估数据，因此基于政策受益者参与的实地调查法与问卷调查法是收集定性分析数据的主要渠道。问卷设计中应涉及多种评估数据，包括定性数据和定量数据。具体如表1：对于科技政策的经济价值评估，一般需要经济数据，因此需要定量方法，主要弥补定性研究中所缺少的经济数据、统计数据、科技统计指标等定量数据。在一般的定量数据分析方法中，政策指标法、经济计量法、对比分析法、回归分析法这四种方法是最常用的定量评估方法，其中，对比分析法为最基本的政策评估法。在政策实施前后对某项影响的效果进行对比，以发现政策影响的前后相关性，这种“相关性”呈现出正相关，说明政策的效果较好，而“非相关性”或“负相关性”则说明政策效果较差。但是对比分析法需要很长时间的跨度，适合实施政策后评估，否则不容易发现这种相关性。经济计量法是以经济理论和事实为依据的定性分析为基础，利用数理统计方法建立一组联立方程式，来描述政策目标与相关变量之间经济行为结构的动态变化关系。政策指标法是把政策目标分解为评估指标，通过量化与权重打分，对各地政策落实与执行效果情况进行定量评估，一般需要设立达标指标，并进行定量判断和计分。详见表2：目前，我国的科技政策评估中还没有大量引入如经济分析法、政策指标法、回归分析法、对比分析法等定量评估方法，而一些定性分析法，如国际上OECD普遍应用的SWOT分析法、情境分析法、PEST分析法等，也未在实践中大量应用，这主要是因为这些方法对于评估实践比较复杂。其中SWOT分析（见表3），也称为潜力分析法，可为科技政策的制定作出全面而系统的指导。按此方法，优势和弱势是可以影响的内因，而机会和风险为外因，只能在特定情况下产生影响。这种方法适用于国家或企业在制定战略规划时，针对前期和中期不同政策的制定进行分析，特别是相关利益各方在政策中的职能和利益的确定。 经济分析法常需要运用数学模型，同时需要大量的基础数据作为前提条件，而一般不容易获得这些评估方法所需要的基础数据。SWOT分析法适合单项科技政策评估，对于集群科技政策评估并不适合，而大部分的科技政策都是集群政策。从评估实践看，比较合理的科技政策评估方法为：文本分析法、问卷调查法、多元回归分析、政策指标加权法、经济分析法、情景分析法、对比分析法等。这些方法融合在一起，构成了一个不可分割的评估方法体系，评估主体可依据不同的科技政策评估框架，针对不同的评估目的，应用不同的评估方法，通过定性和定量相结合的方式进行综合的科技政策评估。具体如下图1：三、科技政策评估的相关性研究在上述定量方法中引申出的最为关键的问题是政策指标的“相关性”，即为什么政策与被测指标是相关的。在社会现象的分析中，“相关性”是一个比较核心的概念，它是社会事实之间的一种状态，这种状态表明社会事实之间可能并不具有必然的关联，而是存在着复杂性（非线性、混沌、分形等现象）。同时一种社会事实的改变可能影响另一种社会事实的变化，但这种影响并非必然。与“相关性”关系密切的概念为“因果性”和“相关度”。自然科学的大部分学科范式都是因果论证，因为某一结果必定有其原因，有因必有果，有果必有因，苹果落地必定有一个因万有引力或引力场，“因果性”一般表示为一个或一组数学假设。而在社会科学中一般多适用“相关性”论证，比如事实1由（a，b，c，d）构成，而事实2由（a，e，f，g）构成，因素a共同影响了事实1和事实2，导致a的变化影响了事实1和事实2，因此事实1与事实2就具有相关性，但不具有因果性。通常情况下，由于社会现象的复杂性，很难确定事实之间的因果性，即一种社会事实与另一种社会事实并不构成因果关系，而是具有显在或隐在的相关性。同时，即使社会现象之间存在着明显的关联，也不能完全用因果性论证，因此，社会科学中的因果分析也就降低为一种相关关系的分析。比如政策与效果的关系，学历与财富的关系，通货膨胀率与失业率的关系，收入与消费关系，CPI指数与通货膨胀等。一般要考察的社会事实之间有四种相关性的关联，分别为：正相关性、负相关性、自相关性、非（零）相关性。这里以经济学为例，具体说明见表4：在政策评估中对这些社会现象进行相关性分析，主要有两个作用：一方面是制定新政策和规避潜在风险，比如一些宏观经济调控中的相关性分析，如菲普斯曲线（通货膨胀与失业的负相关性）等 ；另一方面是做出政策评价和决策，比如公共政策的分析、评估、完善等，如丁伯1根法则（政策工具之间必须具有非相关性，才可达到最大效果）等。而相关性的度量就是“相关度”。目前，社会科学的相关度主要有两种方式：一种是常用的参数相关性系数（参数相关度），主要有皮尔逊相关系数、偏相关系数；另一种为定序测量的非参数系数（非参数相关度），主要有：斯皮尔曼等级相关系数、古德曼和克鲁斯凯的系数、系数、列联系数、克雷默的系数以及系数等6。这种社会学的相关度测量不仅可以引用到公共政策评估中，也可以应用到其他社会科学领域，如经济分析领域和政治治理等相关性分析中。其中最常用的皮尔逊相关系数的计算公式如下式（1），而定序的斯皮尔曼等级相关系数的计算公式为下式（2）：皮尔逊相关系数r= 式（1）7其中： r=等级相关系数（相关度）X，Y=两种社会现象的数值， =两种社会现象的均值斯皮尔曼等级相关系数r=1 式（2）8其中： =等级相关系数（相关度）D=变量X和Y的秩的差异N=样本含量社会科学中对相关性研究主要有三种路径：建模验证、统计验证、经验分析。其中，经济学理论较为规范，数学广泛应用，所以经济学最常用的是建模验证，是一种相关性的先验分析法。而社会学、公共政策中现象较为复杂，最常用的是统计验证和经验分析，主要有回归分析法。回归分析法属于相关性的后验分析，由于没有具体的模型，所以主要是把一些测量的离散数据做成趋势图，以便作出预测和评价，如在科技政策评估的“目标执行效果”相关性分析中就是回答执行与效果的关系。具体地说，科技政策绩效的回归分析法就是衡量某项科技政策目标或效果（因变量）时，需要考察各种因素（自变量）的关系，就要进行回归分析，找出与效果最密切的因素，分析政策执行与落实的差异性，理想的线性回归模型见下面公式（3）：Y=a1+b1X1+b2X2+b3X3+式（3）其中： Y=政策目标或效果X1、X2、X3、X4、为政策工具或因素a1=基准值b=回归系数=残差值为什么回归分析在科技政策评估的相关性分析中非常重要呢？这是因为科技政策评估的相关性分析不是为了得到理想的线性或非线性回归模型，而是要分析政策目标（效果）和政策工具（因素）之间的相关度，即什么主要因素影响了科技政策的效果。社会科学中的因果关系是很难确定的，而“相关性”却未必是因果关系，“相关性”与“非相关性”分析是确立社会事实之间关联的的主要方式之一。比如，可以通过建构式（3）中左式（Y）的模型和右式（a1+b1X1+b2X2+b3X3+b4X4+）的模型，以便发现这个两个模型的相关度。如果两个模型相关度越高，那么说明政策工具（因素）符合政策目标（效果），这就为政策干预提供理论依据；而如果相关度不高，那么就认为政策工具（因素）缺失。同时，也可以以个案形式分析那些偏差较大的数据，分析其原因，而这些正是政策工具需要改进和完善的地方。科技政策评估中的相关性分析主要验证下表5的假设：表5 科技政策评估的相关度（r）由此可知，回归分析法是分析多因素的交互作用对科技政策影响的相关性，目的是发现政策与各种因素的相关度，为政策干预作出准确的定位。一般情况下，回归分析法与政策指标法常常结合在一起使用。 四、科技政策评估方法的局限性社会科学的“科学性”目前仍然是学术界争论的焦点之一，即使作为社会科学最发达的经济学，仍然会对一些经济现象预测和解释失败。社会科学要处理的事实不仅包括“社会事实”，还包括个体、组织，甚至社会层面的“心理事实”，这种心理事实在经济学中称为“预期”，即做出何种改变以达到未来的状态。这在哲学层面上是对多元的“可能世界”的干预，反过来又反身于“现实世界”的运行。因此，社会科学是不同于自然科学范式的学科，它具有“自我指涉”，是一种统计学意义上的科学，它的解释模式一般遵循归纳统计模型（DS模型），而不是建构在纯粹理性思维的基础上。如果传统的理性思维过多地于应用到社会科学中时，就会出现哈耶克所称的“理性的滥用”，即：对于自然科学家来说，客观事实与主观意见之间的区分十分简单，然而对于社会科学的对象就不易做这种区分。这是因为“意见”也是社会科学的对象或“事实”9。如一些金融学中的数学模型：CAMP（资本资产定价模型）、MPT（投资组合理论）、布莱克斯科尔斯模型（期权定价模型）等，在最初的经济预测可能是准确的，但随着时间和空间的转移，这些模型往往无法准确反映变化中的“预期”调整 1。由于各种预期的“自我指涉”，“完美”的金融模型需要修正，否则有可能出现潜在风险，就像1997年的亚洲金融危机和2007年的美国金融危机这样严重的全球金融的失序。正如社会经济的复杂性，不可简化为可计算的数学模型，毕竟社会现象并不是一种纯粹客观的对象，而包含着更多的“预期”行为。在社会科学的分析中，心理事实是一种客观性事实，而在科学理性中，心理事实一般排除在客观性之外。因此，社会科学为简化这种解释的复杂性，就需要构造出各种抽象的“术语”，以回避这种解释困境，比如经济学中“通胀预期”，“资产泡沫”，“流动性过剩”等概念来“建构”某些经济现象和状态，对于是否存在这种可以眼见为实的社会现象，也无法从纯粹客观的角度去证实（实验），我们只能信任这种方法论上的“建构性”。这种现象对于社会科学中的任何一类学科都是普遍的，从而回避了社会科学中的解释困境。而在科技政策评估中是否也存在这些方法论上的困境呢？答案是肯定的。属于“应用社会学”范畴的科技政策评估，无法回避这种社会科学的“建构性”问题，即不可能通过纯粹客体的分析得出结论，因此必然带来“失真”。目前对于公共政策评估实践来说，评估方法存在着“两多两少”问题，即经验推理多，实证研究少；定性分析多，定量评估少10。从实践看，科技政策评估需要大量的评估数据，这些数据有些是文本信息，因此需要定性分析；有些是问卷形式的数据或数字信息，如经济数据、科技指标等，需要繁琐的定量分析。同时对于特定的数据，还可能需要把定性转化为定量分析，而这些政策评估的方法往往结合在一起，构成了复杂而多变的科技政策评估方法体系。在评估实践中，评估主体需要对文本信息进行发放、回收、解读和分析，但很可能发生“问卷可以发出去，但收到的答复不是事实，而可能是谎话或混乱不堪的东西”11。对于统计中常常遇到的问卷信息失真情况，这“基本上无法由研究者解决，能做的是如何避免被资料欺骗”12。由于科技政策评估的文本信息大量是自评估报告、访谈记录、问卷反馈等主观性比较强的文本资料，所以对评估信息的解读和分析就存在着评估者的主体建构过程，而不可能是单纯的客观反映。对评估主体而言，科技政策从制定、落实到反馈，要经过一系列的社会互动过程，呈现出复杂的模式，并没有一个清晰而完整的图景。五、结语由于我国行政的特点，在某种程度上，中国的经济是一种条块分割的经济结构，因而科技政策在地方的落实呈现出极大的差异性，如沿海与内地，东部与西部等。科技政策受益者和政策执行者对科技政策的理解存在着不同的驱动模式，必然带有主观因素和行政干预因素，因此科技政策评估的过程其实也是建构“意义”的过程。科技政策评估之前，并没有一个可供评估主体可以参考的纯粹客观的数据，而是评估主体与评估客体不断“互动”的过程，不同的主体可能建构出不同的科技政策效果，所以，科技政策评估的定性方法具有极大的主观性和建构性。为了避免评估主体的主观性，科技政策评估中应引入定量评估法，如政策指标评估法、经济分析法、对比分析法、回归分析法等。通过定量化政策指标，为考核政策执行提供了一个全新的视角，一些比较模糊的政策目标、执行、效果，在定量化后有了一个清晰的可测度标准。但是政策指标如何定量化是合理的，仍是一个比较复杂的学术问题。为了量化政策的