基础研究绩效的评价指标系统的构建

中国图5分类号：F062.9　　文献标识码：A　　文章.编号：1008-2646(2008)02-64-06
基础研究是人类认识自然、探索自然奥妙的活动，是对事物本质的揭示以及对其内在发展规律的阐明。随着知识经济的迅速崛起，当今综合国力竞争的前沿已从技术开发转移到基础研究，基础研究在我国科技发展中的重要地位和作用，也已经得到人们日益广泛的认可。同时，随着我国对基础研究投入的不断增加，基础研究绩效评价体系在优化资源配置中所起的作用愈加重要。合理有效的基础研究绩效评价体系不仅能够更好地激发科技人员的创新潜力，营造科技创新环境，还能实现国家战略目标的可持续性发展。
一、我国基础研究绩效评价体系现状及存在的问题
20世纪90年代以来，我国各级政府和机构组织纷纷建立了基础研究的评价指标体系。例如，科技部、教育部、自然科学基金委等对于众多基础研究项目、科研机构、国家重点实验室、学科点等进行了评价。但由于我国基础研究绩效评价相对国外发展起步较晚，同时基础研究绩效本身具有长期性、间接性、不确定性等特点，因此基础研究绩效评价在有关的内涵表述、评价指标、评价方法等方面还不够完善，具体体现在以下几方面：
1.基础研究绩效的内涵表述不统一，导致基础研究绩效评价缺乏科学性和完整性。从相关学术文献以及科研单位对基础研究绩效评价的分析来看，对基础研究绩效的界定还比较模糊，很多文献都把基础研究绩效评价理解为学术评价或者科研业绩评价。事实上，从基础研究的定义以及特点出发，基础研究绩效评价不仅包括对基础研究直接产出的评价，还包括中长期效应以及间接影响的评价。正是由于对基础研究绩效内涵的界定没有明确，从而导致基础研究绩效评价缺乏完整性和科学性。
2.基础研究绩效评价指标重短期产出，轻长远效应。由于基础研究自身的特点以及科学研究的累积效应，使得基础研究成果具有很大的不确定性。众所周知，基础研究从开始立项到成果产出的周期一般较长，且成果并不会立即见效而直接作用于社会，具有很大的不确定性。而目前基础研究绩效评价指标多侧重于短期产出的成果，如论文数量、专著、会议报告、专利等，而体现长远效应的具体指标却没有过多分析。
3.导向性不明显，没有充分体现评价与战略目标的一致性。许多评价体系只是将评价视为一个工具，没有与组织战略目标以及国家战略目标联系起来。基础研究作为知识创新的源头，备受世界各国科学界和政府的高度重视，它已经成为一个国家重要的战略资源。因此，基础研究绩效评价不仅是科学界关注的问题，更是国家利益的体现。而目前我国基础研究绩效的评价同组织战略目标以及国家战略目标的结合不够紧密，评价不能切实地为国家科技政策以及国家战略持续性发展提供有效而长远的指导[1]。
4.重有形评价，轻无形评价。现有评价大多以有形投入或产出成果为评价对象，如课题经费、设备、论文数、专利数等，过于强调成果的量化评价，但对于基础研究人员和组织所具有的知识存量、研究机构的声誉、成果的无形资产价值、人才培养等方面的重视程度比较欠缺，同时对这种无形指标进行评价时缺乏一套合适的评价理论与方法[2][3]。
5.重静态评价，忽视动态评价。许多基础研究绩效评价系统是对过去一定时期的事后静态评价，对当前和以后的评价没有直接影响。而基础研究对社会和经济的影响力是随着时间发展日益凸现出来的，如爱因斯坦的相对论，其社会价值和经济价值在几十年之后才得以体现出来。因此，基础研究绩效评价更应强调动态性评价，尤其要体现出在不同时间周期下的影响作用。
二、基础研究绩效的概念界定
要对基础研究的绩效进行具体评价，必须区分两个重要概念，也就是基础研究的“产出”和“效应”，而这一点在以往的研究中并未受到重视。基础研究的“产出”是指研究的直接成果，包括论文、专利、毕业生等新知识载体，往往在一项基础研究完成时立即产生；而基础研究的“效应”是指基础研究的产出作用于社会、经济所带来的实际影响，通常要经过一定的时间周期才能体现，对于较为直接的效应(如特定基础研究成果对于政策的影响)可能在相对较短的时期内就能观测到，但更为间接的效应(如上述受影响的政策对于最终解决社会贫困问题所起到的积极作用)则需要相当长的时期才能体现出来。由于基础研究效应带有这种间接性和时滞性，长期以来理论研究始终未能找到系统的分析方法，实践中的绩效评价指标体系对此更是无能为力，因而一方面过分偏重直接的产出指标，另一方面“产出”和“效应”这两个概念本身常常被混淆使用(Godin，2003)[4]。
近些年来，随着基础研究绩效评价理论研究的深入和实践方法的优化，许多研究机构和学者认识到原先重“产出”而轻“效应”的评价体系无法准确反映基础研究的实际价值，因而主张重新界定基础研究绩效的内涵。美国政府绩效法(GPRA，1993)规定政府机构在衡量研究项目时必须区分产出(Output)和产效(Outcome)，并要求应该同时结合两者来衡量项目绩效，这里的“产效”就是指研究产出带来的间接效应。OECD(2002)作了与此类似的分类，将产出定义为“通过活动实施而产生的产品、商品和服务，……也可以包括由活动引起的变化，这种变化和实现产效相关”，产效被定义为“(研究的)产出将要实现的，或已实现的短期和中期效果”，此外，研究活动带来的更长期的效果被称为“影响(Impact)”。
鉴于以往的研究常常混淆基础研究的产出和效应，这种概念上的澄清是十分必要的，基于这些已有研究，我们对基础研究“绩效”的界定也包括了产出、产效和影响三个层次的不同因素，如图1所示。
三、国内外基础研究绩效评价指标的比较研究
1.国外基础研究绩效评价指标
在对基础研究绩效评价指标的研究中，Martin(1983)最早提出了基础研究绩效评价的四个维度。(1)科学维度：基础研究对知识产量的贡献，例如对已有领域研究的深化或新领域的开辟。(2)教育维度：基础研究对研究人员包括参与研究的研究生知识和能力的培养、锻炼以及经验积累的贡献。(3)技术维度：基础研究对提高原有产品工艺水平，或促进新产品、新工艺产生的贡献。(4)文化维度 ：基础研究对组织自身文化、价值观以及对社会各方面的贡献和影响[5]。John R. Hauser等(1997)认为，基础研究绩效的评价和尺度应考虑以下六个因素：战略目标、质量/产出的价值、人员、过程、用户、收益/成本。在这里他们将评价与战略目标联系起来，并强调了用户在评价中的作用。不过，Hauser等学者并没有进一步讨论如何在评价过程中体现组织战略目标，以及用户如何参与评价。Cockburn等(2000)指出，在评价基础研究时，不能仅仅局限于某一方面和本领域理解它的贡献，还要从其他学科领域的角度、从更广阔的社会经济视野来考察，包括科学成果、知识传播、工艺改进、促生新企业、改变人类思想观念等科学、教育、技术和文化等多方面的贡献。Salter和Martin(2001)通过文献梳理，在Martin(1983)研究的基础上，又系统分析了基础研究的六类广义经济效应，包括增加知识储备、培养技术人员、创造新的科学工具和方法；形成网络并促进社会互动、提高科学与技术问题的解决能力、创造新的企业[6]。Godin(2003)在对加拿大17个政府研究中心进行深入调研后，系统性地将科学(基础研究)所产生的效应划分为科学、技术、经济、文化、社会、政策、组织、健康、环境、象征、培训11个维度并归纳出39种受影响的客体[4]。

图1　基础研究绩效的示意图
此外，OECD(2001)以及美国政府的相关机构也对基础研究绩效评价指标进行了政策上的说明。如美国自然科学基金会(NSF)将评价基础研究成果的目标指标在原有的基础上简化为三个，它们分别是：人才(people) ——发展各式各样的、在国际上有竞争力的、遍布全球的科学家、工程师以及良好的后备力量；思想(ideas) ——促进同知识创新及社会服务相关联的科学工程前沿的新发现；工具(tools) ——提供能够广泛应用设计精良并能共享的科研和教育设备工具。
我们将上述学者及机构对基础研究绩效评价指标的分类进行汇总(见表1)，可以发现，尽管国外基础研究绩效评价指标划分的维度各有不同，但它们都涵盖了科学、经济、文化、教育等众多方面的内容，既包括经济绩效的评价，也包括了广泛的社会文化、人才培养、社会进步等方面的评价。这些评价指标扩大了评价工作的活动空间，能够更灵活地依据具体的研究计划做出全面合理的评价。

2.国内基础研究绩效评价指标
在我国，基础研究绩效评价活动起步较晚，但仍有不少学者对基础研究绩效的评价指标做出了有益的探索。如沈新尹(2001)从几个方面测度基础研究绩效，即统计数字、同行评议、国际地位、对政府其他目标的贡献、对未来利益评价及长期跟踪评价。同时，他通过研究美国NSF基础研究绩效的评价指标，认为我国基础研究绩效评价指标中的定量指标可以包括论文发表数、论文被引用数、专利数等内容，而定性指标可以包括项目的前沿性、设备的运转情况、对社会的贡献(包括国家目标的贡献和前沿科学的贡献)。此外，对基础研究机构的评价还应注重国际地位评价[7]。周洪芳(2002)认为基础研究项目绩效评价的指标从项目参加者情况、经费使用、论文产出、获奖、专利和产业化、获得后续资助及人才培养等方面比较，同时她强调基础研究项目的绩效评价要重点突出创新性和人才及其研究能力培养方面的评价[8]。单广良、赵爱芳等(2002)指出由于基础研究离实际应用或成果转化的距离比一般的应用研究要长得多，因此，它的直接产出成果可能是论文发表的数量和质量以及专著、会议报告等，而间接产出主要体现在成果所带来的经济效益和社会效益。除此之外，在评价基础研究绩效时，还要结合学科建设和发展等问题，考虑与学科自身建设和可持续发展有关的因素，如人才结构和团队精神等[9]。
对比国内外学者对基础研究绩效评价指标的分析，可以看出：目前国内学者在绩效评价指标分类思路上与国外有较大区别，国外侧重从整体和战略的高度把握指标分类思路，既突出绩效评价指标的短期性，也注重绩效评价指标的长期性；而我国对绩效评价指标的分类思路较为狭隘，侧重绩效评价的短期性，在指标划分上还没有完全体现出产出、产效以及影响的划分思路。其次，国内学者在评价基础研究绩效的社会效应时，指标比较笼统，没有进一步展开或细化，相比较而言，国外学者在评价基础研究社会效应时，具体划分为人才培养、解决社会问题(如安全、健康、保健、环境等)、提高国家的创新性、推动社会文化进步等方面。
四、基础研究绩效评价指标框架
1.基础研究绩效评价指标的设计原则
本文在对基础研究绩效评价进行指标设置时，主要按照以下原则对绩效评价指标进行构建。
首先，系统性和层次性原则。系统性即基础研究绩效评价指标的内容必须完整有序、逻辑严密。同时所构建具体指标相互联系、相互补充；体系中的任何一个指标都不能单独用来评价某一项基础研究，只有综合运用体系中的每一指标，才能科学、全面地进行评价。层次性原则强调所构建的指标体系要体现基础研究的产出、产效、影响，以及短期和中长期效果的层次性，从而为科学地确定各指标权重提供依据。
其次，政策性和可操作性原则。政策性要求所构建的指标体系能反映出国家的科技政策和战略目标。可操作性原则，要求所构建的指标体系在同行专家评审对基础研究绩效进行评价时，实施容易、方便；还要求不同维度的基础研究绩效在评价指标时应有所不同侧重。
再次，可预测性原则。要求所构建的指标体系，能够根据对过去和现在的基础研究绩效的评价情况，预测将来基础研究的发展趋势及其存在的问题。
最后，动态性和发展性原则。要求所构建的指标体系，能够根据科学技术、科技政策、社会与经济等的发展，相应地做出调整和改变，表现出评价客体的动态性。
2.基础研究绩效评价指标体系
根据国内外基础研究绩效评价指标的文献整理以及我国基础研究的特点，本文将基础研究绩效评价分为产出、产效以及影响两个一级指标，在每个一级指标下，又选取了若干关键指标，构成二级指标，共14个，并对该二级指标进行必要的说明。我们试图通过构建一个初步的基础研究绩效评价指标体系，以期更客观、全面地反映我国基础研究绩效水平。如表2所示。

根据国外基础研究绩效评价的经验以及我国科技部门对基础研究绩效评价的相关政策说明，我们在对基础研究绩效进行评价时，不仅要关注研究者个体， 还要强调对科学研究计划、项目和科学研究机构的评价。即要求我们在对基础研究绩效进行评价时，要考虑从基础研究机构、基础研究项目以及研究人员三个维度出发，多维度评价基础研究绩效。
因此，在上述三个维度进行具体的基础研究绩效评价时，可以围绕表2中的基础研究绩效评价指标框架进行操作，但由于这三个维度具有不同的特点，短期以及中长期产生的效应也有所区别，因此，在利用每一个二级指标进行评价时，不同维度的具体二级评价指标在评价重点和权重上应该体现出差异性。具体见表3所示。
3.指标权重
权重的确定具有很强的导向作用，是指标体系中的关键因素。确定权重的方法很多，如相对比较法、德尔菲法(专家调查法)、层次分析法等。为了使指标权重的确定更加科学，在基础研究绩效评价中可以采用层次分析和专家调查相结合的方法来确定权重。值得说明的是，基础研究绩效的评价既涉及到机构、个人、项目的评价维度，又涉及到时间周期的影响因素。因此，在对评价指标权重进行具体设置时，不应一概而论，不仅要考虑不同学科的差别、不同研究机构的差别，还应考虑不同研究阶段的区别。
4.评价方法
目前国内外采用多种方法和多种指标相结合的方式对基础研究绩效进行评价，既包括定量分析也包括定性分析。在对基础研究绩效的产出进行评价时，主要采用的是同行评议和文献计量法相结合的方式。而在对基础研究绩效的产效以及影响进行评价时，可以采用经济学中的数理统计以及经济增长函数来评价绩效中的经济贡献大小，同时还可以采用调查和案例分析方法评价对社会、文化的贡献大小等。　当然，由于基础研究的长期影响指标目前还没有一个比较科学和成熟的评价方法，因此，对于这方面的影响贡献还需要我们进一步的探索。

五、结论
对基础研究绩效进行综合性评价是目前国内外研究的热门课题。本文尝试性地构建一个初步的基础研究绩效评价指标体系，试图通过该评价指标体系，说明我们对基础研究绩效的评价首先应从产出、产效及影响两个方面考虑；然后针对这两个方面从基础研究的不同维度出发，通过给予不同权重和评价标准进行具体的评价。
我们认为，在今后的研究中还需要进一步对二级指标进行分级，并选择合适的评价方法对基础研究绩效的每一级指标进行打分，尤其是对产效及影响的中长期绩效评价，在评价方法上不仅需要借用经济学的数学模型，还需要在定性评价方法上深入研究，以便能准确、客观地反映这种长期影响绩效。此外，在评价基础研究机构、项目以及研究人员的绩效时，影响因素各不相同，因此，在对这三个维度进行绩效评价时权重设置相对也会比较复杂，需要通过实证分析、专家评议等方法分学科、分类别进行具体的指标权重设计。