4.1 教育政策监测与评价体系的理论研究(1 / 1)

4.1.1 监测与评价的概念解析及功能比较

纵观西方发达国家及国际组织的实践,监测与评价成为政策管理最重要的工具之一,它覆盖了从政策提出到完成的全部环节。通过引入监测与评价,政策的推行与完善并行,不仅能保证政策目标最大程度得以实现,还能从已有政策制定与推行中总结经验和教训,提高未来教育政策的成效。尽管监测与评价往往同时提及,但它们在概念和功能上有着本质区别,因此有必要厘清这两个概念的区别和联系,这也是正确使用监测与评价的基础。

4.1.1.1 监测

监测(monitoring)是由政策实施机构所主导的内部管理活动,是一个收集和分析有关政策进展、政策预期目标达成度等方面信息的动态持续过程。通常借助连续性的、关键性产出指标对政策覆盖对象进行连续性的数据收集,比较实际产出和预期产出,考察政策覆盖对象的发展变化,以监督政策是否按照预期开展和实施,政策的预期目标是否实现。

监测主要回答以下五个关键问题[1]:(1)政策是否按照计划推行与实施?(2)政策的投入是否很好地指向了目标人群?(3)预期产出是否有效完成?(4)在实现政策结果的过程中,我们面对哪些问题、风险及挑战?(5)针对政策执行过程中发生的变化,需要做出什么调整?

通过回答以上问题,管理者可以及时发现并改正不足,并做出调整方案或出台配套措施。一方面,可以有效地干预政策实施;另一方面,还能促进政策制定者、实施者之间达成一致意见,明确政策实施的工作重心,强化各方责任,提高政策资源配置的合理程度。同时,高质量监测所获得的信息也是政策评价重要的信息来源[2]。

4.1.1.2 评价

评价通常由独立的第三方评价机构实施,是对计划中的、正在实施的或已经完成的政策的系统地、客观地评价,包括对它们的设计、实施及结果的评价。其目的在于确定政策预期结果与实际结果的关联度和达成度,评估政策的效率、效益及影响力和可持续性。

评价主要回答以下四个关键问题:(1)结果实现或不能实现的原因是什么?(2)政策的实施对覆盖人群的具体贡献(影响)是什么?(3)我们怎样才能改进政策的结果?(4)从该项政策中,我们获得哪些经验和教训?

高质量的评价能给政策受益者和资金提供者提供可靠和有用的信息,使双方获得政策实施教训和经验,以改进行为决策,更进一步,评价是对政策执行实施问责、合理性论证的重要基础[3]。

4.1.1.3 监测和评价的互补性

表4-1呈现了监测与评价互补的特点,从表中可以看到,为保证政策取得最大成功,监测与评价应与政策的筹划同步进行,二者缺一不可:(1)监测能及时提供政策执行过程中的相关信息及管理者执行政策所需的信息,同时也提供政策预期效果及其成因方面的信息,因此评价中的大部分信息来源于监测;(2)监测给评价提供了必要的信息,但这些信息并不充分,评价还需要利用其他数据收集工具及系统的分析框架对政策进行评价;(3)监测的设计和实施必须充分考虑评价的需要,因为清晰的政策目标、监测指标等是评价能否获得成功的前提[4]。

表4-1 监测和评价的角色

4.1.2 教育政策的监测与评价系统

监测和评价是政策制定与推行过程的重要部分,从本质上而言,监测是评价的信息基础,如果忽略对政策过程的监测,评价的作用也会大打折扣。教育政策的监测系统是可以识别政策目标、监督政策实施过程及改进政策实施结果的信息管理系统,它用于评估政策的有效性和报告政策实施进展情况;教育政策的评价系统则是给政策受益者和资金提供者提供可靠和有用的信息,使双方获得政策实施教训和经验,以改进行为决策,是对政策执行实施问责、评估政策的效率、效益及影响力和可持续性的信息系统。建立一个有效的监测与评价系统需要政策制定者的支持和相关技术准备。监测与评价系统的构建通常包括五个方面:(1)监测与评价指标体系建构;(2)数据信息采集;(3)数据管理与分析;(4)信息公告和发布系统;(5)关键执行者间(数据采集者、数据分析者、政策制定者及政策实施者)的组织安排。

4.1.2.1 教育政策监测与评价的指标体系

1.监测与评价指标的类型

建立良好的指标体系(indicator system)是实施政策监测与评价的基础与核心,一个良好的指标体系应当是富有逻辑的、具有针对性的完整体系,组成这一指标体系的指标应当具备针对性、可得性、可跟踪性和时效性四个特征[5]。根据指标测量的对象及用途不同,可以将监测与评价指标分为投入、产出、结果和影响指标四类(详见表4-2)。其中,监测主要关注政策的投入(input)、产出(output)及结果(outcome);评价既关注政策结果(outcome),同时更关注政策的影响(impact)。这里,投入是指获得产出所需要的人力、物力、财力及相关资源,通常用来分析政策的资源是否严格按照预期规划分配;产出是指实现预期结果的必要基础,设立产出指标的目的是测度政策干预给覆盖群体带来的直接变化——不受政策外因素影响;结果是指政策覆盖群体的实际结果达到预期结果的状况——受政策干预外因素影响,设立结果指标的目的是测度政策推行对目标群体产生的短期或中期效应(short-term and medium-term effects);影响指标主要描述政策实施给目标群体生活、发展状况带来的正面或负面影响(如政策对目标群体教育公平等方面的影响),它通常用来测度政策推行的长期效应(long-term effects),包括预期或非预期的直接、间接效应,所选指标一般是就结果指标对政策目标群体所进行的横向、纵向比较。投入与产出指标属于中间指标(intermediate indicator),结果和影响指标属于终极指标(final indicator),终极指标与某一政策目标直接关联,是目标达成度的直接或间接测度;中间指标是对如何达到终极指标的测度,其测量的是政策干预情况及这种干预直接的产出。两者的根本区别是中间指标仅受政策单一因素影响,而终极指标受政策外其他因素影响。以“两免一补”政策为例,中小学的财政和资源投入指标及在校生数、校舍建筑面积等由投入产生的产品或服务指标都属于中间指标;而入学率、识字率、学业成绩等反映政策目标达成情况及政策目标对覆盖人群产生影响的指标属于终极指标。

表4-2 教育政策监测与评价指标分类

2.构建监测与评价指标体系的意义

构建监测与评价指标体系是为了后续监测与评价的顺利展开,获取政策实施、推进、目标达成情况的信息,是为政策监测与评价的研究设计、经验研究等方面服务的。总体来看,构建监测与评价指标体系意义主要体现在以下三个方面。

第一,有助于理清政策实施与政策效果之间的逻辑关系。良好的监测与评价指标体系能够体现政策实施过程中投入、产出、结果之间的逻辑关系,有助于政策管理者理清政策实施与效果之间的相关关系或因果关系,这对于政策评价来说至关重要。

第二,有助于政策监测与评价的顺利开展。指标体系的构建是监测与评价的核心,它引导着后续的研究设计、数据收集、分析及报告撰写等工作。因此,良好的监测与评价指标体系有利于政策监测与评价的顺利开展,决定着政策监测与评价的科学性、客观性。

第三,有助于政策决策科学化,提高政策实施的绩效和效率。监测与评价指标体系构建的过程也是深入认识政策本身、细化政策干预活动的过程,是对政策的重新审视。与此同时,通过监测与评价指标体系收集的数据也可以反映政策存在的问题。因此,监测与评价指标体系的构建,综合了政策文本分析和数据反馈的双重信息,有利于政策决策的科学化,从而提高政策实施的绩效和效率。

4.1.2.2 教育政策监测与评价的数据信息采集

完备、充足、有效的资料是进行监测与评价的前提。同时,监测与评价资料的收集必须紧扣政策监测与评价指标体系。目前,教育政策监测与评价的数据信息采集渠道主要有两种:调研资料及管理者现有的第二手资料。

1.调研资料

通过调研采集资料是监测与评价资料获取的重要途径。通过调研,能够根据监测与评价的需要,有针对性地收集相关的资料信息,为政策监测与评价提供强有力的数据支持,是监测与评价资料收集最重要的途径之一。调研材料的收集一般来说是一项比较浩大的工程,需要耗费相当大的人力、物力和财力。

目前调研资料的获取可以通过实地调研、网络调研等方式进行。实地调研是最常用的一种方式,这种方式直观、易操作,但却耗时、耗力、耗财。近年来,随着电脑的普及和信息化的发展,网络也成为一种高效、低耗的调研方式,比如基于网络的舆情调查等。基于调研获取监测与评价信息时需要注意以下几个问题。

第一,使用科学的抽样方法,确保所选择的样本具有较好的代表性。根据监测与评价设计的需要,样本的选择有所不同,主要可分为三类。(1)全面调查。即将特定时间、特定范围的所有样本都列入调查范围。(2)抽样调查。在任何抽样调查中,抽样技术的选择与应用是不可避免的。一般而言,样本抽取的方法分为简单随机抽样、分层随机抽样、多阶段抽样、整群抽样、系统抽样、非概率抽样等。在实际的操作中,应当根据监测与评价设计和需要进行选择或结合使用。(3)个案调查。通过对一个或多个样本进行分析,从中收集各种信息,这是定性方法收集资料的重要途径。个案调查对于研究者的能力具有较高要求。

第二,量化方法与质性方法相结合,确保获得全面的监测与评价资料。量化方法和质性方法是社会科学领域从对立走向融合的两大重要研究方法,两种方法在方法论基础、目的、表现形式、抽样方法、数据收集方式、用途等方面都存在很大的差异。在实地调查中,应当坚持量化方法和质性方法相辅相成,相互结合的原则,最大程度地挖掘数据所蕴含的价值,通过量化研究方法获得关于政策实施情况的相关量化数据,客观、说服力强,辅之以质性方法可以挖掘更复杂的问题,比如调查对象产生某种行为结果的原因、过程及对政策的态度和观点。两种方法相结合才能确保监测与评价资料的全面和深入。

量化方法收集资料具有标准化的格式,研究者从整体的研究设计出发制定资料收集方法,主要通过问卷调查、访谈、观察等手段获得。每一个调查对象都采用统一格式记录信息,并将研究问题数量化,结论明确,更有说服力。量化方法的基本逻辑是调查样本对总体的代表性。量化方法收集资料的质量与抽样设计紧密相关,被认为是一种最常用的数据收集方式。定量方法收集资料需要丰富的统计知识支撑,可以在广泛的目标群体中进行,在量化分析中对影响力的规模和分布进行调整,进而使评价结果更具有说服力。其最大的不足在于,尽管能收集大量的数据,但收集、录入、统计、分析数据往往需要耗费很长的时间,这往往会影响监测中对于时效的要求;同时在这些环节中对于抽样技术、软件使用技术的要求往往较高。

质性方法主要包括观察法和访谈法等。采集资料的途径比较多元,主要有知情者访谈(key informant interview)、焦点小组讨论(focus group discussion)、直接观察(direct observation)等,在现场对研究对象进行直接或间接的观察,通过感知或记录获取有关感性资料。质性方法收集资料重点在于与相关群体的深入接触,对项目实施有广泛、细致的了解。通过质性的、参与式调查的方法可以研究比较复杂和富有争议的问题,而且可以同时研究问题的原因和结果,但其成本较高,难以进行大样本调查,代表性和外推性较小。

两种资料收集方法各有所长,将两类方法结合起来,扬长避短,可以起到相互补充和相互验证的作用,以保证研究结果的客观真实性。

此外,在调研资料收集过程中,应当尽可能地通过严格规范的监测过程,使用科学严谨的调研工具,收集相关的资料和信息,为全面把握政策实施情况、诊断政策问题、提出改进方案提供参考信息。

2.二手资料

二手资料通常是相关部门或单位因为其他目的已经收集好的资料,资料是对原始调查信息处理后的内容,如统计年鉴、相关地区政府机构的报告、管理者的执行报告等。二手资料的收集相对比较容易和便捷,成本较小,并且有些资料并非实地调研能够获得的。相对于调研资料,其不足之处在于,针对性、时效性、全面性和客观性都有待评估。因此,有必要对二手资料信息进行相关评估。此外,二手资料也可以划分为定性资料和定量资料。

总之,每一个监测与评价指标都需要有清楚的、确定的数据来源。通常来说,数据信息采集是官方统计机构数据库、政策执行部门日常管理数据库及实地调查数据库的有机结合。但是,在具体的数据采集和使用过程中需要做出一定的调整。因此,最初的数据收集工具在某些情况下(尤其是在评价某项重要政策时)需要执行特殊的调查而做出相应的修改和补充。

4.1.2.3 教育政策监测与评价的数据管理与分析

数据的管理同样非常重要,必须以数据库的形式对数据进行管理,以方便和保证研究人员对数据进行相关的统计分析。数据的管理涉及四个步骤。

第一,数据录入软件的选择。数据录入软件的选择对于数据质量的保证非常重要。随着数据管理水平的不断提升,产生了专门的数据录入软件。如“西发”项目监测与评价调查数据录入采用的是CSPro软件。CSPro是由美国普查局开发、中国国家统计局计算中心进行汉化移植的。它可以让用户在单一的集成开发环境中创建、修改和运行数据录入、批量编辑及交叉制表应用程序,它可按照每个观察单位(一个或多个调查问卷)来处理数据,其中每个观察单位可以由一个或多个数据记录组成。

第二,数据录入模板的建立。数据录入模板建立的关键在于编码,包括样本的编号、变量名的编写、变量的取值等方面。

第三,数据的录入。数据录入最重要的是培训数据录入人员,确保其熟悉数据编码和软件及相关要求。从保证数据录入质量的角度,双份录入校对及录入数值范围设定等措施非常重要。EpiData软件具有双份输入校对的功能,可以打印出双份独立录入后的不一致部分,数据管理者可以较为容易地进行修改,从而有效地减少录入错误的发生。

第四,数据的清洗。大规模的数据调查中,调查者填写错误、数据录入错误等情况在所难免,数据错误对数据分析的准确性会产生很大的影响。因此,在数据管理中有必要对数据进行清洗。数据清洗主要是针对异常值、缺失值等进行处理,目前主要使用样本删除、均值替代、逻辑插补、回归分析插补等方法。

明确相关机构在数据分析中的责任非常重要,数据分析不仅包括对指标的简单描述性分析,还包括通过计量模型探究指标间的关联性及进一步挖掘其背后的深刻含义。

4.1.2.4 教育政策监测与评价的信息公告和发布系统

监测与评价报告应当恰当地发布。其中,最为重要的是确定发布的时间及发布的方式,进而确保关键信息能够有效地传递给政策管理者与决策者。此外,为应对公众问责,也要向公众及相关学术界发布政策执行效果方面的信息。

4.1.2.5 关键执行者间的组织安排

由于监测与评价系统包含不同的机构,确定关键执行者(参与者)之间的责任非常重要。同时,需要在不同执行者之间构建一个清晰的、高质量的、便捷的信息交流机制。

监测与评价系统的组织架构由三部分组成(见图4-1),分别是负责政策制定的中央政府及相关部委(如教育部、财政部、科技部等)、省政府及市(县)政府;负责政策分析的监测和评价机构;负责数据采集工作的统计局及下属城调队、专项数据收集人员等。在这一组织系统中,各层级的监测与评价机构居于核心地位。这些机构设计监测和评价方案,对下要与统计部门沟通协调,帮助他们完成数据采集工作;对上要对上级主管部门负责,提交政策实施的监测报告和评价报告;同时,他们还需要回应社会各界、科研机构、媒体及捐赠者的问责,采纳各方的合理意见和建议。

图4-1 监测与评价系统的组织架构

4.1.3 教育政策监测与评价系统的建构

构建教育政策监测与评价系统并非一蹴而就,需要政策制定部门、政策分析部门及数据收集部门各司其职,同时,各部门还要保持沟通协调,才能按照如下步骤建立起一个结果导向的政策监测与评价系统。笔者参考国际组织政策监测与评价的工作经验,将教育政策的监测与评价系统的构建归纳为10个步骤。

(1)协商做好建构监测与评价系统的准备工作(人员配备,资金筹措,监测与评估方案设计等)。

(2)对监测与评价的目标达成一致意见。

(3)选择考察监测和评价目标的关键指标。根据政策目标设定背景指标、投入指标、产出指标、结果指标和影响指标果。研究者根据政策预期目标设立一级指标、二级指标……并用科学方法为各指标赋权重。

(4)进行基线调研,根据关键指标采集政策推行前、推行中和推行后的数据。

(5)基于现状数据分析,制订改进计划,设立政策实施后的结果目标值。

(6)监测政策实施过程,关注结果变化。

(7)政策实施某一阶段后对其效应进行评价。

(8)向上级政府相关部门汇报监测与评价结果。

(9)基于监测和评价发现的问题,提出下一轮政策实施的改进建议。

(10)保留监测与评价的三方组织机构,建立监测与评价的长效机制,为后续政策服务。

4.1.4 教育政策监测与评价的方法模式

教育政策的监测与评价涉及政策制定、试点、全面实施的全过程,根据其在政策制定和实施中所处的阶段,可以将政策监测分为过程监测和绩效监测两类,将政策评价分为政策前评价、政策中评价及政策后评价三类。以下将介绍在教育政策领域应用较为广泛的四类监测与评价方法模式,分别是逻辑框架方法、CIPP评价模式、受益归宿分析及影响力评价。

4.1.4.1 逻辑框架方法(Logical Framework Approach,LFA)

逻辑框架方法是美国国际发展署20世纪60年代后期用于项目规划的一种方法,主要用于公共政策或项目的规划、实施、监测和评估,它可以在政策或项目实施的各个阶段使用,但主要在政策或项目实施后评价中使用。逻辑框架方法是指利用逻辑关系分析公共政策或项目的一系列变化过程,进而评价政策或项目的效果、效益等。其前提假设是:当必要的外部条件得到满足时,项目活动的投入/活动、产出、目的、目标之间有着必然的因果关系,且都能通过一定的方法或手段进行度量。[6]这种方法的关键在于对于政策或项目逻辑关系模型的建立,即使用简单的框架图清晰地呈现政策或项目的投入/活动、产出、目的和目标的内涵和相互关系,呈现政策或项目的因果关系链条。具体来看,逻辑框架方法中的投入/活动、产出、目的、目标的含义及测评方法如表4-3所示。

表4-3 逻辑框架方法的因果关系链条

续表

对于“新机制”政策的监测与评价来说,理清各项内容、各个阶段的逻辑关系,剖析其是否存在因果关系是至关重要的一环。通过逻辑框架方法有利于清晰地认识“新机制”各项投入活动能够带来受益群体的哪些变化,进而达到什么样的目的,实现什么样的目标。逻辑框架方法的理念能够为“新机制”政策监测与评价指标体系的建立提供一个逻辑框架,通过“新机制”投入/活动、产出、目的、目标等方面逻辑关系的界定,可以为实施政策效果评价或影响力评价的实证分析提供基础和支撑。

4.1.4.2 CIPP模式(Context-input-process-product,CIPP)

CIPP评价模式是20世纪60年代美国教育改革运动中,在批判目标评价模式的基础上形成的政策或项目评价模式,它由美国学者斯塔弗尔比姆(Stufflebeam)于1966年创立。与目标评价模式主要关注政策或项目的目标达成情况不同,CIPP模式同时也关注政策或项目目标的选定及其合理性问题,是对政策或项目的形成、实施及结果等方面的全面评价,为整个教育工作的改进服务。

CIPP评价包括了四个步骤:背景评价(context evaluation)、投入评价(input evaluation)、过程评价(process evaluation)及产出评价(product evaluation)。这种评价模式常常是决策导向或改良导向的,认为评价为管理者进行决策提供信息服务。其中,背景评价是在特定的环境、背景下评定政策或项目的需求、问题、资源等方面,本质上是对政策或项目目标的合理性进行评价,是CIPP评价的开端和基础;投入评价是在背景评价的基础上,对达到目标所需的条件、资源及各备择方案的优缺点所做的评价,本质上是对政策/方案的可行性和效用性的评价;过程评价是对政策或项目实施过程的评价,通过对实施过程持续的监督、检查和反馈为政策制定者、管理人员等群体提供信息,以及时调整和改进实施过程,类似于对政策的过程性监测;产出评价则是对政策或项目的目标达成情况的评价,考察人们的需要满足程度。四个步骤环环相扣,从目标合理性评价出发,通过对政策或项目的可行性分析,确定政策或项目实施方案,继而在政策或项目的实施过程中进行长期地、持续地监测,及时反馈信息,为调整和改进政策或项目的实施提供信息,最后对政策或项目的实施结果进行目标达成评价、受益群体满意度评价等[7]。可见CIPP模式关注了政策或项目目标设定、方案选定、政策或项目实施、效果评价的全过程,全程性的评价模式提供了更为全面的信息和数据。

CIPP方法蕴含的改进性评价、决策导向等思想无疑对政策或项目评价的科学性、全面性提供了很好的思路。这种方法从背景评价入手分析政策或项目目标设立的合理性,从投入评价方面分析可行性,从过程评价角度考察政策或项目的实施过程,从目标达成情况和满意度等方面评判政策或项目实施的结果。

对于“新机制”政策来说,该政策的实施和推广是以较为强大的财政实力为后盾的,政府也是在对国家财力的综合考虑下提出来的。然而,具体到各个地区,每个地区的发展情况千差万别,尤其是我国西部贫困地区。考虑到“新机制”政策本身对地区经济发展的依赖,本研究在构建监测与评价指标体系时,将借鉴CIPP评价的思想,将背景作为重要的评价内容,通过地区的人均GDP、人均财政收入等指标考察各个地区“新机制”政策的背景。当然,本研究也将投入、产出及结果指标作为“新机制”监测与评价体系的重要组成部分。

4.1.4.3 受益归宿分析(Benefit Incidence Analysis,BIA)

受益归宿分析(又称“受益范围分析”)是一种分析政策或项目直接影响的工具,是对哪些群体直接受到某项政策的影响以及影响程度有多大的简要评价[8]。该方法与公共支出归宿分析类似,能够反映政府对公共补助的分配情况以及目标群体的受益情况,通过公共支出归宿分析可以回答:政策或项目的受益人是谁(who)?受益程度有多大(how)?政府是否有效地瞄准了政策或项目的目标群体(whether)?可以说,通过支出归宿分析可以评价政府公共财政支出的公平性和目标效率。这种政策评价方法的应用范围非常广泛,常用来评价政府的卫生补助、教育补助分布情况,也应用于社会救助、基础设施建设、扶贫项目及其他转移性支付等公共财政支出的评价。

受益归宿的分析方法很多,但基本上可以分为两类。第一类是静态受益归宿分析,通常称之为经典受益归宿分析,研究在一段时期内,政府补助在个体和群体间的分布情况,这种分析方法经常用于评价公共支出改革的分配效应,其研究结果对公共支出改革产生重大影响。第二类为动态受益归宿分析,即将历史比较和边际收益的计量经济学评价结合起来,分析政府支出的受益归属。在分析过程中,首先进行历史趋势分析,将结果与以前的受益归宿研究进行比较,通过比较来分析过去的一段时间内,哪些人群从政府的财政支出中获益,然后,进一步进行边际收益的计量经济学评价。受益归宿分析通过简单的计算方法考察政策或项目资源在目标群体中的分布,具有很强的可操作性,结论简单明了。

对于“新机制”政策的评价研究,可以通过对政府“两免一补”受益分布的测算,评价“新机制”政策的目标实现有效性,评价“新机制”政策的目标瞄准、目标达成程度,其中“两免一补”受益学生的目标瞄准程度与“新机制”政策减负目标息息相关。一般而言,弱势群体对福利增加的边际效应最大,如果“两免一补”对底层群体的瞄准情况较好,将有利于实现政策对农村居民家庭的减负目标。

4.1.4.4 影响力评价(Impact Evaluation,IE)

影响力评价是应用最广泛、方法最复杂、实施起来最困难同时也是功能最强大的一种公共政策监测与评价模式。它最早出现在20世纪70年代初,当时主要是对扶贫项目的评估。影响力评价基于大规模抽样调查,收集政策或项目干预对象在实施政策或项目前后发生变化的信息数据,以考察政策实施是否对政策覆盖群体产生了预期的效果,而且要分析政策干预与影响效应间的因果关系[9]。因此,影响力评价要回答的问题主要包括:政策是如何影响受益者的?特定的进步和提高是政策产生的直接结果还是其他因素引起的?是否可以通过修改政策设计来提高政策的影响力?政策效果的产生是否符合成本效益的原则?在对政策进行影响力评价时,常常需要进行严密的实验设计,继而通过官方统计数据或大规模抽样调查收集的数据,构建严谨的计量模型,以评价政策的“净”效果。

正是由于影响力评价建立在对政策宏观把控的基础上,研究方法精密严谨,能在较大程度上考察政策或项目的净影响。这种方法近几年在世界银行等国际组织和发达国家得到了较为广泛的应用。将影响力评价方法引入到公共教育政策效果的评价中无疑对于公共教育政策评价理论与方法的发展具有重要意义。

本研究也将借鉴影响力评价的思想考察“新机制”政策及其各项政策内容对义务教育质量提升、义务教育均衡发展等方面的影响效应。主要回答政策是如何影响受益者的、政策实施是否实现了预期效果等问题。

以上根据公共教育政策的特征,借鉴国际组织和发达国家公共政策监测与评价的模式简述了教育政策监测与评价的方法。在教育政策监测与评价领域,各种方法和模型纷繁复杂,此处并未列举所有的方法,只是根据方法的适切性,概述了几种在本研究或者其他教育政策评价研究中经常使用的监测与评价方法。本研究主要探索在“新机制”政策全面实施的背景下如何较为全面地监测政策实施的过程、评价政策的效果。逻辑框架方法和CIPP方法所蕴含的基本理念为本研究构建“新机制”政策的监测与评价指标体系提供了理论框架,而受益归宿和影响力评价能够为“新机制”政策评价提供科学的方法技术。需要说明的是,影响力评价方法涉及复杂技术、模型,而本研究限于数据限制和预先没有开展实验研究设计,因而仅能借鉴其思想来开展对“新机制”实施效果的评价。