——基于多元概化理论与项目反应理论的分析

本章概要

研究背景：《量表》第一版是借鉴国际知名评价工具（如ECERS-R、CLASS）的概念框架，在大量本土化实证研究的基础上，为中国托幼机构教育质量的测量而研发的班级观察评价工具。但如何控制评价误差来源、减小测评误差、提高测量信度，是提高托幼机构质量评价科学性、权威性迫切需要解决的问题。基于现代测量理论的多元概化理论和项目反应理论超越了传统测量理论的局限，能够为《量表》的测量学特性分析提供新的技术和视角。

研究一：基于多元概化理论的分析

研究目的：研究者试图在多元概化理论（MGT）框架下，检验《量表》的测量信度，并探索最佳测评方案。

研究设计与方法：选取浙江省6个地市91所幼儿园的176个幼儿园班级，采用《量表》对其进行了空间与设施、保育、课程计划与实施、集体教学、游戏活动、语言推理、人际互动、家长与教师8个维度的质量评价。采用mGENOVA软件，基于多元概化理论分析数据，进行G研究（绝对决断的概化信度研究）和D研究（最优化测评方案决策研究）。

研究结果：G研究结果显示：（1）不同的子量表在“测量目标”上的方差分量不同；相对而言，样本班级在空间与设施质量上差异最大，在语言推理质量上差异最小。（2）子量表之间的相关系数最低为0.65，这表明《量表》的8个质量维度之间密切相关，在此基础上构成了一个复杂的量表。D研究结果显示：（1）在原测量情境下（两位评分员一个班级），在总量表及8个子量表上均表现出优秀的测量信度水平。（2）在评分员数量变化情境下，一位评分员与两位评分员之间的信度水平增幅最大，多于两位评分员的情境中信度增幅减缓并出现“边际效益递减”效应。

讨论与启示：（1）《量表》总体和8个子量表都表现了出色的测量信度。（2）不同的测量情境和活动过程会导致不同程度的测量信度。（3）为了测量信度与成本/效益之间的平衡，建议一个班级安排两名评分员运用《量表》进行观察测评。

研究二：基于项目反应理论多侧面Rasch模型的分析

研究目的：本研究试图运用项目反应理论多侧面Rasch模型，分析在托幼机构教育质量评价中的评分员偏差。

研究设计与方法：选取东部某省91所幼儿园的174个幼儿园班级，共计28名评分员采用《量表》对其进行空间与设施、保育、课程计划与实施、集体教学、游戏活动、语言推理、人际互动、家长与教师8个维度的质量评价。采用Facets for Windows 3.68.1软件包，基于项目反应理论多侧面Rasch模型，分析在托幼机构教育质量评价中28位评分员的宽严度及自身内部一致性、评分员与班级/项目的偏差。

研究结果：（1）28名评分员评分宽严度差异显著，其中3名评分员内部一致性较差，其余25名评分员内部一致性较稳定。（2）评分员与评价班级的交互作用不显著，与评价项目的交互作用显著。

讨论与启示：（1）在将来的评分员培训中，应进一步明晰概念、增加实例和模拟测评机会，并增加观察测评策略技巧的培训。（2）对项目内容、评价指标与评分方法进行适当修订，减少对访谈信息的依赖。