三、讨论与建议(1 / 1)

在我国致力于“保障适龄儿童接受基本而有质量的学前教育”的政策背景下,迫切需要有适宜我国文化和国情、具有良好测量学特性的学前教育机构质量评价工具。《量表》的研发正是为了这一目标,致力于成为中国文化背景下托幼机构教育过程性质量的有效评价工具。但由于我国国情的复杂性与教育质量本身的复杂性,托幼机构教育质量测量工具的研发是一个复杂的长期的过程,需要通过科学的程序对其内容、结构、测量学各项特性不断检验和优化。在本章,我们梳理了《量表》从第一版至第三版持续的修订与优化过程,并提供了《量表》第三版的效度验证的证据。下面,研究者将对这些方面的结果进行简要讨论。

(一)《量表》内容与结构的持续优化

《量表》第一版是在吸收和借鉴多个权威评价工具的质量概念,基于我国文化、国情和幼儿园教育实际而研制的。《量表》借用了ECERS-R的总体架构,原创并增设了集体教学评价的子量表。在项目的内部结构上,《量表》为每个项目创设了“子项目”——评价的维度,为每个子项目设计了由低到高的四个等级指标:1分=不适宜,3分=合格,5分=良好,7分=优秀,从而使得《量表》的评价项目既有“经度”(1~7分的等级指标)、又有“纬度”(代表不同评价维度的“子项目”),逻辑结构更加严密。由于这些大幅度的修订,使得《量表》第一版成为基于但显著不同于ECERS-R的新工具,以适应和满足中国文化和国情背景下托幼机构教育质量评价的需要。[21]

基于《量表》第一版的试测结果,研究者对《量表》进行了调整和修订,研制出《量表》的第二版。与第一版相比,第二版对整个量表的架构进行了优化,子量表从8个整合成为7个;对内容进行了适当“瘦身”,子项目数量从177个减少到160个,以尽可能避免和减少交叉重复的内容。为增进评价的精准性,包含较多评价要点的一个等级指标被拆分成数量不等的若干个精细指标,依据精细指标的评分结果推算子项目的得分。第一版中,子项目的可能得分仅为1、3、5或7;第二版中,子项目得分为1~7的自然数,项目得分取不同子项目得分的均值。精细指标评分的方式以及子项目、项目得分计算方法的变化增强了《量表》对托幼机构班级质量反应的精确度与敏感性。另外,《量表》第二版中把几个在实践中未得到足够重视、经常被评为不适用的项目设置为“增设项目”(如“安抚和独处的空间与设施”“音像设备和电脑的使用”“接纳多元文化和差异”等),既保持《量表》对实践的引领性,也允许这些项目在一些利害攸关的评价中暂不纳入统计分析。“允许不适用项目”以及“增设项目”的设置进一步增强了《量表》对我国复杂的国情和幼儿园教育情境的适应性。

基于《量表》在我国不同区域的试测和反应情况,研究者对《量表》的结构做了进一步的突破性调整,编制出第三版。与前面两个版本相比,第三版的最大变化是在原来的“不适宜”与“合格”等级之间,增设了一个新的等级“最低要求”,从而由原来的7点评分改变为9点评分。评分等级的增加必然带来评分指标的相应增加,精细评价指标从第二版的814个增加到1127个,进一步丰富了评价的内容。毫无疑问,经济社会发展水平是教育发展水平和教育质量水平的重要制约因素之一。我国与发达国家的最大不同国情是,中国是世界上最大的发展中国家,经济社会发展水平不高,人均资源严重不足,因而相当高比例的托幼机构处于低质量水平。从得分分布的角度来看,我国托幼机构班级教育质量高度聚集在低端,这一现象在农村和中、西部地区尤为明显。对于我国的托幼机构质量评价工具而言,必须能够对合格水平以下的低端质量进一步作出精准的合理区分。因而,研究者认为,《量表》第三版从7点评分调整为9点评分,增加了质量区分的层级,是《量表》深度本土化、全面适应我国国情和不同区域学前教育质量评价需求复杂性的关键一步。

研究者组织评分员团队运用《量表》第三版采集了多个省份的幼儿园班级教育质量观察数据,进行了多角度的数据分析,以检验第三版《量表》的测量信度与效度。

(二)《量表》第三版的测量信度与效度

在测量信度方面,研究者分析了《量表》第三版项目水平与子量表水平上的评分者间一致性,以及量表的内部一致性。各项数据分析结果显示,《量表》第三版的测量信度表现出色,且总体上优于前面的两个版本。这些证据表明,《量表》在测量信度方面的性能优化是有效的。

在测量效度方面,研究者重点分析了《量表》第三版的校标关联效度和结构效度。在校标关联效度上,研究者运用了相关分析检验了第三版《量表》各项得分(量表总分以及7个子量表得分)与儿童发展结果(语言、早期数学、社会认知)之间的相互关系模型。零阶二元相关以及偏相关(控制了儿童年龄、母亲受教育水平、城乡3个协变量)的结果显示了与预期一致的清晰的相互关系结果模型:托幼机构在《量表》上得分越高,质量越高,越有利于儿童语言、认识、社会性技能的发展。这些结果为《量表》的校标关联效度提供了有力的证据,表明该量表得分能够作为中国托幼机构教育质量的指标。从相关系数上看,第三版《量表》的校标关联效度也略优于第一版《量表》(如第三版《量表》各项得分与儿童语言、早期数学、社会认知测试得分的偏相关系数为0.23~0.41,而第一版《量表》与儿童这些方面发展结果的偏相关系数为0.10~0.20),表明通过修订《量表》在测量效度的主要指标上有进一步提升。与《量表》第一版的相关分析结果基本一致,儿童的动作技能发展结果与第三版《量表》各项得分不存在显著相关。

另外,值得指出的是,偏相关结果显示,某些子量表得分与儿童的语言、早期数学、社会认知不相关,比如:儿童语言发展与课程计划与实施、人际互动子量表得分不相关,与集体教学、游戏活动质量的关系仅存在边际效应;儿童的早期数学与班级的空间设施质量不相关;儿童的社会认知与空间与设施、课程计划与实施、人际互动质量不存在相关性,与集体教学质量仅存在边际效应。这些结果是否是由于本研究的样本量和样本分布的局限性所致(如中高等级的园所比例太低),亦或是由于协变量中增加了对城乡因素的控制,值得后续采用分布更加合理的大样本数据加以检验和进一步探索。

在《量表》第三版结构效度的验证上,基于《量表》第一版的探索性因素分析(EFA)结果,[22]研究者进行了多个模型的验证性因素分析(CFA)。CFA的分析结果基本支持并证实了《量表》第一版的探索性因素分析结果:《量表》是由两个高度相关的潜在因子构成,一个因子是“学习条件”,从各类空间设施、各类游戏活动的空间与材料及其管理和使用效率、机会与时间、对儿童各类学习与发展需求满足的程度来衡量托幼机构的教育质量;另一个因子是“教学与互动”,主要是评价集体教学活动过程以及各类活动过程中的人际互动(师幼互动、同伴互动等)的有效性(如能否有效满足儿童的情绪、情感需求及其变化,能否有效促进儿童的语言、概念与思维、社会交往技能的发展)。本研究结果为《量表》潜在因子结构的稳定性与一致性提供了有力的证据。

本次验证性因子分析(CFA)的结果与以前探索性因子分析(EFA)结果相比,一个细微变化是,“入园/离园”项目的因子归属从“教学与互动”因子调整到“学习条件”因子。通过对该项目的指标内容分析,研究者认为,这一调整和变化可能是有道理的;尽管“入园/离园”环节涉及一些师幼之间与同伴之间的互动,但从总体上,该项目更多反映的是入园活动与离园活动安排的合理性,涉及游戏活动的机会与时间,而这些评价内容与“学习条件”因子的质量评价维度更加吻合。

(三)研究局限与未来研究方向

本研究存在着若干方面的局限性,有待于在未来的研究中加以有效解决。

第一,本研究的数据采集是在完成不同目的的研究项目的过程中完成的,因而,本研究的样本并非单独为《量表》第三版的效度验证而设计,样本的分布结构不够理想,比如,低质量样本偏多,而中、高端质量的样本数量不足,这对部分数据分析的结果可能会产生一定的影响(比如《量表》得分在幼儿园不同等级上的差异性与区分度,不同水平的班级质量得分与儿童发展的相关性等)。另外,用于验证性因素分析的部分班级样本数据来自于对《量表》第二版评分数据的等值转换;尽管数据转换遵循了尽可能严谨科学的程序,但仍然可能对分析结果的准确性产生一定程度的影响。

第二,由于研究资源(人力、物力)的限制,在数据采集的过程中,未能把同类功能的质量评价工具的使用纳入研究计划,以便获取有力的同时效度证据。

第三,与《量表》第一版有相同的遗憾,本研究中也未能使用更好的儿童发展评价工具,以便更好地获取《量表》的校标关联效度证据。

第四,在未来采集更大规模、分布结构更好样本数据的基础上,有待于在子项目和指标的层面上,采用IRT等现代测量学分析技术,对《量表》第三版进行更加深入的分析。

综合而言,本研究结果充分证明,通过持续不断的修订与优化,第三版《量表》的多项测量信度与效度指标有了进一步提升。尽管仍然存在进一步发展和完善的空间,其信效度证据也有待更进一步的积累,但《量表》已经能够作为中国社会和文化背景下托幼机构教育质量的有效测量工具,为持续引领和推动中国学前教育的质量提升做出贡献。

[1] 李克建,胡碧颖.中国托幼机构教育质量评价量表(第一版).未出版评价工具,2012.

[2] 信效度检验研究已发表论文包括:Li,K.,Hu,B.,Pan,Y.,Qin,J.,& Fan,X.Chinese Early Childhood Environment Rating Scale (trial)(CECERS):A validity study[J].Early Childhood Research Quarterly,2014,29(3),268-282.;Chen,D.,Hu,B.,Fan,X.,& Li,K.Measurement quality of the Chinese Early Childhood Program Rating Scale (CECPRS):an investigation using multivariate generalizability theory[J].Journal of Psychoeducational Assessment,2014,32(3):236-248;陈德枝,秦金亮,李克建.托幼机构教育质量评价的多元概化理论分析[J].幼儿教育,2013,(5);陈德枝,秦金亮,李克建.托幼机构教育质量评价中评委偏差的多侧面Rasch分析[J].心理科学,2016,(3).

[3] 该量表应用研究的已发表论文包括:Li,K.J.,Pan,Y.,Hu,B.Y.,Burchinal,M.,De Marco,A.,Fan,X.,& Qin,J.Early childhood education quality and child outcomes in China:Evidence from Zhejiang Province[J].Early Childhood Research Quarterly,2016,36(3):427-438;Hu,B.,Zhou,Y.,Li,K.J.,& Roberts,S.K.Examining Program Quality Disparities Between Urban and Rural Kindergartens in China:Evidence from Zhejiang[J].Journal of Research in Childhood Education,2014,28(4):461-483;Hu,B.,Li,K.J.,De Marco,A.,& Chen,Y.Examining the quality of outdoor play in Chinese kindergartens[J].International Journal of Early Childhood,2015,47(1):53-77.

[4] Harms,T.,Clifford,R.M.,& Cryer,D..Early Childhood Environment Rating Scale (revised edition)[M].New York:Teachers College Press,1998.

[5] Li,K.,Hu,B.,Pan,Y.,Qin,J.,& Fan,X.Chinese Early Childhood Environment Rating Scale (trial)(CECERS):a validity study[J].Early Childhood Research Quarterly,2014,29(3):268-282.

[6] Chen,D.,Hu,B.,Fan,X.,& Li,K.Measurement Quality of the Chinese Early Childhood Program Rating Scale (CECPRS):an investigation using multivariate generalizability theory[J].Journal of Psychoeducational Assessment,2014,32(3):236-248.

[7] 陈德枝,秦金亮,李克建.托幼机构教育质量评价的多元概化理论分析[J].幼儿教育,2013,(5).

[8] 陈德枝,秦金亮,李克建.托幼机构教育质量评价中评委偏差的多侧面Rasch分析[J].心理科学,2016,(3).

[9] Li,K.J.,Pan,Y.,Hu,B.Y.,Burchinal,M.,De Marco,A.,Fan,X.,& Qin,J.Early childhood education quality and child outcomes in China:Evidence from Zhejiang Province[J].Early Childhood Research Quarterly,2016,36(3):427-438.

[10] Hu,B.,Zhou,Y.,Li,K.J.,& Roberts,S.K.Examining program quality disparities between urban and rural kindergartens in China:evidence from Zhejiang[J].Journal of Research in Childhood Education,2014,28(4):461-483.

[11] Hu,B.,Li,K.J.,De Marco,A.,& Chen,Y.Examining the quality of outdoor play in Chinese kindergartens[J].International Journal of Early Childhood,2015,47(1):53-77.

[12] Li,K.,Hu,B.,Pan,Y.,Qin,J.,& Fan,X.Chinese Early Childhood Environment Rating Scale (trial)(CECERS):a validity study[J].Early Childhood Research Quarterly,2014,29(3):268-282.

[13] 秦金亮,李克建.联合国儿基会-教育部“农村学前教育师资培训基线调研项目”——云南剑川、重庆忠县幼儿园教育质量调查报告.未出版,2014.

[14] 李克建,胡碧颖.中国托幼机构教育质量评价量表(第三版)[Z].未出版评价工具,2014.

[15] 周容,张厚璨.CDCC中国儿童发展量表(3~6岁)的编制[J].心理科学,1994,17(3):137-192.

[16] Li,K.,Hu,B.,Pan,Y.,Qin,J.,& Fan,X.Chinese Early Childhood Environment Rating Scale (trial)(CECERS):a validity study[J].Early Childhood Research Quarterly,2014,29(3):268-282.

[17] Li,K.,Hu,B.,Pan,Y.,Qin,J.,& Fan,X.Chinese Early Childhood Environment Rating Scale (trial)(CECERS):a validity study[J].Early Childhood Research Quarterly,2014,29(3):268-282.

[18] 一般认为,因子分析的样本量越多越好,至少要达到参与分析项目数的5倍。《量表》第三版的项目总数为53个,最终参与分析的项目数为36个,因此,至少需要180个样本班级的质量数据来进行该验证性因子分析。

[19] 需要说明的是,《量表》第二版与第三版在项目—子项目结构上完全一致,“合格”水平在第二版中为3分,在第三版中为5分,因而,具备转换条件。同时,《量表》第二版的班级质量数据没有用于以前的探索性因素分析,可以用于本验证性因子分析的研究。

[20] 《量表》第一版探索性因素分析结果中,共34个项目进入了两因子结构;由于量表在后来的修订过程中,部分项目可能拆分成两个项目(比如,“户外体育活动的场地与设施”,在《量表》第二版、第三版中成为两个项目:户外体育活动的场地;户外体育活动的设施)。因此,在《量表》第三版中,与原来的34个项目内容对应的是36个项目。

[21] Li,K.,Hu,B.,Pan,Y.,Qin,J.,& Fan,X.Chinese Early Childhood Environment Rating Scale (trial)(CECERS):a validity study[J].Early Childhood Research Quarterly,2014,29(3):268-282.

[22] Li,K.,Hu,B.,Pan,Y.,Qin,J.,& Fan,X.Chinese Early Childhood Environment Rating Scale (trial)(CECERS):a validity study.Early Childhood Research Quarterly,2014,29(3):268-282.