四、讨论与建议(1 / 1)

在中国社会文化和教育情境中,迫切需要对幼儿园等各类托幼机构的教育质量进行有效的评价,以便把改进托幼机构教育质量的努力建立在科学实证的基础上。然而,对于早期教育实践工作者和研究者而言,缺乏具有良好测量学特性的评价工具是托幼机构发展和质量改进的主要障碍之一。《量表》的研发正是为了这一目标,致力于成为中国托幼机构教育质量评价的有效工具。基于Messick[18]关于测量工具效度验证的整合性理论框架,本文呈现并讨论了多角度的证据,以表明《量表》能够按照设计意图,正常发挥测量和区分中国托幼机构教育质量的功能。

(一)关于《量表》的测量信度

在测量信度方面,本研究考虑和计算了多种形式的信度指标,包括《量表》的内部一致性(比如Cronbach’s α),以及在多种测量水平上的评分者间一致性(比如项目得分水平、子量表得分水平和总量表得分水平)。多种实证性分析结果表明,《量表》具有相当不错的测量信度;同时,这些结果总体上优于类似的测量工具(比如ECERS或ECERS-R)。[19][20]当然,《量表》的内部一致性有些偏高,也提示研究者在将来的修订中进一步检视《量表》各个项目中的评价指标和内容,把项目间可能的交叉重复降至最低程度。

(二)关于《量表》的测量效度

在测量效度方面,研究者运用了多种分析方法,努力获取了多种形式的证据,以验证这些不同形式的证据是否共同支持该《量表》的有效性。在传统意义上的同时效度方面,研究者采用了多元方差分析与单因素方差分析方法,检验样本班级的《量表》得分与所在幼儿园等级之间的相互关系。分析结果显示,《量表》得分与幼儿园的办园等级之间具有良好的一致性,表明《量表》较好地体现了设计意图,能够发挥测量和区分中国托幼机构教育质量的功能。

在校标关联效度上,研究者运用了多种分析方法检验了《量表》各项得分与儿童发展结果(语言、早期数学、社会认知)之间的相互关系模型。零阶二元相关以及偏相关(控制了儿童年龄、父母平均受教育水平——作为家庭社会经济地位的代表性指标)的结果显示了与预期一致的清晰的相互关系结果模型。二元相关分析(零阶相关和偏相关)的结果为《量表》的校标关联效度提供了有力的证据,表明该《量表》得分能够作为中国托幼机构教育质量的指标:托幼机构在《量表》上得分越高,质量越高,越有利于儿童语言、认识、社会性技能的发展。同时,两者相关性的程度优于本领域的一些权威测量工具所报告的结果,比如ECERS和ECERS-R。

从这些相关系数上看,《量表》得分与儿童发展结果之间的相关性程度并不高(比如零阶相关系数为0.20~0.30,偏相关系数为0.10~0.20),但在同类研究中,这种大小的效应量作为托幼机构教育质量测量工具的效度证据已经足够充分了。从儿童发展的生态学视角来看,儿童发展实际上受到一系列复杂因素的影响,构成了一个多层级的、动态的复杂环境系统;[21]托幼机构教育仅仅是这一系统中很小的一部分,因而,与儿童发展结果相关性不高是可以理解的。

值得指出的是,在《量表》的8个子量表中,我们完全自主研制的“集体教学”子量表与儿童发展结果的每一个方面(包括语言、早期数学、社会认知和动作技能)均展现出一致的稳定关联。这些证据让我们相信“集体教学”这一子量表在中国社会文化背景中能够敏感地反映和评价托幼机构的教育质量。另外,研究结果显示,儿童的动作技能测试得分与《量表》得分关系非常微弱。这是一个值得关注的、具有中国特色的教育现象,多种社会和文化上的原因可能会导致这一结果,有两项研究专门对此问题进行了探讨。[22][23]最后,为探索《量表》的内部结构,研究者进行了探索性因素分析(EFA),并采用了“最佳策略”(即“平行分析”)以决定因子数目的保留。探索性因素分析揭示了一个两因子的结构模型——这一结构在很大程度上与ECERS以及ECERS-R的一些研究结果相近,[24]并同样把这两个因子分别命名为“学习条件”和“教学与互动”。但鉴于类似评价工具(如ECERS与ECERS-R)因子分析的相关研究结论往往并不一致,[25][26][27]我们把本研究中的因子分析结果也看作试探性的。这一因子结构的稳定性和可推论性有待于未来新的样本数据的检验。

综上所述,我们以宽宏的视角从多个角度检验了《量表》第一版的测量信度和效度。本研究所呈现和讨论的这些证据与ECERS和ECERS-R的相关研究结果相比更加令人满意。这一系列的证据支持我们得出结论:《量表》具有良好的测量学属性;正如ECERS和ECERS-R在美国教育情境中所发挥的功能与作用,《量表》也能在中国教育情境中为托幼机构教育质量提供有效的衡量指标。

(三)研究局限与展望

当然,本研究存在一些局限性,这些局限性也预示着未来的研究方向。比如,本研究的样本量在同类研究中尽管已经不算小了,但仍难以同时支持探索性和验证性因素分析(如将样本分成两半,一半用于探索性因素分析,另一半用于验证性因素分析)。将来需要收集更大、更具代表性的班级样本数据,以检验本研究探索出来的因子结构是否具有普遍性和稳定性。同样重要的是,将来最好同时使用本《量表》和其他权威的托幼机构质量测量工具(如ECERS-R或CLASS)进行数据采集,以进一步检验《量表》的同时效度。另外,使用纵向研究设计和更好的儿童发展评价工具,多次收集儿童发展结果数据,把儿童发展的起始水平(前测结果)纳入协变量,以检验《量表》得分对儿童发展的预测效度,这也是十分必要的。我们非常需要运用新的数据分析技术(如项目反应理论),在不同层面、更深入具体地分析《量表》的心理测量学特性(比如在子项目或指标水平上)。

在本研究结果的基础上,通过以后持续不断的研究努力,《量表》有望成为中国社会和文化背景下优秀的托幼机构质量测量工具,对引领和提高中国的学前教育质量发挥重要作用。

[1] 注:本章的主要内容发表于美国《儿童早期研究季刊》2014年第3期。源文献:Li,K.,Hu,B.,Pan,Y.,Qin,J.,& Fan,X.Chinese early childhood environment Rating Scale (trial)(CECERS):a validity study.Early Childhood Research Quarterly,2014,29(3):268-282.doi:dx.doi.org/10.1016/j.ecresq.2014.02.007.

[2] Messick,S,Validity.In R.L.Linn (Ed.),Educational Measur ement [C].New York,NY:Macmillan,1989:13-103.

[3] “准办园”是指取得办园许可证但没有通过省三级评估的幼儿园,本研究中被归为低等级园。

[4] 李克建,胡碧颖.中国托幼机构教育质量评价量表(第一版).2012,未出版评价工具.

[5] 李克建.科学发展观视野下的幼儿园等级评定制度:来自浙江的经验[J].幼儿教育:教育科学版,2010,(4):1-5.

[6] 张厚璨,周容,陈帼眉,赵钟岷,王晓平.中国儿童发展量表(3~6岁)手册.1992.

[7] CDCC原量表中使用的名称为“认知”,鉴于该分测验的内容主要是在儿童的早期数学学习领域,且为了区别后一个分测验的名称(“社会认知”),本文中,该分测验我们使用“早期数学”这一名称。

[8] 周容,张厚璨.CDCC中国儿童发展量表(3~6岁)的编制[J].心理科学,1994,17(3):137-192.

[9] 这8名培训者是经过事先培训的“黄金标准评分员”(golden-standard raters),在训练和试测中,每个评分员的评分与《量表》第一作者的评分之间的一致性信度在0.9以上。

[10] Harms,T.,Clifford,R.M.,& Cryer,D.Early Childhood Environment Rating Scale (Rev.ed.)[M].New York,NY:Teachers College Press.2005:Ⅰ-Ⅲ.

[11] Fan,X,Statistical significance and effect size:two sides of a coin[J].Journal of Educational Research,2001,(5):275-282.

[12] 父母受教育背景,这里采用的是父母的平均受教育年限——这是研究者能够获取的与家庭社会经济水平相关的唯一可靠的变量。

[13] Peisner-Feinberg,E.S.,Burchinal,M.R.,Clifford,R.M.,Culkin,M.L.,Howes,C.,Kagan,S.L.,and Yazejian,N,The relation of preschool child-care quality to children’s cognitive and social developmental trajectories through second grade,Child Development,2001,72:1534-1553.doi:10.1111/1467-8624.00364.

[14] Burchinal,M.,Howes,C.,Pianta,R.,Bryant,D.,Early,D.,Clifford,R.,& Barbarin,O,Predicting child outcomes at the end of kindergarten from the quality of pre-kindergarten teacher-child interactions and instruction,Applied Developmental Science,2008,12:140-153.doi:10.1080/10888690802199418.

[15] Horn,J.L,A rationale and test for the number of factors in factor analysis[J],Psychometrika,1965,(2):179-185;Thompson,B,Exploratory and confirmatory factor analysis:Understanding concepts and applications,Washington,DC:American Psychological Association,2004.

[16] Widaman,K.F,Exploratory factor analysis and confirmatory factor analysis.In H.Cooper,P.M.Camic,D.L.Long,A.T.Panter,D.Rindskopf,& K.J.Sher (Eds.),APA handbook of research methods in psychology.Washington,DC:American Psychological Association,2012,(3):361-389.

[17] Sakai,L.M.,Whitebook,M.,Wishard,A.,and Howes,C,Evaluating the Early Childhood Environment Rating Scale (ECERS):Assessing differences between the first and revised editions[J].Early Childhood Research Quality,2003,(4):427-445.

[18] Messick,S,Validity.In R.L.Linn (Ed.),Educational Measurement [C].New York,NY:Macmillan,1989:13-103.

[19] Harms,T.,Clifford,R.M.,and Cryer,D,Early Childhood Environment Rating Scale (Rev.ed.)[M],New York,NY:Teachers College Press,2005.

[20] Peisner-Feinberg,E.S.,Burchinal,M.R.,Clifford,R.M.,et al.,The relation of preschool child-care quality to children’s cognitive and social developmental trajectories through second grade,Child Development,2001,72:1534-1553.doi:10.1111/1467-8624.00364.

[21] Bronfenbrenner,U,The Ecology of Human Development:Experiments by Nature and Design.Cambridge,MA:Harvard University Press,1979.

[22] 陈月文,胡碧颖,李克建.幼儿园户外活动质量与儿童动作发展的关系.学前教育研究,2013,(4):25-32.

[23] Hu,B.,Li,K.J.,De Marco,A.,& Chen,Y..Examining the quality of outdoor play in Chinese kindergartens[J].International Journal of Early Childhood,2015,47(1):53-77.

[24] Sakai,L.M.,Whitebook,M.,Wishard,A.,and Howes,C,Evaluating the Early Childhood Environment Rating Scale (ECERS):assessing differences between the first and revised editions[J].Early Childhood Research Quality,2003,(4):427-445.

[25] Sakai,L.M.,Whitebook,M.,Wishard,A.,and Howes,C,Evaluating the Early Childhood Environment Rating Scale (ECERS):assessing differences between the first and revised editions[J].Early Childhood Research Quality,2003,(4):427-445.

[26] Gordon,R.A.,Fujimoto,K.,Kaestner,R.,Korenman,S.,and Abner,K,An assessment of the validity of the ECERS-R with implications for measures of child care quality and relations to child development[J].Developmental Psychology,2013,(49):146-160.

[27] Perlman,M.,Zellman,G.L.,and Le,V,Examining the psy chometric properties of the early childhood environment rating scale-revised (ECERS-R)[J].Early Childhood Research Quarterly,2004,(3):398-412.