信效度分析是教育科学研究中评价研究工具的可靠性与适用性的测量学指标。如果研究使用的是自行编制的量表,需要对其信效度进行考证,如果使用的是他人编制的有效量表,需要报告该量表在当前研究中的信度情况,以说明使用该量表的适合性。
(一)信度及其分析
信度(reliability)是指测验结果的一致性、稳定性及可靠性。根据测量学的相关原理,考察信度的指标主要有一致性信度、分半信度、平行信度、重测信度等。其中重测信度的分析需要对同一批被试进行间隔两周以上半年以内的时间两次测试,对两次测试结果之间的相关程度进行分析,相关程度越高,说明重测信度越高。重测信度的分析基本上是采用积差相关分析来实现的,这里不再说明。
除重测信度外,SPSS提供了其他几种信度分析的统计模块。这里以某包含10道测试题的量表的信度分析为例进行说明。
信度分析的SPSS过程如下:
选择Analyze→Scale→Reliability Analysis,打开信度分析对话框,将题1至题10放入右侧“Item”框,如图12-25所示。信度分析的默认输出为内部一致性信度分析(Alpha)的结果,如果要分析其他的信度指标,点击“Model”的下拉框,可选择分半信度(Split-Half)、平行信度(Parallel)等信度指标。此处选择其默认分析,直接点击“OK”键,可以得到表12-21所示的内部一致性信度分析表。
表12-21中列1为内部一致性信度,列2给出了进行信度分析的题目数。由表12-21中数据可知,这个由10道题目构成的测验的内部一致性信度为0.694,属于可接受范围。一般情况下,信度值在0.8以上说明信度指标比较好,在0.4以下则不可接受。0.4~0.8属于可接受范围。
图12-25 信度分析对话框
表12-21 内部一致性信度分析表
(二)效度及其分析
效度(validity)即有效性,它是指测量工具或手段能够准确测出所需测量的事物的程度。效度是指所测量到的结果反映所想要考察内容的程度,测量结果与要考察的内容越吻合,则效度越高;反之,则效度越低。考察效度的指标有三种,分别是内容效度、结构效度和效标关联效度。
内容效度是指测验内容本身是否是可靠有效的,即测验内容是否反映了测验想要测量的东西。内容信度的衡量通常采用专家评定的方法来进行。一般选择测验内容研究领域内的多名专家,对测验内容的可信度进行评分,根据专家评分的一致性和评分的高低来进行反映,评分越高,一致性越高,则说明内容效度越好。
结构效度是指测量结果体现出来的某种结构与观测值之间的对应程度。结构效度的分析需要用到结构方程,其基本思路就是先根据理论构思构建测量工具或手段的结构,即所测内容各个构成部分及其之间的关系,然后使用该测验收集数据,利用数据对该结构进行拟合,如果拟合指标比较好,则说明测验的结构效度比较好。常用的结构方程分析工具有Amos、Lisrel、M-plus、SEM等。需要注意的是,在结构方程软件的使用普及之前,有研究者采用因子分析的手段进行结构效度的考察,由于因子分析本身是一种探索性的分析,它作为结构效度的考察方法并不是特别适合,建议尽量不要用因子分析来考察结构效度。
效标关联效度指选择一个衡量测验工具有效性的指标,通常是一个在内容上有关联的可靠的测量指标,比如是经过信效度考察符合测量学指标的量表,或者是公认的经典量表,或者是某种公认的测评标准,然后让同一批被试在测验指标及效标指标上进行回答,二者相关的程度,反映了测验与效标的关联程度。相关越高,说明效标关联效度就越好。例如,如果研究者想要考察所编制的幸福感量表的效标关联效度,可以选择心理健康量表作为效标。因为大量的研究表明,幸福感水平越高的个体,其心理健康状况也越好,所以如果被试在研究者编制的幸福感量表上的得分越高,其在心理健康量表上的得分也越好,二者存在显著的中高程度的相关,则可以认为该幸福感量表的效标关联效度比较好。效标关联效度的分析一般也采用积差相关来实现,故不再说明。
【思考与练习】
一、名词解释
1.信度
2.结构效度
二、简答题
1.某研究者想要考察某种思维训练的方法是否有效,选择30名被试进行训练,训练前后分别对被试进行了同样的思维能力的测试,得到的测试数据见下表,试分析该思维训练方法是否有效。
2.某小学教师想要了解作业反馈对学生知识掌握的作用,采用了两种方法进行作业反馈,一种仅对作业进行正误批改(A组),另外一种则在错误的题后给出正确的做题方法(B组)。该教师将班上学生随机分成两组,每组15人,分别对其采用两种反馈模式批改作业,持续两周后对学生进行两周内所学知识的测验,结果见下表。试分析该教师采用的两种反馈方式的效果是否有差异。
3.某区小学五年级数学期末考试为全区通考,现从该区选择了A、B、C三所学校,从每所学校参加考试的学生中随机抽取20名,登录其成绩见下表。试分析这三所学校五年级学生的数学成绩是否有差异。
续表
三、实践操作
设计一个“有效学习教育科学研究中数据分析”的质性研究并实践。
【参考文献】
[1]陈向明.质的研究方法与社会科学研究[M].北京:教育科学出版社,2000.
[2]约瑟夫·A.马克斯威尔.质的研究设计:一种互动的取向[M].朱光明,译.重庆:重庆大学出版社,2007.
[3]迈尔斯,休伯曼.质性资料的分析:方法与实践[M].张芬芬,译.重庆:重庆大学出版社,2008.
[4]张文彤,邝春伟.SPSS统计分析基础教程(第2版)[M].北京:高等教育出版社,2014.
[5]张文彤,董伟.SPSS统计分析高级教程(第2版)[M].北京:高等教育出版社,2013.
[6]张敏强.教育与心理统计学(第3版)[M].北京:人民教育出版社,2010.
[7]张厚粲,徐建平.现代心理与教育统计学(第3版)[M].北京:北京师范大学出版社,2009.
[8]张奇.SPSS for Windows:在心理学与教育学中的应用(第1版)[M].北京:北京大学出版社,2009.