在行为改变技术中,观察和记录的目的是为了制定行为改变方案。但是,行为改变方案的执行是否有成效,是通过比较方案实施前后所得的行为资料来确定的。因此,所获得行为资料的可靠性如何,将直接影响到辅导结果的解释。为了提高观察结果的准确性,除了尽量避免会影响观察与记录结果的不良因素,运用两人以上对同一行为进行观察与记录外,还应当对他们观察与记录信度进行正确的计算,也就是应学会如何计算观察者间信度(IOR)。获得观察者间信度是行为研究中很重要的一个环节。在科学研究中,可以接受的最低IOR值是80%,如果可以达到90%以上则更为理想。
一般说来,观察者间信度常采用两种主要计算方法来检验:一是粗略的信度计算法;二是逐距核对信度计算法。
(一)观察者间粗略信度计算法
观察者间粗略信度的计算,就是将两人观察的结果中的较少次数(或时间、强度)除以较多次数(或时间、强度),再乘以百分之百,得出两人观察结果的一致百分率,以此来说明两位观察者间的信度。其计算公式为:
如果两位观察者的观察结果完全一样,则二者的观察一致性是1.0或是100%。例如,记录一位智障儿童在每节课时间内“乱发怪声”的行为次数。根据甲观察员的记录,在周一上午10:00~10:40的观察时间内,被观察者共发出17次怪声;但根据乙观察员的记录结果,只有15次怪声,二者观察结果的一致性只有88%(15/17×100%=88 %)。
粗略信度计算法的优点是较为简便,易于掌握,计算十分简单便利;其缺点是不够精确,检验得出的结果往往难以反映出两位观察者记录到同一事件的真实次数及其比率。因此,粗略信度检验法并非计算信度的最佳方法。我们可以从表3-8提供的资料来分析和讨论。表中所列举的真实发出怪声的次数是20次,这是借助录音机在现场(也就是上课时)录音保存的资料来记录的,是最为客观和准确的。甲观察者因在开始时,受到外界因素的干扰,没能正确记录,仅记录了17次;乙观察者则在结束时受到干扰,仅记录了15次。所以如果仅根据这三份资料来计算观察者间的一致性百分率,很明显会有相当大的出入。
表3-8 两位观察者的观察结果(智障儿童的乱发怪声)
因此,如果采取粗略的信度计算方式,研究者只知道在40分钟的观察里,甲观察者所得结果是17次,乙观察者是15次,二者的观察一致性是88%。但事实上真实发出怪声的次数是20次(用录音机或录影机记录的结果),甲观察者记录到17次,故其一致性是85%;乙观察者更差,仅记录到15次,其一致性是75%。然而从表3-8的资料中,我们不难发现,在20次发生事件中,甲、乙两位观察者真正记录到同一事件的次数只有12次,故其信度应该是60%(12/20×100%)。
在一般观察情境里,研究者似乎无法一一架设各种记录仪器(如录音机、录影机或摄影机等),所以真实的行为次数也就无法获知,因此一般不采用真实的信度计算方式。为了克服和避免粗略信度计算法的不足,可用逐距核对信度计算法来计算。
(二)逐距核对信度计算法
逐距核对信度计算法是建立在运用“时距记录表格”的基础上的,通常由甲、乙两位观察者分别逐一记录在每一个小时段内目标行为是否发生,然后核对两位观察者记录一致和不一致的次数,最后按照以下公式计算观察一致性百分率。
逐距核对计算法可以计算:①发生次数信度系数;②未发生次数信度系数;③发生与否判断一致百分率。下面以表3-9提供的行为资料为例,对这三种方式分别进行说明和计算。
表3-9 两位观察者记录小雄乱讲话次数的比较表
1.发生次数信度系数的计算
发生次数信度系数以计算两位观察者同时记录目标行为发生次数的判断一致性百分率来表示,通常称为“发生次数一致性百分率”,其计算公式为:
例如,根据表3-9的记录资料来演算“发生次数一致性百分率”。甲、乙两位观察者均判断目标行为已发生的次数(即甲、乙均打“√”的时段数)是4次,即1、5、6、11时段,甲、乙均记录有行为发生。甲、乙二者判断不一致的次数是3次,即3、8、9时段。例如,在3、9两个时段里,甲观察者的记录是“√”(表示目标行为发生),但乙观察者的记录是“-”(表示目标行为未发生);在8时段的记录则刚好相反,甲观察者的记录是“-”,但乙观察者的记录则为“√”。这样代入上面的公式就可得出甲、乙两位观察者记录的发生次数一致性百分率是57.1%[4/(4+3)×100%=57.1%]。
一般说来,发生次数一致性百分率越高,意味着两位观察者真正记录到同一事件的次数越多,信度也就越高,行为资料的可靠性也就越大。
2.未发生次数信度系数的计算
未发生次数信度系数是以计算目标行为未发生次数的判断一致性百分率来表示,通常称之为“未发生次数一致性百分率”,其计算公式为:
再以表3-9的观察结果为例,甲、乙两位观察者均判断目标行为未发生的时段(即甲、乙均打“-”的时段)有5个即第2、4、7、10、12时段,甲、乙二人判断不一致的时段数有3个(即第3、9时段,甲记录“√”,乙记录“-”;8时段甲记录“-”,乙记录“√”)。将这两项数值代入上面的公式,就可得出未发生次数判断一致性百分率是62.5%[(5+3)×100%=62.5%]。
3.发生与否判断一致性百分率的计算
在计算“观察者间信度”时,研究者所重视的资料是不同观察者的判断一致性多高,也就是在特定的观察时段内,究竟目标行为是“发生”了,还是“未发生”。如果两位观察者在某一观察时段内,均判断目标行为“未发生”,就属“判断一致”。因此,在计算真正的判断一致性百分率时,应该采用以下公式:
说明:O代表甲、乙观察者判断目标行为发生的一致性次数;
N代表甲、乙观察者判断目标行为未发生的一致性次数;
T指事先划定的观察小时段数。
(摘自Tawney & Gast.单一受试研究法.台北:五南图书出版公司. 1984.)
我们仍以表3-9的记录资料为例。从表中可以查出甲、乙两位观察者判断目标行为发生的一致性次数是4,未发生的一致性次数为5,而事先划定的观察时段数为12,将这三个数据代入上述公式,即可算出发生与否判断一致性百分率是75%[(4+5)/12×100%=75%]。
从上述分析中可以看出,判断一致性百分率相对于其他计算方法而言,能更客观地反映出不同观察者记录结果的判断一致性水平和信度的高低,是一种较为合理的观察信度检验方法。