第三节 CAT曝光率控制技术(1 / 1)

最早的选题算法是基于洛德提出的最大信息量选题方法,测验效率高,但项目曝光率极高。1985年,Sympson和Hetter第一个提出用条件概率方法来解决项目过度曝光问题,其基本思想是在项目选择和最终分配之间加设一个曝光控制参数(Exposure Control Parameters),用来决定项目最终施测的概率。条件概率方法可有效控制过度曝光的项目,但并不能有效提高不太使用项目的使用率,后来有研究提出了一系列的改进方法,如按区分度a分层选题策略(Chang & Ying,1999)和综合区分度a和难度b分层的选题策略(Chang,Qian & Ying,2001)。还有吸取a分层思想的动态分层方法。下面简要介绍条件概率方法、a分层方法和动态a分层方法。

一、条件概率方法

条件概率法(Sympson & Hetter,1985),它是一种利用条件概率对项目曝光率进行控制的方法,其基本思想就是在项目选择和最终分配之间,设置两个概率和阈值来进行动态控制项目曝光。这两个概率分别是P(S)和P(A|S),其中P(S)表示采用某种选题策略时某个项目被选择的概率;P(A|S)表示被选题策略选中的项目被分配给被试的概率。P(A|S)被称为曝光控制参数,这是因为:P(S)往往由选题算法、题库和施测对象的分布所决定,基本上是不变的;由条件概率计算公式,可计算某一个项目被分配给被试的概率为P(A)=P(S)P(A|S),如果某一项目已经被选题策略选中,那么要不要分配这个项目给被试则取决于P(A|S)。

P(A|S)往往通过模拟实验动态进行调整。如在既定的题库下,按照一定的选题算法和施测对象分布(如能力分布为正态分布),多轮模拟CAT施测过程,动态调整P(A|S),直到项目的最大曝光率不超过某一个预设值R为止。具体来说,在每次模拟研究结束时,可得到各个项目被选题策略选中的概率P(S),各个项目被分配给被试作答的概率P(A)。对于那些较少被选中的项目,即P(S)≤r,在下一轮模拟过程中,这些项目的曝光控制参数P(A|S)可以设置为1,仍可保证P(A)=P(A|S)P(S)≤r,以增加这些项目的曝光率;对于那些频繁被选中的项目,即P(S)>r,可以将曝光控制参数P(A|S)设置为r/P(S)。直到所有项目的曝光率P(A)不超过某一个预设值R为止,整个模拟过程终止,并将最终得到的曝光控制参数P(A|S)用于类似模拟情景的真实测验情景。

二、a分层方法

基于局部信息量的Fisher信息量选题方法,趋于选择区分度较高的项目,一方面,会造成低区分度项目很少使用(Chang,Qian & Ying,2001;Chang & Ying,1999);另一方面,在测验长度较短的CAT中,若被试前几道题连续做错,极易造成能力低估(Chang & Ying,2008),并且考虑到条件概率方法并不能有效提高不太使用项目的使用率。张华华等人提出了著名的一系列a分层选题方法(Chang,Qian & Ying,2001;Chang & Ying,1999;Cheng,Chang;Deng,Ansley & Chang,2010;Leung,Chang & Hau,2002;Yi & Chang,2003),涉及a分层方法、b分块a分层方法、层优化方法、a分层方法与条件概率方法或优先级指标结合的方法等。a分层方法是在测验前期能力估计不准的条件下,使用区分度小的项目,而在测验后期使用区分度大的项目,又称“升a方法”。若题库容量为N,欲将题库分成L层,下面简要给出a分层方法和b分块a分层方法的步骤。

a分层方法的步骤:先将所有项目依区分度大小升序排列,将前L个区分度最小的项目作为第一组;将区分度为第L+1到第2L的项目作为第二组,依次类推;然后将各组中区分度最小的项目抽取出来,放在第一层子题库中;将各组中区分度次小的项目抽取出来放入第二层子题库;依次类推,最后将各组中区分度最大的项目放入第L层子题库。这样,各层项目在区分度的平均值是上升的。进入CAT测验时,各个被试是在第一层子题库中选择与当前能力估计值相匹配的项目;到一定时候,则进入第二层子题库选题,最后才在第L层子题库选题。

b分块a分层方法的步骤:先将题库中所有项目按b从小到大排列,相邻L个构成一个块(Block),然后每块中又按a排列,各块中a值最小者放在第一层;次小者放在第二层;依次类推,最大者放在第L层。于是每一层中项目难度分布与整个题库难度分布相似,但各层区分度的平均值从小到大变化。丁树良等人(丁树良等,2012)关于各层项目数分配方案、层跳转规则、动态平滑分层方面开展了一些研究。还有研究者将a分层方法推广到多维项目反应理论模型(Lee,Ip & Fuh,2007)。

三、动态a分层方法

这里Ra是尚未对该被试施测的项目集,也可以称为该被试的剩余题库(陈平,丁树良,林海菁,周婕,2006;刘珍,丁树良,林海菁,2008)。即对于被试α在CAT的作答过程中,题库中当前尚未抽取给被试α作答的所有项目。

(1)λj=1,这时相当于λj不施加影响。

(2)λj的取值与ecf(j)有关。一般来讲,ecf(j)越大,则λj取较小的值,ecf(j)越小,则λj取较大的值。λj在ecf(j)>0.5时取不小于1的值,否则取小于1的值。λj参数设置表可参见表3-3-1。

表3-3-1 λj的取值与ecf(j)的关系

新选题策略有三个特点(丁树良,罗芬,徐冬波,等,2012):第一,建立一个信息量的函数而不是直接使用信息量,以整合Fisher信息量选题方法和a分层方法的优点。第二,采用分阶段地调用不同的信息量函数的方法。由于区分度是信息量函数的自变量之一,使得每个被试在前期调用区分度相对较低的项目,而在后期调用区分度较高的项目,故该方法自始至终都自动地受到区分度的调节,而不像a分层方法那样,考虑各层之间的区分度,但a分层方法无法考虑各层内部项目的区分度,这可弥补a分层的这一缺陷。第三,加入控制曝光机制,当某个项目在考试过程中被频繁调用时,利用该机制使该项目在以后的测验中更难被选中,反之当某项目使用较少时,则利用该机制增加被选中的机会,通过这样的在线控管,均衡整个题库项目的曝光率,提高题库的利用率。直接把项目调用的频度作为选题策略表达式的一部分,目的是让每一个项目的使用频度尽量与题库中所有项目的平均使用次数接近,试图既有效降低高曝光率项目曝光,又能提升低曝光率项目的使用概率,从而达到曝光均匀的目的,这不同于条件概率方法等的方法只是控制高曝光率项目的使用,因此它可能要比上述的其他方法在曝光率控制方面更加有效。与传统的Fisher信息量选题方法、a分层方法、条件概率方法、随机法等比较发现,引入曝光因子能大大降低项目的曝光率,特别是引入曝光因子的最大信息量法,它会使考试的安全性得到极大提高,当然测验长度也会有所增加,但比a分层方法要好,能力估计的准确性差异不大。在此仅介绍动态a分层方法的一种,更多方法可参见丁树良发表的相关文章。