第四节 MCAT选题策略(1 / 1)

选题策略是实现MCAT自适应的关键环节,也是MCAT的核心环节。当前,按信息量进行自适应测验选题是当前多维计算机化自适应测验的主要选题策略,本节重点介绍基于Fisher信息量和基于Kullback-Leibler(KL)信息量的两种选题策略。

一、基于Fisher信息矩阵的选题策略

(一)MIRT中的Fisher信息矩阵

Fisher信息量选题方法在UCAT中已被广泛应用,但与UCAT不同,在UCAT中Fisher信息是一个实数,而在多维项目反应模型MIRT中,Fisher信息为一矩阵。在MIRT中,项目j在能力θ处提供的信息矩阵为

则测验在能力θ处提供的信息矩阵为

θ0为能力真值,I-1(θ0)为信息矩阵的逆矩阵。

为了在MCAT环境下使用Fisher信息矩阵进行项目自适应选题,学者们(Silvey,1980;Segall,1996;Mulder & van der Linden,2009)根据不同测验目的,提出了几种不同的基于Fisher信息矩阵的优化选题策略。

(二)保证所有能力维度精度的优化选题策略

若MCAT关注所有能力维度上的测量精度,学者们提出了三种优化的选题策略,分别是D优化法、A优化法和E优化法。

1.D优化法

D优化法是指挑选使Fisher信息矩阵具有最大行列式值的项目(Segall,1996),即

后来Segall(1996)又提出了基于MAP参数估计算法的贝叶斯D优化法,即

Φ为能力先验分布的方差-协方差矩阵。

2.A优化法

A优化法是指挑选使能力估计方差之和最小的项目(Mulder & van der Linden,2009),它等价于使Fisher信息矩阵的逆具有最小迹(trace),即

其中[ISj-1+Ij][l,l]指矩阵删除[ISj-1+Ij]第L行和第L列后的子矩阵。

3.E优化法

E优化法是指挑选使Fisher信息矩阵的最小特征根最大的项目(Eigenvalue)(Mulder & van der Linden,2009),考虑到公式的复杂性这里省略。但Mulder和van der Linden(2009)研究表明这种选题策略在处理稀疏矩阵时缺乏稳健性,而且它的能力估计精度不高。

(三)保证部分能力维度精度的优化选题策略

有些测验更为关注部分能力的测量精度,若测验仅关注前s维能力,而不太关注后p-s维能力,则需使用Ds优化法和As优化法(Silvey,1980;Mulder & van der Linden,2009),这时关注的是前s维的信息量矩阵,令

Is×s是s×s单位矩阵。

1.Ds优化法

2.As优化法

(四)保证综合加权能力精度的优化选题策略

假如测验关注加权综合能力(Composite Ability)的测量精度,即

λ为非负的加权系数向量,∑pk=1λk=1。

为了获得更为精确的能力线性组合的综合能力估计值,学者们提出可采用C优化法(C-optimality)(Silvey,1980;Mulder & van der Linden,2009),即

Mulder和van der Linden(2009)研究表明,若测验关注所有能力维度的精度,则A优化法和D优化法最佳(前者略优于后者);若测验关注部分能力维度精度,则建议采用As优化法或Ds优化法;若测验关注线性加权综合能力估计精度,则宜采用C优化法。

二、基于Kullback-Leibler信息量的选题策略

(一)MIRT中Kullback-Leibler信息量

(二)KI选题策略

但在CAT过程中被试真实能力θ0是未知,因此为了在CAT过程中可以使用KL信息量矩阵,Chang和Ying(1996)提出了KL指标(KL index,KI);后来Veldkamp和van der Linden(2002)在此基础上进一步提出了能力维度多元版 KI,计算公式如下:

Δ为常数,k为当前施测项目数,R一般取值为3,qp为第p维能力的节点数,θm0=(θm101,θm202,…,θmp0p)为积分节点。KI为KL信息量矩阵的期望,也被称为全局信息量(Globe Information)。

(三)后验加权的KL选题策略

在KI指标基础上,Veldkamp和van der Linden(2002)提出了后验概率加权的KI法,也称贝叶斯KL信息量,即kB。

研究证明,该方法与贝叶斯D优化方法具有相似的测量精度,但kB方法更适用于具有内容约束的测验(Mulder & van der Linden,2010)。

(四)能力后验分布的KL距离选题策略

其中

与kB方法相比,kP在处理上与贝叶斯思想更一致,而且能力估计更稳健。

三、基于互信息的选题策略

互信息表示随机变量X,Y的联合分布f(X,Y)与边际分布乘积f(X)f(Y)的 KL 距离,互信息越大表示Y所提供的关于X的信息量越大。Mulder和van der Linden(2010)提出应用于MCAT的MUI选题策略,令X=g(θ|Uj-1),Y=P(x=t|Uj-1),即选择使被试当前(测验进行到j-1题后)后验分布与待选题上预测作答分布间互信息最大的项目:

由于f(θ,x=t|Uj-1)=f(x=t|θ)f(θ|Uj-1),则该公式可简化为:

MUI等价于最大化测验进行到j题后被试能力后验分布与当前能力后验分布间期望KL距离的KLB方法(Mulder & van der Linden,2010;Wang & Chang,2011),因为KL具有不对称性,所以KLB与kP并不相等。

四、基于连续香农熵的选题策略

香农熵(Shannon Entropy)度量了一个随机变量分布的内在不确定性程度(Shannon,1948)。当这个随机变量服从连续分布时,香农熵变为连续熵,也叫微分熵。Wang和Chang(2011)指出测验进行到(j-1)题后被试能力后验分布的连续熵为

由于被试在第j个项目上的作答是未知的,对第j个项目的作答求期望:

CEM方法将选择Rj中使期望后验连续熵最小的项目。