天才一秒记住【热天中文网】地址:https://www.rtzw.net
将gt看成先验分布,则被试i对于项目j(做完t+1个项目,Xij=x)的条件后验分布gt+1(αc|Xij=x)为
则给定Xij=x时,gt+1的条件熵为
当X变化时,gt+1的期望熵为
采用SHE方法即选择下一个项目使得:
三、参数估计
诊断测验不像传统计算机化自适应测验只估出一个单独的能力,它还要得到所考察的每个属性的掌握水平,甚至还要给出每个属性的掌握程度和处于群体中的位置信息等反馈信息。
本应用中采用最大后验估计,取先验分布为均匀分布时,即为极大似然估计(MLE),最大后验估计即使下式最大化。
其中P(αc|Xi)为后验概率,可仿照SHE方法中后验分布计算。
由于题库可能缺乏区分某几个知识状态的项目,估计结果中,就会出现后验分布众数集中在两个或两个以上的知识状态的情况,只要由后验概率P(αc|Xi)对每个属性边际求和即可,如属性k为1的边际概率为
边际后验概率方法不仅可以用于计算属性掌握水平,同时也可根据划界分数,得出属性掌握与未掌握的知识状态。
四、真实题库下模拟实验
采用预测得到的3PLM和DINA模型项目参数组合题库(共352道试题),模拟被试人数1000,模拟方法采用祝玉芳和丁树良(2009)提出的对数似然比方法,实验重复次数30次。
选题策略中分别考虑无内容约束选题和内容约束选题(听力理解、语法词汇和阅读理解)。
评价三种知识状态最终估计方法A方法(Leighton,Gierl&Hunka,2004),对数似然比方法(祝玉芳,丁树良,2009)和DINA模型极大似然估计方法(delaTorre,2009)的模式和边际判准率,并且给出测验结束时的3PLM的平均信息量。
表10-2-3给出了真实题库下CD-CAT分类结果,结果显示两种约束方式选题下,分类结果较为一致,极大似然估计方法好于其他两种分类方法。
表10-2-3真实题库下CD-CAT分类结果(模拟研究)
五、真实测试效度验证
真实测试采用真实题库下模拟实验中内容限定的方法,既能保证较好的精度,又能使项目曝光控制相对好些。
采用定长CD-CAT,题量为36题,限制总的时间,采用倒计时的方式。
对CD-CAT应用中的效度进行全面的验证,主要评价CD-CAT结果和英语学业水平分类的一致性。
在北京选择三所学校,它们都参加过北京义务教育评估,具有英语学业水平结果。
英语学业水平报告了学生的表现水平,如优秀、良好、合格和不合格。
对于CD-CAT评估,可以得到每个考生掌握的属性数目。
表10-2-4显示,在CD-CAT结果中,27位学生中有23位学生掌握了所有的8个属性,这23位学生的学业水平均为优秀,并且可以看出他们掌握的属性数越多,学业水平越高,这意味着CD-CAT结果的可靠性较好。
表10-2-4CD-CAT结果与英语学业水平分类的一致性
本节简要叙述了二级英语CD-CAT的整个构建过程,主要是建立了认知诊断的题库,真实题库下模拟试验显示在DINA模型下,伴随内容约束的SHE选题策略,估计精度较高并且项目曝光控制较好,为保证实际测验的有效性做了铺垫,然后进行实测和效度验证,结果显示二级英语CD-CAT系统效果理想。
本章未完,请点击下一章继续阅读!若浏览器显示没有新章节了,请尝试点击右上角↗️或右下角↘️的菜单,退出阅读模式即可,谢谢!