2014年10月22日下午，来自美国普渡大学语言测试方向的闫逊博士在文科基地报告厅举办了一场题为“A Mixed Approach to Examining Rater Reliability and Rater Effects in Language Testing”的精彩讲座。

闫逊博士首先从原理和方法论上系统地介绍了评分信度的概念及影响因素。现有研究表明，主观题的评分主要受四个方面的因素影响，分别为评分的严厉度、评分的稳定性（即内部一致性）、评分员与考生以及评定任务之间的交互作用、评分者与评定等级之间的交互作用。这些维度都可使用定性和定量的方式予以测量。其中，定量的方式主要包括：（1）Consensus Estimates，通过Exact Agreement和Cohen’s Kappa测量值来评价评分员打分的完全一致性；（2）Consistency Estimates，通过Pearson’s r或Cronbach’s alpha等统计手段衡量评分员在自身的内部一致性程度上存在的差异，即评分者在面对不同的考生、评定任务和使用不同的评定量尺是否能保持比较好的稳定性；（3）Measurement Estimates，使用主成分分析、G-Study、Rasch模型等计算工具，侧面反映评分信度的信息。而定性的方法则是采用“自下而上”的方式对评分员的表现予以判断，数据来源主要有对考生表现的书面评语，事后采访和有声思维等。接下来，闫逊博士以国际助教口语能力考试OEPT（Oral English Proficiency Test）的评分为例，详细描述了如何使用混合研究方法（Mixed Method Design），将定性分析与定量数据相结合，从而全面评价评分员的阅卷行为。最后，闫逊博士特别指出了使用三角测量法多方面评价阅卷表现的重要性以及进行评分员培训的必要性。

在讲座中，我中心的教师与研究生积极参与，踊跃提问，闫逊博士均以他优雅的美式英语予以一一解答，展现了其深厚的学术功底及不俗的个人风采。