2013年12月4日下午,加拿大女王大学教授、我校云山讲座教授程李颖在九教丝纺讲堂做了题为“测试与教学的接口:教师评分决定的效度验证”(Interface between Assessment and Teaching: Validation of Teachers’ Grading Decision-Making) 的报告。
报告会伊始,我中心副主任董燕萍教授简要介绍了程李颖教授的学术经历与成就,将这些成就归因为程教授广阔的国际视野与在教学和科研上多年的积累,并从教学理论与实践意义上向听众推荐这场学术报告。
在接下来一个半小时的报告中,程教授首先回顾了自己研究教育测量的经历,动力其实就是对探究教育与测试的热情。从做关于反拨效应的博士论文起,程教授开始意识到教育与测试之间互为相长的关系,并不断通过研究、学习来探索这种关系建立的最佳模式。这就是为什么她要做测试与教学的接口研究。接着,程教授指出教师评分或者课堂评估其实是通过分数的形式让学生意识到课堂教学的目标,从而达到更好的教学效果。她认为可以从四个方面来看待教师评分:事件(例如,期末考试、随堂测验),用来收集学习者学习情况的工具(例如,测验、问答、档案、课堂观察等),如何让学生意识到教学目标的过程,根据学生的学习情况而做出的决定(例如,分班、激励或惩罚学生等)。而在这场报告中,程教授将重点讨论第四个方面——决定,而且是决定的准确性上。
教师评分有其特殊性:一、它是可以公开讨论的,要得到学生与家长的理解;二、课程是一个相对长的过程,老师在评分时考虑的因素很多,比如公平;三、分数的用途广,可能会影响到学生的就业、申请奖学金等。这些特殊性也是这个引起众多学者的研究兴趣的地方。程教授列出最早的一本研究评分方法的专著(1913年出版),说明对于教育测量的研究可以追溯到一百年前。在这个悠久的研究领域,虽然也有相悖的研究成果,但是从中可以确定的是年级、教师评分培训以及科目不同,教师评分也不同。虽然很多学者都认为教育评价的标准应该专注学生的学业成就,而不是上课是否迟到,但是老师在评分时仍然会考虑很多其它的因素,这种情况在全世界都存在。因此,教师评分该如何解释呢?
程教授依照Messick统一效度的理论框架,认为教师评分其实像其它考试一样,都是有一定的构念的,并且这个分数是有具体的用途的,而这个用途可能会对某些人产生某些影响。接着,程教授谈了她对报告中即将具体描述的研究做了一个定位。她认为应用语言学,相对于一般教育研究领域,是一门较年轻的学科,而语言测试发展至今也不过五十年,这种交叉学科的研究视角给这些年轻学科的发展带来了生机活力。教师评分或者课堂评估方面的研究是从应用语言学发展而来的结合一般教育与测试的交叉研究领域,对它的研究更为有限。她的这项研究只是交叉学科视角下的一种探索性研究,并且是她三项该方向研究的一项。然后,程教授简要介绍了五个研究问题、研究工具、参与者的情况、数据收集方法和分析方法。在回答大家对研究效度的一些质询后,程教授开始介绍研究过程和结论。她通过多因素方差分析(MANOVA),从年级、是否接受过培训、班级大小这三个方面看教师对其评分的实施是否有显著差异的影响。结果表明,初中受过培训的教师在评分中更倾向于考虑与教学目标相关的因素,他们的评价方式更多采用project-based、performance-based和self-developed任务。由此可见,教师培训还是有效的。小班的教师更倾向于使用self-developed任务。为了探索教师评分背后的意义和价值,该研究采用开放式问卷的形式,给老师具体的情境和选择项,要求老师写下其选择的原因。结果发现,老师在评分过程中,不仅考虑了学生的学业成就,还考虑了更多非学业方面的因素,比如努力程度、课堂参与、学习习惯、态度、动机等。这表明老师在评分时更注重分数所带来的影响,而不是分数本身的意义。
最后,在场的老师同学们结合自身的教学科研经验,向程教授咨询了很多关于课堂评价和研究方法等方面的实际问题。这些问题引起了大家的强烈兴趣与热情讨论,报告会圆满结束。
