2021年5月19日下午,英国诺丁汉大学Walter J. B. van Heuven博士应我中心双语认知与发展实验室邀请,为师生们带来一场题为“Watching captioned videos: Impact of mismatches between spoken and written information”的线上讲座。该讲座在Zoom上直播,吸引了近90位校内外师生参加。
Van Heuven博士首先指出,字幕是一种信息丰富的资源,在电影与电视节目中十分常见,过去三十多年有大量的研究专注于字幕对外语学习和教学的影响。接着,他介绍了一系列关于字幕的眼动跟踪研究,在此基础上他提出研究问题:在观看英语电影时,英语母语者与非英语母语者阅读英语字幕的程度是否不同?观看者是否注意到字幕中与音频不匹配的信息?这些不匹配信息是否会影响记忆?
针对这些问题,van Heuven博士通过修改电影中的字幕,运用眼动追踪技术,研究在控制条件、同音假词及近义词三个条件下成人观看电影时的注视轨迹和时长。研究发现:与控制组相比,在近义词和同音假词条件下,被试注视字幕的总时长更长;其中,当字幕为同音假词时,平均注视时间最长;与近义词条件相比,当字幕为同音假词时,被试能更好地记住与之相伴随的单词;英语母语者与非英语母语者的表现基本相似。随后,van Heuven博士介绍了儿童组实验的结果,并与成人组的数据进行对比分析,发现在平均注视时间上,儿童组实验结果与成人组基本相似;阅读水平高的儿童在拼写错误单词上的总停留时间比阅读水平低的儿童更长,前者也花更多时间看字幕而非画面。
Van Heuven博士研究的视角十分新颖,引人深思。讲座结束后,听众反响热烈,提出了许多高质量问题。Van Heuven 博士详尽地回答了大家的问题。