2026年6月15日晚上,捷克奥斯特拉法大学助理教授陈芯莹博士应我中心计算与计量语言学研究团队邀请,通过腾讯会议平台作题为“神经语言模型中的词义表征:来自中英文多义词研究的证据”的讲座。本次讲座由王雅琴副教授主持,吸引了近70名校内外师生线上参与。

讲座伊始,陈博士从语言学、认知科学和可解释性需求切入,指出当前神经网络模型内部语义理解机制不透明。为此,她借助语境化词嵌入,考察单义词与多义词在向量空间中的分布差异,以探讨神经语言模型中的词义表征究竟更接近离散类别,还是连续结构。
随后,陈博士通过词嵌入样本的可视化,介绍了词向量技术的发展过程:早期的Word2Vec等静态词嵌入方法为一个词分配固定向量,而基于自注意力机制的现代语言模型能够根据上下文为同一个词生成不同的动态向量。例如,在 eat an apple 中,apple 指水果;而在 buy an Apple 中,则指苹果公司的产品,模型能够根据上下文生成不同的向量表征。

在介绍实验设计时,陈博士围绕多义词的向量分布、多义词义项数量与向量分散程度之间的关系,以及英汉两种语言中的模型表现是否一致等核心问题展开研究。整体方法框架分为五步,包括选词、收集语境、生成向量、分析分布以及量化检验。其中,陈博士特别指出在本研究中,英语实验将目标词频率控制在5700至6000次之间,汉语实验则控制在5000至6000次之间,以尽量减少词频差异的干扰,同时结合分词及模型切词结果进行筛选,确保目标词作为相对独立、完整的词汇单位进入分析。为验证结论的跨语言适用性与稳健性,她设计了英语和汉语两套独立实验,并采用聚类分析和几何指标计算两种不同方法。
英语实验结果表明,模型能够根据上下文呈现较为细致的词语使用差异。(如“lot”被分为土地、数量、停车场三类),显示出模型对语境差异的敏感性。另外,尽管视觉上多义词似乎更分散,但由于组内差异较大且样本数量有限,两类词在离散程度上的差异并未达到统计显著水平。
汉语实验结果方面,通过直接计算向量的平均模长、模长方差等底层几何特征,发现单义词与多义词在四项几何指标上均无显著差异。尽管汉语与英语在构词方式和分词机制等方面存在明显差异,两项实验仍呈现出较为一致的结果:词典中离散的义项划分与神经语言模型中的向量分布之间并不存在简单的一一对应关系。
综合两项实验,陈博士指出,基于实际使用形成的词义表征可能更接近一个连续体,而不是离散义项的集合;英汉实验的一致结果也为这一观点的跨语言适用性提供了证据。
在问答环节,参会师生围绕研究展开了热烈讨论,就如何区分词的语义演变和语境影响、词频的具体含义、汉语不同分词工具是否会影响结果等问题与陈博士进行了深入交流。本次讲座不仅加深了师生对神经模型词义表征机制的理解,也为未来探索历时语义演变研究新路径、词典编纂优化方向提供了参考。