6月6日下午，由广东外语外贸大学黄埔研究院主办、高级翻译学院承办的黄埔大讲堂第46讲在进德楼305学术报告厅顺利举办。澳大利亚麦考瑞大学语言学教授Jan-Louis Kruger应邀进行主题为“字幕视频中的多模态融合”的学术讲座。讲座由高级翻译学院陈思佳副教授主持。

Kruger教授现场讲座

陈思佳副教授主持讲座

Kruger教授首先介绍了研究的背景和焦点。在观看影视作品时，观众需要同时获取听觉和视觉信息。然而，由于视觉系统的限制，这是一项非常艰巨的任务。人们的视觉仅能在同一时间内获取有限的信息，会遗失或忽略其他的内容。同时，影视作品的动态性也对字幕阅读和信息获取造成了更大的困难。

为进一步研究字幕信息获取，Kruger教授联系多模态综合语言框架的背景，分享了三个实验：字幕速度实验、双重任务实验、一致性实验，并图文并茂地向观众展现了实验的部分内容和过程。

讲座主题

通过字幕速度实验可以发现，更快的字幕速度会造成更粗浅的阅读、字幕内容的跳跃和遗漏等问题。在此情况下，观众会分配更多精力在阅读字幕，而非在观看视频上。在双重任务实验中，参与者需要在阅读字幕时同步完成简单的或相对复杂的任务，参与者在进行双任务处理时需要花更长的时间来获取字幕信息。在一致性实验中，图片和字母的一致性程度区分为高、中、低三种，低一致性会导致给受试者抓取字幕信息带来更大的挑战。

在问答环节，Kruger教授与观众进行了学术问题的互动和探讨。根据观众的提问，Kruger教授进一步分享了实验的具体设置，并将该学术研究与现实的影视作品和行业联系起来，重申在观看字幕视频时，视觉处理的连续性对观众整合不同形式信息的能力具有重要意义。

现场听众与主讲专家互动

本次讲座，Kruger教授着重介绍了字幕视频的多模态内容与观众注意力分配和认识过程的关系，展示的三个实验设计合理，方法清晰明确，分析深入浅出，为在场听众特别是传媒翻译方向及从事实证研究的研究生理清了研究思路，提供了有益借鉴。整场讲座气氛热烈，观众互动积极，讲座取得圆满成功。