研究动画 研究海报

近日,北京理工大学设计与艺术学院姜可教授团队在人机交互、虚拟现实与无障碍设计交叉研究方向取得新进展。论文《Guiding Auditory AR: A VR-Based Evaluation of Visual and Tactile Cues for Sound Localization for Cochlear Implant Users》IEEE VR 2026录用并作口头汇报(Oral Presentation),已被推荐收录至国际期刊IEEE Transactions on Visualization and Computer Graphics(TVCG)。该研究聚焦人工耳蜗用户在日常出行与社交场景中的声源定位困难,探索如何借助虚拟现实平台评估未来增强现实辅助技术,为听障群体的空间听觉辅助与无障碍交互设计提供了新的研究路径。姜可教授为通讯作者,博士生何自强为第一作者,其他合作研究者为博士生明世杰、博士生张晧、博士生颜羽鹏、硕士生苑浩鹏。论文 DOI:10.1109/TVCG.2026.3679902。

研究简介
Brief Introduction of the Research

人工耳蜗能够帮助重度听力损失人群恢复一定听觉感知能力,但许多用户在真实环境中仍难以准确判断声音来源。特别是在交通通行、户外活动和多人交流等场景中,声源定位困难可能带来安全风险与沟通障碍。 面向这一问题,研究团队提出 “Guiding Auditory AR” 研究框架,利用具备彩色透视能力的 VR 头显构建可控的 AR 模拟环境,并结合视觉提示与头戴式触觉提示,为人工耳蜗用户提供非听觉方向线索。

Guiding Auditory AR研究框架

图1. VR头显与触觉反馈系统架构

研究团队基于 PICO 4 Pro 搭建 VR 实验平台,并开发了 8 通道头戴式振动反馈阵列。在人工耳蜗用户中开展实验,比较了视觉提示、触觉提示和视觉—触觉多模态提示三种辅助策略,并从定位误差、反应时间、前后混淆率和认知负荷等方面进行评估。

VR实验平台

图2. 视觉线索设计:头部引导与声源定位

结果表明,三种辅助提示均能提升人工耳蜗用户的声源定位表现。其中,多模态提示在定位精度上表现最佳,将平均角度误差从基线条件下的 85.3° 降低至 8.1°;但其信息叠加也带来了更高的主观认知负荷。相比之下,触觉提示在性能提升与低认知负荷之间取得了更好的平衡。 基于上述发现,论文指出,未来听觉增强型 AR 系统不应简单叠加多种提示,而应根据任务需求与用户认知负荷进行自适应模态选择。该研究为人工耳蜗用户的辅助感知设计提供了实证依据,也为无障碍 AR 交互系统设计提供了新的方法参考。

实验结果

图3. 实验结果对比

会议与期刊简介
Brief Overview of Conferences & Journals

IEEE Conference on Virtual Reality and 3D User Interfaces(IEEE VR)是虚拟现实、增强现实与三维用户界面领域的重要国际会议,也是中国计算机学会(CCF)推荐的 A 类国际学术会议。IEEE VR 2026论文录用率约 21% ,其中仅有约 8%的论文被推荐至 TVCG 期刊发表。 IEEE Transactions on Visualization and Computer Graphics(TVCG)是 IEEE Computer Society 出版的国际权威期刊,覆盖可视化、计算机图形学、虚拟现实、人机交互与用户界面等方向,为 CCF A 类推荐期刊,并位列中科院 TOP 期刊和 JCR Q1 分区。相关成果能够进入 IEEE VR/TVCG 体系,体现了该研究在人机交互问题价值、技术实现、实验评估和设计启发方面的综合创新性。

学科交叉意义
Significance of Interdisciplinary Integration
底部图片