近日，我院设计科学系牛亚峰教授团队在虚拟现实（VR）目标选择交互技术方面取得重要成果，相关论文《Take‑A‑Look: Enabling intuitive distant target interactions in industrial virtual reality applications via natural gestures》发表于制造工程领域国际顶级期刊《Computers in Industry》（中科院工程技术1区TOP，影响因子10.0）。该论文的通讯作者为牛亚峰教授，第一作者为在读博士生黄炜驰。
图1. 论文封面页信息
虚拟现实技术在工业设计、制造仿真和员工培训等领域展现出巨大应用潜力，但远距离小目标的选择精度不足一直是制约其落地的关键瓶颈。传统光线投射法易受手部生理性震颤影响，导致光标漂移；虚拟手方法受限于臂展范围，难以触及远距离物体；而现有代理面板技术虽能将远处目标拉近操作，但其手势设计多依赖专家经验，用户需记忆抽象动作，不仅学习门槛较高，也削弱了交互的连贯性和沉浸感。
针对上述挑战，研究团队创新型地将用户驱动的自然手势启发方法与代理式远场交互框架进行深度融合，提出了一种名为“Take‑A‑Look”的全新交互技术。团队首先通过绿野仙踪实验，系统收集并分析了用户在框选、缩放、平移和选择等典型任务中的本能手势偏好，发现双手拇指食指共同划定区域、双手协同缩放与平移以及食指点按等手势具有最高的一致性和自然度。在此基础上，团队进一步构建了完整的交互系统框架：用户以双手框选手势划定感兴趣区域，系统即将该区域实时投射至面前的近场代理面板上；用户通过调节双手间距控制放大倍数、移动双手调整视野，最终直接在面板上点按即可完成对远处目标的精确选择，实现了所见即所得的远距精准操控。
用户实验结果表明，相比传统光线投射法，Take‑A‑Look在1°小目标条件下的点选错误率降低约50%；与现有代理面板技术相比，其配置时间缩短48.3%，显著降低了用户的准备负担。在用户体验层面，Take‑A‑Look的系统可用性评分显著优于对比方法，脑力负荷和挫败感明显降低，62.5%的参与者将其列为首选交互方式。在模拟虚拟仓库场景中，该技术成功辅助操作者高效完成了高层货架上微小条码的识别与标注任务，验证了其在真实工业环境中的实用价值。
图2. Take-A-Look交互技术在虚拟仓库场景中的应用
该研究将用户行为实验与交互系统设计深度融合，为工业VR、智慧仓储及人机交互领域提供了全新的自然交互范式。研究工作得到了国家自然科学基金、江苏省研究生科研与实践创新计划、东南大学博士研究生创新能力提升计划等项目的支持。
供稿人：牛亚峰、黄炜驰
审核人：刘晓军
