近日，我院智能制造系2023级博士生王宇林在物体6D位姿估计与旋转对称性分析方向取得新进展。研究成果分别以“Object Pose Estimation Based on Multi-precision Vectors and Seg-Driven PnP”和“Key-Axis-Based Localization of Symmetry Axes in 3D Objects Utilizing Geometry and Texture”为题发表于国际期刊《International Journal of Computer Vision》（IJCV）和《IEEE Transactions on Image Processing》（TIP）。IJCV是人工智能、计算机视觉领域最重要的顶级学术期刊之一，也是中国计算机学会（CCF）认定的人工智能领域四个A类期刊之一，2024年影响因子11.6，平均五年影响因子14.5。TIP也是CCF推荐的计算机图形学与多媒体领域A类期刊，是图像处理及计算机视觉领域公认的国际顶级期刊，侧重图像处理的前沿理论与方法，2024年影响因子10.8，平均五年影响因子12.1。
基于单幅 RGB 图像的物体 6D 姿态估计在合成–真实数据迁移上仍面临精度瓶颈。为此，论文提出了多精度向量与分割驱动（Seg-Driven）的两阶段新策略：第一，通过三分支 CNN 预测粗、中、精三级 2D 向量，并采用多精度向量投票（KVM）精细定位关键点；第二，引入分割驱动 PnP，通过最小化分割与渲染掩膜差异，精确校正三维平移并筛选最优姿态。实验表明，该方法在 LM-O 与 HB 数据集上显著优于现有技术，且对弱纹理和遮挡场景具备出色稳健性。
面向具有旋转对称物体的姿态估计常因对称性引发多解问题，亟需精准的对称轴定位来消除歧义。为此，论文提出一种基于关键轴的高效对称轴自动确定与定位方法：首先根据物体的旋转对称类型或多面体结构，自动推断对称轴的阶数及夹角，无需人工设定；随后选取阶数最高的两条关键轴并定位，再生成三条正交基轴，由此可计算出全部对称轴。针对几何对称物体，采用广泛应用于 BOP 评价体系中的 ADI度量；针对纹理对称物体，创新引入考虑纹理一致性的 ADI‐C 度量，实现几何与纹理对称的协同处理。大量实验表明，本方法在主流基准数据集上有效消除对称性带来的姿态歧义，显著提升了对称轴定位的准确性与 6D 姿态估计的稳健性。论文同时发布了涵盖七类几何与纹理对称对象的全新 DSRSTO 数据集，并开源工具 KASAL（https://github.com/WangYuLin-SEU/KASAL）。
同时基于上面的技术参加了ECCV2024位姿估计挑战赛（BOP Challenge 2024），荣获6D定位赛道的默认检测器下最佳方法与6D检测赛道的默认检测器下最佳方法三项冠军与早鸟冠军。
论文通讯作者为我院罗晨教授。该论文研究工作获得国家自然科学基金以及江苏省科技计划项目资助。
供稿人：罗晨
审核：孙东科、彭龙