基于信息论约束的频域多尺度图谱学习在时空预测中的应用

《Pattern Recognition》：Frequency-domain Multi-Scale Graph Learning with Information-Theoretic Constraint for Spatio-temporal Prediction

双 epipolar 几何分割与正交约束使单球即可完成相机投影对校准，有效解决投影光源导致的轮廓畸变问题，通过非线性优化同时最小化球面重构和点重投影误差。

　　在三维测量和增强现实技术迅速发展的背景下，相机与投影仪组合（Camera-Projector Pair, CPP）的校准成为了一个至关重要的环节。这种系统通过投影已知模式并利用相机捕捉其变形，能够实现对物体形状的精确重建。然而，传统的校准方法往往依赖于平面校准对象，并且需要从多个视角采集图像，这在实际应用中带来了诸多不便。尤其是在动态环境或多相机-投影仪系统中，这种限制尤为明显。因此，研究者们开始探索更简单、更高效的校准方法，其中基于球体的校准方法因其独特的几何特性而备受关注。

球体作为一种三维几何体，具有无方向性和均匀性，使其在任何角度下都可见，无需精确的多视角姿态对齐。这一特性为校准提供了新的可能性，尤其是在多设备系统中，平面模式可能无法同时从所有视角被观察到。基于球体的校准方法利用球体表面的内在几何关系，通过建立约束条件，实现了在单一视角下对CPP系统的校准。然而，球体校准面临一个显著的挑战，即在投影仪照明下，球体轮廓的提取变得困难。投影仪的定向光照可能导致部分区域被遮挡、阴影边界模糊或过曝，从而影响轮廓检测的准确性。

针对这一问题，本文提出了一种基于双极线几何的单球校准方法，旨在克服投影仪照明带来的轮廓提取难题。该方法首先分析了投影仪照明下球体边界结构，揭示了其在相机和投影仪视角下分别形成不同的可视轮廓。通过利用双极线几何，该方法实现了对这些边界的有效分割，并为每个视角拟合独立的图像圆锥（conic）。基于这些圆锥，我们进一步推导出两个新的与绝对圆锥（Image of Absolute Conic, IAC）之间的正交约束条件，从而能够在单个球体的基础上完成完整的校准。

在传统校准方法中，IAC通常通过平面目标进行计算，而本文的方法则直接从球体的图像圆锥中推导出这些约束条件，为单球校准提供了新的理论基础。这种正交约束条件不仅简化了校准过程，还显著提高了其鲁棒性和准确性。此外，我们还提出了一种非线性优化策略，该策略通过同时最小化校准球体的重建误差和匹配点的重投影误差，进一步提升了校准参数的精度。这种双误差最小化方案不仅优化了相机和投影仪的内参和外参，还考虑了镜头畸变的影响，使校准结果更加可靠。

为了验证所提出方法的有效性，我们进行了多个实验测试，包括合成圆锥拟合测试和实际场景下的校准验证。实验结果显示，本文方法在自遮挡条件下显著提高了圆锥拟合的准确性，并且能够提供一种灵活且高效的单球校准解决方案。相比现有的多球校准方法，我们的方法无需多个球体即可完成校准，极大地简化了实验流程，降低了对多视角图像的需求，从而提高了校准的便捷性和适用性。

此外，本文方法在处理异构传感器系统方面也表现出良好的适应性。例如，RGB-D相机、激光雷达-相机系统以及相机-投影仪配置等都可以通过该方法进行校准。这不仅拓展了球体校准的应用范围，也为未来更加复杂的三维传感系统提供了新的思路。球体表面的曲率特性使得其在投影过程中能够产生丰富的空间深度和法线变化，这比平面目标所能提供的约束条件更加多样化和精确。因此，基于球体的校准方法在提升三维重建精度方面具有独特的优势。

在本文的研究中，我们还对球体的成像模型进行了深入探讨。传统的针孔模型被用于描述相机和投影仪的参数，其中相机的投影矩阵可以分解为内参矩阵 $ K $、旋转矩阵 $ R $ 和平移向量 $ t $。内参矩阵包含了焦距、主点坐标等关键参数，而外参矩阵则描述了相机和投影仪之间的相对位置和方向。通过引入双极线几何，我们不仅能够更精确地分割球体的边界，还能够基于这些边界建立更加可靠的几何约束，从而提升校准的整体性能。

为了实现单球校准，我们还开发了一种基于相位对应关系的算法。该算法利用相位投影轮廓术（Fringe Projection Profilometry, FPP）来确定相机和投影仪之间的相位对应关系，进而恢复出投影仪的外参。这种相位对应关系的建立不仅提高了校准的精度，还增强了系统的鲁棒性，使得即使在复杂光照条件下，也能实现可靠的校准结果。

本文的研究成果为相机-投影仪系统的校准提供了一种全新的解决方案，特别是在投影仪照明条件下。通过引入双极线几何和正交约束条件，我们成功地克服了传统方法中因投影仪照明导致的轮廓提取问题，实现了在单一球体视角下的高效校准。此外，非线性优化策略的引入使得校准参数能够得到更精确的调整，从而提高了整个系统的测量精度和稳定性。

在实际应用中，这种单球校准方法可以广泛应用于三维测量、增强现实、机器人视觉等多个领域。尤其是在需要快速部署和灵活操作的场景中，例如工业检测、医疗成像或虚拟现实，该方法的优势更加明显。它不仅减少了对多视角图像的需求，还降低了校准过程的复杂度，使得系统能够在更短的时间内完成初始化，提高工作效率。

综上所述，本文提出了一种基于双极线几何和正交约束条件的单球校准方法，有效解决了投影仪照明条件下球体轮廓提取的难题。该方法通过引入非线性优化策略，进一步提升了校准的精度和鲁棒性，为相机-投影仪系统的校准提供了一种新的理论和技术路径。未来，我们计划将该方法扩展到更复杂的多设备系统中，并探索其在不同应用场景下的优化潜力，以期为三维传感技术的发展做出更大的贡献。