CVPR 2023 | LED阵列+LCD面板=3072个投影仪：浙大-相芯联合团队实现复杂物体高质量数字化建模

如何数字化真实世界中的复杂物体是计算机图形学与计算机视觉中的经典问题，在文化遗产、电子商务和电影特效等诸多领域有着广泛的应用。高精度数字化结果由三维几何与高维外观组成，能在虚拟世界中高保真地重现出本体在任意光照和视角下的「流光溢彩」。

为了提升数字化采集中的信噪比，浙江大学计算机辅助设计与图形系统全国重点实验室和杭州相芯科技有限公司的研究团队首次提出了能同时采集几何与外观信息的轻量级高维结构光光源，通过 LED 阵列与 LCD 面板组合，等效构建了 3072 个分辨率约为 320x320 的投影仪，仅用单个相机即可实现 0.27mm 的几何重建精度以及 SSIM=0.94 的外观重建精度，在复杂物体重建实验中超越了 SOTA。相关研究论文已被 CVPR 2023 接收。

背景

  结构光在高质量数字化中被广泛应用，通过对空间域编解码获取几何信息，通过对角度域编解码获取外观信息。结构光能有效地探测物理域并获取与目标高度相关的测量值，最终获得高信噪比的精确重建结果。

对于几何扫描，空间结构光方法将精心设计的光照图案投射到三维空间中来区分不同光线，从而实现精确的三角化测量。主流的高精度几何扫描仪都基于这一原理，已形成了相当成熟的商用市场。代表性的产品包括加拿大 Creaform 的 HandySCAN 3D（下图 1）、卢森堡 Artec3D 的 Spider 和中国先临的 EinScan。

对于外观采集，角度结构光方法编程控制每个光源在不同时刻的亮度，相机测量值可等效为 BRDF（双向反射分布函数）切片与光照图案在角度域上的点积，并以此为依据对复杂外观进行精准推断。代表性工作包括专业级高密度光源采集系统 [Kang et al. 2019]（图 1），以及机器之心之前报道过的手持式可微分材质扫描仪 [Ma et al. 2021]。  

挑战

  虽然结构光已经能单独采集高精度几何或者外观，但如何将其应用到高质量几何与外观的联合采集依然存在困难。
一方面，直接同时使用空间和角度结构光会导致硬件设备笨重 [Weinmann et al. 2011]，并且这两类光源会竞争安装位置，导致几何与外观采样覆盖的完整性无法兼得。
另一方面，现有的联合采集工作通常只使用一种结构光采集几何或材质，对剩余未知量进行被动光照采集，导致了次优的重建结果。例如 [Holroyd et al. 2010] 使用投影仪获取高质量几何，但不得不依靠强先验来求解角度域上采样不足的外观。[Kang et al. 2019] 在角度域内密集采样外观，然而其被动式几何重建的质量受限于对象表面空间特征分布的丰富程度。  

硬件

  为了解决上述挑战，团队首先提出了用于高质量联合采集三维几何和高维外观的统一结构光光源。这个轻量级的光源原型由 LED 阵列和 LCD 遮罩组成，本质上是可以视为一个受限的光场投影仪，它可主动探测空间和角度域（下图 2）。
对于几何采集，每个 LED 将一组遮罩图案（mask pattern）投射到空间中以编码形状信息。对于外观采集，相同的 LED 阵列在编程后产生不同的光照图案（light pattern），穿过被设置成全透明的 LCD 遮罩来采样随光照角度变化的外观。该原型有助于捕捉足够多的物理信息，即使从单个视角也能高保真地恢复出每个像素的深度和外观。  

具体来说，LED 阵列共有 64x48 个高亮 RGB LED，总功率约 240W。LCD 面板分辨率为 1920x1080，拆卸自一台使用普通 IPS 液晶显示器。相机为一台 4500 万像素的 Canon EOS R5。整个采集系统由自研电路进行控制：电路负责对每个 LED 进行独立亮度设置，并在硬件层面对光源投射和相机曝光进行高精度同步。

软件

  为了高效高质量地联合采集几何与外观，需要确定使用什么样的遮罩图案与光照图案来编程 LCD 与 LED。对此，研究人员建立了可微分联合采集管线来自动优化遮罩与光照图案，从而充分利用新型结构光的硬件采样能力。
对于几何采集，研究人员为每个 LED 独立学习出一组遮罩图案（18 张），这里的目标是最小化沿任意相机射线的深度不确定性。研究人员还利用了造成遮罩图案投影轻微失焦的物理卷积过程，来编码更丰富的空间信息进行深度消歧。通过使用多个 LED 投影不同的遮罩图案，能改善最终几何结果的完整性和精度。

对于外观采集，光照图案（32 张）作为自编码器的一部分进行优化，该自编码器学习如何捕捉复杂外观的本质 [Kang et al. 2019]。随后使用上述光照图案来获取测量值，并以此为依据优化出高维外观。在这个过程中，已重建的三维几何也会被考虑（用来模拟阴影等由于几何所造成的现象），从而提高外观结果的质量。有关详情请参见论文原文。  

结果

  研究人员使用自研原型系统采集重建了多种复杂物体的几何与外观。下图 4 对比了实拍照片、本系统的几何与外观重建结果以及相关 SOTA 方法的结果。

本系统生成的外观结果使用工业界标准的各向异性 GGX BRDF 参数纹理来表示，可以由任意基于物理的绘制器（PBR）读取并绘制出全新光照和视角下的图片。下图 5 展示了外观重建结果的分项参数。

展望

研究人员希望该研究能够抛砖引玉，启发一系列高维结构光方向上的未来工作（例如发展质量可控的自适应采集策略，与最先进光场投影技术结合来研制首个手持式几何与外观联合扫描仪等等），从而进一步推动高质量物体数字化的发展。

参考文献

1.Kang, K., Xie, C., He, C., Yi, M., Gu, M., Chen, Z., Zhou, K. and Wu, H., 2019. Learning efficient illumination multiplexing for joint capture of reflectance and shape. ACM Trans. Graph., 38 (6), pp.165-1.

2.Ma, X., Kang, K., Zhu, R., Wu, H. and Zhou, K., 2021. Free-form scanning of non-planar appearance with neural trace photography. ACM Transactions on Graphics (TOG), 40 (4), pp.1-13.

3.Weinmann, M., Schwartz, C., Ruiters, R. and Klein, R., 2011, May. A multi-camera, multi-projector super-resolution framework for structured light. In 2011 International Conference on 3D Imaging, Modeling, Processing, Visualization and Transmission (pp. 397-404). IEEE.

4.Holroyd, M., Lawrence, J. and Zickler, T., 2010. A coaxial optical scanner for synchronous acquisition of 3D geometry and surface reflectance. ACM Transactions on Graphics (TOG), 29 (4), pp.1-12.