物理可控的照片重新照明

摘要：我们提出了一种自我监督的野外图像重新照明方法，可以实现完全可控、基于物理的照明编辑。我们通过将传统渲染的物理精度与神经渲染实现的逼真外观相结合来实现这一目标。我们的管道的工作原理是使用几何和内在组件的单目估计来推断给定场景的彩色网格表示。这种表示方式允许用户在 3D 中定义他们所需的照明配置。然后可以使用路径跟踪引擎渲染新照明下的场景。我们通过前馈神经渲染器发送场景的近似渲染，以预测最终的真实感重新照明结果。我们开发了一种可微渲染过程来重建野外场景照明，从而能够在原始图像集合上对我们的神经渲染器进行自我监督训练。我们的方法代表了将典型 3D 计算机图形工具（例如 Blender）中可用的灯光的显式物理控制引入野外重新照明方面迈出的重要一步。视频视频纸质媒体发布海报 BibTeX @INPROCEEDINGS{careagaRelighting，作者={Chris Careaga 和 Ya\u{g}{\i}z Aksoy}，标题={物理可控照片重新照明}，书名={Proc. SIGGRAPH}, Year={2025}, } 许可证这项工作中提出的方法受到知识产权保护。有关许可机会的咨询，请联系 SFU 技术许可办公室和 Yağız Aksoy 博士。相关出版物野外彩色漫反射本征图像分解 Chris Careaga 和 Yağız Aksoy ACM Transactions on Graphics (Proc. SIGGRAPH Asia)，2024 年最佳论文奖荣誉奖摘要本征图像分解旨在将表面反射率和给定单张照片的照明效果分开。由于问题的复杂性，大多数先前的工作都假设单色照明和朗伯世界，这限制了它们在照明感知图像编辑应用程序中的使用。在这项工作中，我们将输入图像分离为其漫反射反照率、彩色漫反射阴影和镜面残留分量。我们通过首先逐渐去除单色照明，然后去除朗伯世界假设来得出我们的结果。我们表明，通过将问题划分为更简单的子问题，尽管地面实况数据集有限，仍可以实现野外彩色漫反射阴影估计。我们的扩展内在模型可以对照片进行照明感知分析，并可用于图像编辑应用，例如镜面反射消除和每像素白平衡。手稿及更多 BibTeX @ARTICLE{careagaColorful，作者={Chris Careaga 和 Ya\u{g}{\i}z Aksoy}，标题={野外彩色漫反射内在图像分解}，期刊={ACM Trans. Graph.},year={2024},volume={43},number={6},articleno={178},numpages={12},}通过序数着色进行内在图像分解 Chris Careaga 和 Yağız Aksoy ACM Transactions on Graphics,2023 摘要内在分解是一个基本的中级视觉问题，在各种逆向渲染和计算摄影管道中发挥着至关重要的作用。生成高度准确的内在分解本质上是一项不受约束的任务，需要精确估计连续值的阴影和反照率。在这项工作中，我们通过将问题分成两部分来实现高分辨率的内在分解。首先，我们使用平移和尺度不变损失提出了密集序数着色公式，以便估计序数着色线索而不限制预测服从内在模型。然后，我们使用第二个网络将低分辨率和高分辨率序数估计结合起来，生成具有全局一致性和局部细节的着色估计。我们鼓励模型通过计算估计阴影的损失以及内在模型隐含的反照率来学习准确的分解。我们开发了一种简单的方法，使用我们的模型预测和多照明数据生成密集的伪地面实况，从而能够推广到野外图像。我们根据最先进的方法对预测的内在成分进行了详尽的定性和定量分析。最后，我们通过执行其他困难的编辑任务（例如重新着色和重新照明）来证明我们的估计在现实世界中的适用性。手稿及更多 BibTeX @ARTICLE{careagaIntrinsic，作者={Chris Careaga 和 Ya\u{g}{\i}z Aksoy}，标题={通过序数着色进行本征图像分解}，期刊={ACM Trans. Graph.}，年份 = {2023}，卷 = {43}，数量 = {1}，文章号 = {12}，页数 = {24}，} 照明感知合成的内在协调 Chris Careaga、S. Mahdi H. Miangoleh 和 Yağız Aksoy SIGGRAPH 亚洲，2023 年摘要尽管 si

订阅66必读