谷歌人像抠图新作，五一足不出户游天下

星宇心空

原标题：谷歌人像抠图新作，五一足不出户游天下

呆板之心报道

编辑：维度、陈萍

人像抠图又出新作！来自谷歌的研究者提出了一种新的人像重照明和配景更换体系，可对图像配景举行更换，天生的肖像图的光照条件与新配景保持同等，还能有用地去除图片中的强光，细节规复较好。

在人像抠图中，远景猜测配景更换是至关紧张的构成部门，此前也出现过各种结果不错的抠图方法，如商汤等提出的只需单张图像、单个模子的方法 、华盛顿大学单块 GPU 实现 4K 分辨率每秒 30 帧的 等。这些方法或多或少都有其范围性。

克日，来自谷歌的几位研究者提出了一种全新的人像重照明（portrait relighting）和配景更换体系，该体系不但保存了高频界限细节，并准确地合成了目的人像在新照明下的表面，从而为任何所需场景天生传神的合成图像。

相干论文已被 SIGGRAPH 2021 集会吸收。

论文地点：http://augmentedperception.github.io/total_relighting/total_relighting_paper.pdf

该研究的亮点和焦点是通过远景蒙版（alpha matting）、重照明（relighting）和合成（compositing）举行远景估计。

研究者在论文中表现，每个阶段都可以在一个一连的 pipeline 中处置惩罚，无需利用先验知识（如已知配景或已知照明），也无需专门的收罗技能，仅利用单个 RGB 肖像图和新的目的 HDR 照明情况作为输入。

模子练习中利用到了光阶段盘算照明（ light stage computational illumination ）体系捕捉的重照明肖像图，该体系记载了多种照明条件、高质量多少外形和准确的远景蒙版。

别的，为了实现真实的重照明合成，研究者在深度学习框架中引入了一种新的每像素照明表征，它显式地建模肖像图表面的漫反射和镜面反射组件，天生了具有绝佳渲染非朗伯结果（如镜面反射高光）的重照明肖像。实行表明，该方法在处置惩罚天然情况图像中是有用的。

睁开全文

合成结果是如许的：

实景动态展示，能看出来是合成的吗？

框架方法

研究者提出的框架包罗以下几个步调，起首 matting 模块根据给定的 RGB 肖像图估计远景蒙版和远景，然后估计的远景和目的 HDR 照明情况馈入重照明模块，该模块负责推理外貌多少外形和反照率，并利用每像素重照明表征来显式地建模着色后表面的漫反射和镜面反射组件。

末了，远景蒙版、重照明效果和新配景合成在一起，天生了一张具有新配景的重照明肖像图，而且肖像图的光照条件与新配景保持同等。

团体架构如下图 3 所示：

重照明模块又包罗以下几个步调，起首利用多少网络（Geometry Network）来估计输入远景的每像素外貌法线 N，然后使用外貌法线和远景 F 来天生反射率（albedo）A。利用扩散和镜面卷积运算对目的 HDR 照明情况举行预过滤，然后通过外貌法线大概反射向量对预过滤后的 map 举行采样，从而天生目的照明（光照图）漫反射和镜面反射的每像素表征。接着，利用着色网络（Shading Network）天生终极的重照明远景。

下图 4 展示了重照明模块的具体工作流程：

着色网络是怎样工作的呢？起首，利用镜面网络（specular network）来猜测单个镜面光照图，并作为输入。然后，将猜测得到的镜面光照图与漫反射分量和反射率毗连，并经过终极的神经渲染网络天生重照明远景。详细工作流程如下图 5 所示：

末了，利用神经渲染器实行现实的图像合成，所利用架构 U-Net 与 Geometry Net 和 Albedo Net 的布局雷同。研究者使用神经渲染器赔偿近似（approximation）以及猜测到中心图像中的任何残差。

下图 6 展示了神经渲染器合成图像的过程：

结果对比

在实行中，研究者从重照明结果和 matting 模块结果两个方面将提出的方法和 SOTA 方法举行了比力。

重照明结果的对比

该研究将重照明模块与两种 SOTA 单幅肖像重照明方法举行了比力：对于在光照阶段拍摄的评估对象，该研究有真实重光照效果，可以对差别技能举行定性和定量比力。定性效果如下图 10 所示，所提出的方法优于从前 SOTA 方法，增长了照片的真实性。

定量评价效果如下表 1 所示，该研究所提出的方法在肖像重照明使命的每个指标上都优于 SOTA 技能。

研究者还比力了在恣意光照条件下拍摄的户外人像的差别方法，其定性效果如下图 11 所示。效果表明，该方法在从输入图像（第一列）中去除强光高光方面特殊有用，而且可以很好地泛化到户外图像。

Matting 结果对比

为了验证自界说人像 matting 模块的须要性，研究者将提出的方法与 Li and Lu [2020] 和 Xu [2017] 等人的方法举行了对比。

下表 2 为带有真值标签肖像数据集的定量效果：

值得留意的是，这种尤其针对人像练习的方法要优于以往的预练习方法。下图 13 中展示了定性效果，该研究提出的方法可以或许规复更清楚的界限和精致的细节，从而得到更准确的远景蒙版。

原标题：《高光压抑、清楚界限、恣意场景，谷歌人像抠图新作！有了它，以后五一足不出户游天下》

阅读原文返回搜狐，检察更多

责任编辑：