微软的AI从2D图像生成3D对象

 
Facebook，Nvidia的AI研究实验室以及Threedy.ai之类的初创公司在各个方面都尝试了2D对象到3D形状转换的挑战。但是在一份新的预印本论文中，来自Microsoft Research的团队详细介绍了一个框架，他们声称该框架是针对2D数据的3D模型的第一个“可缩放”训练技术。他们说，在仅使用2D图像进行训练时，它可以始终学习比现有模型更好的形状，这对于缺乏从头开始创建3D形状的手段或专业知识的视频游戏开发人员，电子商务企业和动画工作室可能是一个福音。
与以前的工作相反，研究人员试图利用功能齐全的工业渲染器，即从显示数据生成图像的软件。为此，他们训练了3D形状的生成模型，以便渲染形状会生成与2D数据集的分布相匹配的图像。生成器模型采用随机输入向量(代表数据集特征的值)并生成3D对象的连续体素表示(3D空间中网格上的值)。然后，它将体素馈送到不可微分的渲染过程，该过程将阈值设置为离散值，然后再使用现成的渲染器(在OpenGL之上构建的Pyrender)进行渲染。
一种新颖的代理神经渲染器直接渲染由3D生成模型生成的连续体素网格。正如研究人员所解释的那样，在给定3D网格输入的情况下，它经过训练可以匹配现成渲染器的渲染输出。
在实验中，该团队为发电机采用了3D卷积GAN架构。 (GAN是由两部分组成的AI模型，其中包括生成器，这些生成器从使用分布采样的随机噪声中生成合成示例，并将这些示例与来自训练数据集的真实示例一起馈入鉴别器，以尝试区分两者。)从3D模型生成的一系列合成数据集和一个现实生活的数据集，他们合成了来自不同对象类别的图像，并在整个训练过程中从不同的角度对其进行了渲染。
研究人员说，他们的方法利用了图像提供的照明和阴影提示，使其能够从每个训练样本中提取更多有意义的信息，并在这些设置下产生更好的结果。此外，在对自然图像的数据集进行训练后，它可以生成逼真的样本。该论文的合著者写道：“我们的方法……利用表面之间的曝光差异成功地检测出凹形物体的内部结构，从而使其能够准确地捕获凹面和中空空间。”
他们将将来的工作纳入系统中，将颜色，材料和照明预测整合到系统中，以将其扩展为与更多“常规”实际数据集一起使用。