编者按：最近上映的《头号玩家》激起了许多游戏玩家的热情，关于里面的梗，不看剧透的你从中分辨出了多少个呢？从上个世纪七八十年代，到如今的2018年，我们的游戏不仅在形式上有了更多创新，在游戏画面上也经历了翻天覆地的变化。现在，即便是minecraft，我们也能在加了材质包的别人的世界里高声喊出：啊！这光！啊！这水！但面对更加逼真的游戏世界，挑剔的玩家总能找出不满意的地方，比如《FIFA18》的假脸……
比较C罗的脸部，左：FIFA 18；右：深度神经网络
为了设计游戏图形，游戏工作室往往会花费数百万美元和数以千计的开发时间，以让它们更接近现实图像。尽管在过去的几年里，游戏画面已经得到大幅提升，但我们仍然能够凭借肉眼轻易把它们和现实世界区分开来。那么，随着深度神经网络在图像处理领域的巨大进步，我们能不能尝试着用它来改进画面，同时降低开发工作量呢？
过去的十年中，《FIFA》系列在足球游戏界独占鳌头，也让EA赚的盆满钵满，去年，EA发布FIFA系列的最新作——《FIFA18》，并邀请C罗担任这款新版游戏的封面巨星。所以让我们把这款体育大作作为深度学习实验的理想“小白鼠”。
为了弄清深度学习能否帮助我们解决这个问题，我们这次用的算法是deepfakes。这是一个深度神经网络，能通过训练学会生成及其逼真的人脸。是的，它就是那个风靡reddit的神奇工具，能把AV视频中女优/男优的脸换成你喜爱的影视明星，让你的脑补实现可视化。当然，我们的这个项目和爱情动作电影完全没关系，它的重点在于在游戏中重塑玩家面孔，并提升图形设计，使他们与真人更接近。简而言之，我们的换脸对象是C罗，而不是艾玛·沃特森。
注：这个视频很好地解释了deepfakes算法的工作原理：它可以通过自动编码器（autoencoder）和卷积神经网络将视频中的任何一张脸换成其他人的脸。
我们可以从Google中收集所有数据，而不用让他穿上怪异的传感器服装搔首弄姿
让我们先来看看《FIFA18》中设计得最精美的面庞之一——C罗，并试着去做一些改进。为了收集deepfakes算法所需的训练数据，我们先从游戏的录像视频中去截取大量玩家头像，获得各个角度的信息。之后，我们再从Google上下载大量C罗的图像，以便从不同角度清晰地观察他的脸。完成这两个收集步骤，我们就能开始训练模型了。
deepfakes算法涉及一个名为自动编码器的深度神经网络。这些网络被用于无监督学习，它们有一个编码器和一个解码器，输入图像后，编码器会把数据编码为一个名为“encoding”的紧凑表示，然后再由解码器进行重构。这种架构迫使神经网络学习输入的底层分布，而不是简单地回溯输入。由于输入数据是图像，所以我们需要把卷积神经网络作为编码器，并把去卷积网络用作解码器。经过训练，该架构能最大限度地减少无监督学习的重构误差。
需要提一点是，我们收集了两种类型的数据：游戏截图和真实照片。在这个项目中，我们需要同时训练两个自动编码器网络，其中一个利用《FIFA18》图形学习重新创建游戏中C罗的脸，另一个利用Google图像学会生成现实中C罗的脸。在deepfakes中，两个网络共享相同的编码器，但使用不同的解码器进行训练。因此，现在我们得到了两个能生成C罗脸部的神经网络。
利用《FIFA18》截图训练的自动编码器网络
利用实际图片训练的自动编码器网络
在用其他人的预训练模型训练时，我计了一下时，发现它在GTX 1070上要花4个小时，同时模型的loss也从0.06降低到了0.02。这里提供一种参考做法——在原始CageNet模型上进行训练，它的原始数据是尼古拉斯·凯奇的脸。
接下来就是最有趣的步骤。deepfakes算法能以一种非常巧妙的方法来交换人脸。如下图所示，因为两个网络的编码器是共享的，所以我们用同样的编码器输入来自《FIFA18》截图，但在这个架构中，解码器是根据真实图像训练的Decoder2，所以尽管输入的是游戏数据，但它最终输出的是经重构后的真实脸部。
将《FIFA18》截图转换成真实人脸
就这么简单，我们把《FIFA18》的游戏角色脸部转换成了C罗的实际面貌。
下图这个GIF展示了算法替换游戏角色脸部前后的具体变化。就个人观点而言，这样的改善是惊人的，当然在座的各位读者可能有更高的评判尺度。
由于未获得相应球员的肖像权，EA虽然在《FIFA18》中更新了一部分真脸，但还是因众多皇马“假脸”饱受玩家批评。自己设计得差，捏脸系统又不完善，那想看到自己心仪球星的玩家能把算法成果放进自己的游戏吗？
“假脸”和“真脸”
又或者试想一下，你可以把The Journey模式里Alex Hunter的脸换成你自己的脸。这些是可以实现的。首先你可以把摄像头对准自己，自拍一个大约1分钟的视频，然后花几个小时下载训练好的模型，按照上面的介绍动手做一做，最后你就能“身临其境”地玩《The Journey: Hunter Returns》了。
把Alex Hunter换成自己——也许还要加长头发、改变肤色，再加上发达的肱二头肌
把深度学习用于游戏角色图形设计的一个最大优势是可以生成令人震惊的逼真画面，它们甚至可以和现实世界几乎一模一样，而且只需几小时就能搞定。相反地，如果用现在游戏设计师普遍使用的方法，他们可能需要耗费数年的时间。这种效率上的提升意味着游戏发行商可以更快速地推出新游戏，而不是“十年磨一剑，九年做CG”。同样的，如果把这种技术应用于电影工业，导演、制片人也能因此节省数百万美元，并把这笔资金用来磨剧本。
但它也有一个缺点，就是这些新脸是滞后出现的，就像电影后期的CGI渲染一样。作为游戏玩家，我们希望它能做到实时生成。但好在CGI是人手动完成的，算法是自动的。一旦模型训练完成，它不需要任何人来干预输出结果的过程，我们能做的只有影响它的计算用时。我们要相信这一点，在谁想出更轻量级、层数更浅的生成模型前，我们现有的模型完全可以在不影响输出质量的前提下做到快速运行。YOLO和SSD MobileNets的实时对象检测能力大家有目共睹，所以为什么RCNN无法做到实时“换脸”呢？
本文涉及的技术还是基础层面的，它不需要开发者有图形设计方面的经验，如果是一个经验丰富的设计师，相信他能在几小时内给出更令人惊奇的成果。我们有理由相信，如果游戏开发商在这个方向上大力投资，在不远的未来，这可能会改变整个游戏行业。所以EA体育游戏部门的人，你们真的不考虑下吗？
微信扫一扫 
