手机已经成为大家生活中必不可少的通讯工具,或者更确切的说,是拍照工具。用手机打开美颜拍一张自拍照,随后进行一系列修图操作之后发到朋友圈,想必这是不少朋友的日常。
相信大家也都有所了解,手机拍照之所以能够媲美单反相机,靠的不是硬件,而是算法。单就画质来说,但依托强大的算法加持,最终的手机成像画面和单反很难分辨,非常关键的一点,手机拍出来的照片更真(hao)实(kan)!
目前而言,手机拍照后期处理能处理的无非是调调亮度、锐度、对比度、色彩饱和度,以及增添一些滤镜特效啥的。如果有人告诉你,你的自拍照除了能进行常规美颜,还能调节拍摄角度、光照方向、姿势、表情、发型,甚至改变年龄和性别,而且整个操作就像是在游戏里 “捏脸” 一样简单,你信不信?这项技术就叫 StyleFlow。
StyleFlow—— 把游戏里的 “捏脸” 带到现实
虽说目前图像生成以及编辑技术逐渐趋于成熟,比如通过无条件的 GAN(例如 StyleGAN)可以生成高质量、多样且逼真的图像。但是,由于 GAN 潜在空间的纠缠性质,沿一个属性执行编辑可能会轻易导致沿其他属性进行不必要的更改。
换句话说,就是在图像上进行某个属性的编辑往往会带来其他的属性改变。比如,我只是想给人脸调一下嘴型,结果鼻子和脸颊也受到了牵连跟着变形了。
单纯的改变图像一个属性而不引起其他变化,以往的技术很难实现这一点。而 StyleFlow 的出现改变了这一局面。
据悉,这项技术由阿卜杜拉国王科技大学(KAUST)和 Adobe 共同研发。
研发团队以纠缠潜空间的条件探索为背景,研究了属性条件采样和属性控制编辑两个问题。
其一,属性条件采样,即对拥有特定属性的图像进行采样;其二,属性控制编辑,即保留源图像属性的条件下进行编辑,使处理后的图像拥有目标属性。
图│(来源:rameenabdal.github.io)
如上图所示,使用 StyleFlow 进行属性条件编辑。从源图像开始,通过使用反向推理,然后通过一系列 CNF 块进行正向推理,用来进行属性条件的一系列编辑。
图│(来源:rameenabdal.github.io)
如上图所示,使用 StyleFlow 进行属性条件采样。这里展示了目标姿势下戴着眼镜的女性(顶行)、面部有毛发的 50 岁男性(中间行)、微笑的 5 岁儿童(底行)的属性规范采样结果。
图│(来源 :rameenabdal.github.io)
上图展示的是使用 StyleFlow 进行图像顺序编辑,给人脸图像增加或减少各种属性。图示中的 “+” /“-” 表示相应属性的顺序编辑已增加 / 减少。
图中的第一列均是源图像,后面的图像都是基于源图像通过调节不同属性而生成的。这步操作有点类似于在游戏中对角色进行 “捏脸”。
值得注意的是,StyleFlow 的属性调节都是独立的,比如年龄、性别、表情、角度、发型等等,调节其中的任何一种属性并不会引起其他改变。
图│(来源:rameenabdal.github.io)
上图展示的是使用 StyleFlow 进行图像非顺序编辑。注意,与并发方法相比,该方法能够很好地处理极端姿势(第一行和第二行),不对称表达式(第四行)和年龄差异(第一行和最后一行)。
通过大量定性和定量比较,研发团队证明了 StyleFlow 相对于其他并行工作的优越性,StyleFlow 是一种非常简单、有效的解决方案。
不止是人脸,StyleFlow 还能对汽车进行同样的操作,毕竟汽车也有 “前脸” 。比如,改变车的颜色、角度、轮毂,甚至是车型。
话不多说,下面直接来几张动图感受一下:
图│(来源 :rameenabdal.github.io)
StyleFlow 未来应用如何?
基于研发团队所展示的 StyleFlow 的强大表现,我们不妨大胆地想象一下未来的应用前景有哪些。
1、美颜算法领域
不得不说,StyleFlow 的出现让目前手机的美颜功能瞬间 “黯然失色”,也让市面上的各种修图软件 “弱爆了”。作为美颜算法的终极版(如果可能的话),毫不夸张的说,StyleFlow 为大家的后期修图提供了更为广阔的 “发挥空间”。
2、案件侦破领域
依托 StyleFlow,即使是只有一张侧面照也能还原出正面照,警察或许可以更加快速高效地还原犯罪嫌疑人本来样貌并将其迅速锁定逮捕,大范围促成协助案件的调查与侦破。StyleFlow 或许还可以通过模拟预测儿童未来的长相样貌,以帮助寻找失散多年的失踪儿童。
3、整形医疗领域
想看看变性后的自己长啥样?拍张自拍照用 StyleFlow 一试便知。借助 StyleFlow,美容整形医院用电脑直接为客户展示最终效果,如果不满意,那就再动动鼠标,调整试试其他的类型,毕竟所见即所得。
4、人脸识别领域
目前,人脸识别技术已经开始逐步用于支付领域,就像之前的指纹识别可以造假一样,未来人脸识别也可能存在造假现象威胁人身财产安全,依托 StyleFlow 的算法或许可以大大降低破解的概率以保障安全。
5、产品设计领域
上文也提到了,除了人脸,像是汽车也可以实现一系列的 “变形” 操作,相信这为包括汽车在内的众多产品设计师提供了不少帮助,不必每次都得重新设计渲染产品模型,设计出一稿,后续直接通过调整参数 “捏” 出来即可,大幅提高设计效率。
当然,上述只是基于该项技术的一些猜想。毕竟目前该技术的代码没有开源,至于这项技术未来的应用如何还不好妄下结论,但有一点可以确定的是,StyleFlow 一定会为未来的工作和生活带来便捷。