智东西
文 | 云鹏
如果要拎出当下旗舰手机三大比拼核心点，那么芯片性能、影像系统、屏幕效果必不可少。
在5G时代，短视频拍摄火爆，摄影和视频创作已经逐渐走进普通人的生活中，因此摄影摄像几乎成为了手机厂商们争夺的关键技术高地。
当然，攻下这座山头似乎并不容易，各家都组建起自己的影像算法研究团队，并且和索尼、徕卡这种“大厂”进行合作，共同调教算法。
其实这种利用算法，拓展相机硬件获取信息能力，来尽可能丰富和全面呈现我们肉眼所见世界的方式，被行业内称之为计算摄影。
对于计算摄影的研究，难度其实很大，因为这需要有比较聚焦、专一的研究团队和一定的数据基础，同时在算法研发工具、平台方面的要求也不低。
有需求，就有市场，很多在视觉算法领域有一定积累的企业，也开始抓住计算摄影这条关键赛道，尝试给出自己的解题方案，而AI似乎在这其中扮演着越来越重要的角色。
为了揭开这层面纱，理解AI对于计算摄影的根本意义，以及不同玩家究竟是如何与“光影艺术”打交道的，智东西与AI企业旷视科技的工程师进行了深入交流。 一、都是800万像素，凭什么你拍的更好？
其实大家真正对于“拍照不止于硬件”有所感知，是从iPhone开始。从iPhone 5一直到iPhone 6s，苹果一直在沿用一颗800万像素摄像头。
但苹果却凭借这一枚祖传800万像素摄像头，“吊打”了当时一众安卓旗舰手机的拍照素质，在一个小小的相机模组背后，对于硬件的调教和算法产生了关键作用。
时间来到2018年，谷歌Pixel 3系列凭借最佳镜头模式、超级变焦、夜景拍照等功能，成为了当时的“地表最强单摄”手机。
从过去让手机拍的到，到今天让手机拍得好，同样的像素，接近的光学尺寸，但成像效果却相去甚远。
曾经厂商们给手机拍照增加各种各样的功能，但最后发现，一拍即得，反而是用户最需要的，而实现这种体验的背后，需要算法提前做大量工作。
其实在计算摄影领域，旷视已经深耕多年，只不过略显低调。前几年手机刷脸解锁和刷脸支付成为热门，这背后旷视的算法就多有应用。今天，旷视要将AI的能力融入影像算法，在他们看来，AI才是计算摄影的未来方向。 二、跟“光“打交道，硬件需要AI来帮忙
那么AI到底如何给手机影像系统赋能？这听起来似乎有些抽象。通过与旷视工程师进行交流，我对他们基于深度学习神经网络能力的“AI+CV”超画质技术有了更深的理解。
其实通俗来讲，这类技术就是通过AI来对高画质数码相机的成像特性进行学习，还原景物原有的细节纹理，使画面品质得到整体提升。
也就是说，“原来硬件看不到的，AI来告诉它都有什么”，获得超越图像原本的效果，从而让用户可以更加简单便捷的获得一张“好照片”。
旷视特别提到，目前他们的超画质产品已经在50多款热销手机中有所应用，并多次在相机评测机构DXOMark中取得当时的最高分。
具体来看，旷视的超画质技术主要是针对全局和细节两方面分别进行优化处理。
比如画面细节增强、动态范围提升、降噪效果提升这类属于全局优化的范畴，而闭眼融合修复、天空噪声优化、挥手鬼影优化这些则属于细节优化。
旷视的工程师告诉智东西，对于“超画质”，旷视追求的是整体影像拍照好看，这个好看主要是对于光的处理。
“光有三个域，分别是时域、频域、空域。旷视超画质做的核心工作，就是对三个域上的信号进行增强，或者优化处理。”
就比如对于噪声的优化，旷视算法的核心就是对时域和空域信号的补充。
首先AI会对自然光谱进行学习并总结特性，然后就可以借此对相机传感器所捕捉的信号进行分辨，哪些是噪声，哪些是成像需要的信号。最后把需要的部分还原，把噪声的部分去掉，这就是AI在降噪算法上的一个典型应用。 三、计算摄影的本质，是“光感知”的协同设计
从超画质技术，我们可以看出旷视对于计算摄影的发展路径有着自己的理解和判断。
其实拍摄本质上是一个“光感知”的过程。光：光线本身及光学路径；感：接收光线做光电转化；知：将光信号做计算处理。
形象的来理解，其实可以比作人眼看到物体的过程。人眼中的晶状体和角膜是光学系统，而感知的部分是视网膜，处理的部分是大脑。
以前手机相机硬件之间的交流是通过相对固定的信息参数，光的部分以镜头为媒介，把参数给到感的部分（传感器），基于这些信息感的部分来做优化设计，这是单一“小水管”形式，各个部分单打独斗，各自提升。
而现在通过AI算法，旷视在各硬件之间搭建了一个类似神经网络的链接，从最优影像效果出发，优化各个硬件的参数。
旷视的工程师特别强调说，光感知系统是一个整体，他们一定是协调工作的。逻辑上是通过扩大整体信息管道的通量，让不同硬件设备之间形成更有效的全局优化，使整个系统的效果更往上走一个台阶。
旷视将这种思路和方法称为：用AI重新定义光感知系统。而AI计算摄影就是旷视在手机影像领域应用这种方法的体现。 四、为了让AI更懂“什么是美”，先要把自己训练成“美学家”
可以看到，AI的加入让影像系统的算法之争又上升到了一个更高的维度，而这也需要大量研发人员、大量研发资金的投入来慢慢打磨。
九年前，旷视进入了AI视觉这条赛道。从面部识别到计算摄影算法，他们一直在拓展自己在AI算法领域的研究边界。
目前旷视研究院已经拥有500多位研究员，据称这样的规模在全球范围内也属于比较领先。
为了提升超画质的实际表现，旷视搭建了自己的光学实验室、图卡实验室等专业实验室。
旷视的工程师告诉智东西，为了让AI更懂“什么是美”，他们从事超画质研发的同学，在训练算法前，都要先将自己训练成能够辨识美的“美学家”，只有自己能够熟练辨识什么是好照片，才能开发出实际表现更贴近用户需求的超画质算法。
就比如，色彩的表现力和自然真实之间如何做取舍？这就是一个非常令人纠结的问题。这时候，就不能盲目训练算法，而是要先通过人来评判。
旷视的超画质工程师们会跟专业的图像质量测评集去打交道，也会跟客户一起讨论，“先把自己训练出来，知道怎样做好看了，才知道自己做的图是不是好。”
凭借研发人员这种认真和执着，依托旷视Brain++平台的能力，在不到2年的时间里，旷视超画质技术已经迭代到3.0版本，整体研发及交付效率提升了6倍。
从算法驱动到价值驱动。旷视的工程师说，客户曾有一句评价令他们印象很深刻：“旷视只要选好方向，就非常坚定，最终能够做出来好的产品。”
这种口碑的养成，其实都需要一步一个脚印的慢慢积累。 结语：AI计算摄影未来还有很大想象空间
随着拍照软硬件系统整体的复杂度越来越高，通过深度学习神经网络找到最优参数的解法，其优势逐渐突显。在手机AI计算摄影这条路上，旷视找到了属于自己的核心要诀。
当下，手机仍然是目前技术创新密度和技术价值密度最高的产品之一。智能手机摄影摄像在近几年内依然会成为各家产品的主打卖点，因此市场对于AI拍照算法的需求也会只增不减。
这条赛道既有苹果这样的手机厂商在带动，也有旷视这样的AI公司在持续投入，更有许多创业公司仍然在探索更多细分领域的机会，AI计算摄影这条赛道，好不热闹。
