ZKX's LAB

一场骁龙手机影像展 打开了算力与算法的新世界

2020-09-27新闻5

这些影像和视频作品,来自于中国国家地理杂志的团队,在前几个月疫情向好时,他们走遍了中国的云南、青海等地,用搭载了高通骁龙865移动平台的手机,拍摄的中国名山大川和野生动物保护区,记录下了多彩中国。

一场骁龙手机影像展 打开了算力与算法的新世界

虽然照片在拍摄过程中借助了望远镜、无人机等辅助器材,但是成像最终都由手机完成。骁龙865移动平台,以其8K视频的拍摄能力、4K HDR能力、小空间拍摄优势,大大提升了手机摄影的成像质量。

一场骁龙手机影像展 打开了算力与算法的新世界

用我们已经知道的那些知识点来说,骁龙865集成的Spectra 480 ISP,以每秒20亿像素的速度处理照片和视频,支持8K视频拍摄、4K HDR视频、2亿像素的照片、边录边拍以及960FPS不限时慢动作视频拍摄等。

一场骁龙手机影像展 打开了算力与算法的新世界

三个专用的硬件核心从芯片底层技术上实现硬件加速:支持高速处理数据流的HiSpeed Capture模块、支持深度感测和物体识别的视频分析引擎EVA、支持先进成像的HEIF模块。

一场骁龙手机影像展 打开了算力与算法的新世界

一场骁龙手机影像展 打开了算力与算法的新世界

借助HiSpeed Capture模块,Spectra 480 ISP能够对多个图像传感器的数据流进行高速处理,同时从硬件上降噪,还能清晰地辨识画面纹理、保留最佳细节。

EVA(视频分析引擎)中的时域滤波内核(temporal filtering core)能够全局处理像素并实现局部运动补偿,可以在拍摄视频时处理场景中的局部运动。

HEIF这一全新文件格式能够支持多种的影像压缩、编码和存储功能,包括拍摄和保存HDR图像、混合视频与静止图像、支持CV处理并保存全部CV数据、处理景深图等。

Spectra 480 ISP和高通第五代AI Engine配合,在按下快门的同时,骁龙865中的多个神经网络正在同步工作,对画面进行分割、检测、降噪、虚化、高动态范围等。而越来越高的帧率和分辨率的视频,需要更高的算力和算法的支持。一支4K 60FPS的视频背后需要更多AI神经网络进行处理,来实现更好的视频降噪、夜景、高动态范围,这通常需要消耗10 TOPS以上的算力,而骁龙865集成的第五代AI Engine可实现高达每秒15万亿次运算(15TOPS)。

一场骁龙手机影像展 打开了算力与算法的新世界

手机搭载的光学器件在不断优化,例如镜头、模组、传感器等,这几年的进步都非常大。不单是手机摄像头数量的增多,手机厂商在摄像头自身每个像素的成像质量、光电质量,以及防抖等众多功能方面都有很大的投入。

一场骁龙手机影像展 打开了算力与算法的新世界

随着手机芯片的计算能力突飞猛进,ISP能够对每个像素处理,处理过程中还叠加了多帧技术,同时还能处理RGB、YUV在内的各种域。ISP还能配合AI引擎,足够的算力能够把有限的硬件提供的所有信息量挖掘出来。ISP处理再通过AI技术补充更多的信息量,足够的算力能够把有限的硬件提供的所有信息量挖掘出来。

一场骁龙手机影像展 打开了算力与算法的新世界

高通公司产品市场高级总监徐恒在采访中表示:图像是相对主观的东西,每一个人、每一个企业都有自己的偏好,高通提供的ISP是尽可能100%还原最真实的图像。但是因为有了个人偏好,很多AI技术都可以实现更讨好人眼的图像,因此到底是否喜欢真实的图像,取决于每个消费者的判断。

同时,由于照片是静态的,视频是动态的,且每帧之间都有关联,利用AI技术处理视频是非常复杂的,但非常有前景。现阶段,算力是足够的,重要的是控制好功耗。把视频的特性研究透彻之后,它的模型和照片的模型,不会是简单的拷贝。

一场骁龙手机影像展 打开了算力与算法的新世界

高通以人文的方式展示了一家技术公司的人文情怀。在5G+8K的推动下,将进一步变革人们使用智能手机的拍摄体验。随着技术的迭代,超高清视频会在普通群众里散发出简单易用的魅力。一场影展,为5G时代下的超高清内容创作揭幕。

#AI人工智能

随机阅读

qrcode
访问手机版