移动互联网

手机厂商贴身肉搏,影像技术才是那柄白刃

2021/8/20 15:45:00

文/王云辉

得影像者得天下。

这是整个手机行业,竞争最激烈、最内卷的战场。

也是整个手机行业,创新最密集,最前沿的领域。

过去几年来,手机影像已经历了一轮颠覆式爆发,从单摄像头向多摄像头,从硬件革新到算法颠覆,彻底跳出了传统相机的路径困囿,走出了一条全新的发展道路。但手机巨头依然未有止步。

目前,手机影像的创新,主要集中在两个方向:

一是硬件环节的迭代升级,不断提升手机影像的基础体验。比如,更高像素的传感器、更大的感光度、更广的光学变焦,更强的稳定防抖。

另一个方向是,随着软件和算法的推陈出新,突破硬件限制,大幅提升了手机影像体验的上限。比如,多摄像头的联动配合,影像质量的优化提升,后期特效的自动。

但放眼未来,这两个方向将逐渐合流,相互协作,甚至全面融合。与此同时,创新也会越来越转向底层基础技术,越来越需要跨领域的技术协同。

这意味着,手机影像已经进入“深水区”。过去,很多创新都是由上游供应链完成,整机厂商只需要拿过来,装进方案;而未来,手机厂商则将成为核心引擎,更多地参与、协调,甚至主导手机影像创新。

比如,在OPPO最新发布的影像技术中,新一代捕光传感器就已经首次将自研算法写入传感器,实现“算法硬件化”;而其屏下摄像技术的突破,也是影像技术、屏幕工艺,加上OPPO自研算法,才共同实现的综合结果。

这样的形势下,OPPO在短短半个月内,连续发布了“下一代屏下摄像头解决方案”(8月4日,微博),“RGBW捕光传感器”、“连续光学变焦”、“五轴运动防抖”(8月19日,未来影像技术发布会)四项重磅影像技术,相当令人震撼。

从某种意义上来说,这也是OPPO在手机影像领域的又一次“亮剑”:

从2008年推出的第一款“笑脸手机”到现在,过去十多年来,从传感器、模组、算法到应用,OPPO已经在整个手机影像全链路都完成了深厚的技术累积,不断创新突破,帮助用户轻松记录生活之美。

而现在,面向未来,它也将继续以持续的影像技术创新,来不断满足用户的需求升级。

那么,这一次它又给我们带来了哪些新的影像技术创新?

我们来看一看它最近发布的四项技术:

【1】

新一代RGBW捕光传感器:底层技术“算法硬件化”

1976年,影像科学家布莱斯·拜耳(Bryce Bayer)发明的“拜耳阵列”,是数码影像系统的一块基石。

“拜耳阵列”的原理,是在CMOS上增加一套滤镜,每一个像素点分别对应红、绿、绿、蓝(RGGB)矩阵排列的滤镜。

这样,只要通过算法进行还原,原本只能记录图像明度信息,拍摄黑白照片的CMOS,就可以记录下彩色的世界。

随着手机算力提升,各种成像算法不断优化,手机厂商们发现,可以将“RGGB”替换成“RGBW”、“RWWB”和“RYYB”等其他结构,来提高成像质量。

其中,RGBW是最主流的路线之一。它将一个绿色子像素(G),替换成对光线更加敏感的白色子像素(W),从而大幅提升感光能力。

2015年的畅销机型OPPO R7 Plus正是搭载了这一结构的索尼IMX278传感器,实现了低亮度下32%的感光能力提升,噪点也降低78%。

但在当时,受限于制程工艺、信号串扰、算力不足、以及缺少像素合并技术等原因,无法在传感器上直接完成精细化的数据处理,W像素也会影响R、G、B像素的响应速度和准确性,导致RGBW传感器依然存在色彩失准、摩尔纹严重等问题,影响了成像质量。

OPPO并未就此放弃,此后6年,一直坚持着探索和投入。

今天,RGBW终于迎来再次高光之时。

首先,OPPO与索尼深度合作,联合定制研发了全新一代RGBW捕光传感器,采用了更加先进的制程工艺,能够在本地运行更加复杂的算法模型。

同时,OPPO自研了像素四合一的RGBW还原算法,每个子像素都能具备R(红)、G(绿)、B(蓝)和W(光线)信号的识别能力,大幅提升色彩表现,有效避免了色彩失准、伪色、摩尔纹等上一代技术的症结问题。

此外,OPPO还通过行业领先的DTI像素隔离技术,有效减少了子像素之间的相互串扰,让数字信号更为纯净。

最重要的是,这也是全行业内,手机厂商首次将自己的影像软件算法直接写入传感器硬件,从而实现兼容多芯片平台,并大幅提升影像处理效率,降低功耗。

得益于自研四合一像素聚合算法的“硬件化”,以及DTI像素隔离技术,OPPO RGBW捕光传感器的进光量相比传统RGGB传感器提升60%,噪点降低35%,大幅提升了暗光拍摄效果,还解决了过去RGBW传感器的色彩饱和度不足、后期猜色等难题。

在我看来,OPPO将自研影像算法“硬件化”是一次极具意义的突破。这个技术思路很大程度上分担了SoC在影像处理过程中的算力负担,能够兼容多个芯片平台,同时提升影像处理效率。考虑到在高清视频录制上,目前的SoC普遍存在算力瓶颈,影像算法“硬件化”的技术思路能为OPPO未来推出算力更强的传感器硬件打开想象空间。

影像,说到底,就是记录光与影的艺术。

如何更准确地捕捉更多光线,是提升手机影像质量的基础。

然而,与传统相机相比,手机装不了大尺寸的镜头,内部也放不下超大面积的感光器,这是一个难以突破的天然限制。

所以,如何通过改变传感器排列,从根本上提升捕光能力,一直是手机厂商们最具挑战的底层技术难题之一。

而这一次,OPPO不是搭载供应商产品,而是与合作伙伴深入合作,将自研算法写入传感器,建立了完整的、软硬件一体的技术体系。这意味着,它在手机影像领域又增加了一道广阔的护城河。

据透露,OPPO新一代的RGBW捕光传感器,预计将于2021年第四季度正式商用。

【2】

连续光学变焦:变焦一气呵成

这是我个人最期待的一项技术。

目前,就拍照而言,手机已经足以胜任绝大多数消费者,绝大多数的日常需求,甚至是专业创作需要。

但就视频拍摄而言,目前手机的功能仍然存在很多巨大的短板,影响我们的拍摄体验。

其中,如何实现平滑的、无损的、连续的变焦,就一直是整个手机行业最为困扰的症结之一。

我甚至一度认为,受限于手机的结构,这个问题或许在短期内都难以真正解决。

但现在,OPPO超越了我的预期。

在2020年发布的阶梯式变焦方案基础上,OPPO继续从硬件底层出发,进一步重构了全新的潜望式结构模组,通过升级镜组、运动传感器和马达三大组件,最终实现了突破性的连续光学变焦技术:

镜组方面,OPPO将常见的7P(塑料镜片)镜头,首次改用采用2GM(非球面模造玻璃)+5P的镜头组合,从而大幅提升了滤除杂光、降低色散等光学性能。

传感器方面,创造性地采用隧道磁阻传感器(TMR sensor)替代了传统的霍尔传感器,从而实现了对活动镜组更稳定、更精准的运动控制。

马达方面,上一代阶梯式变焦模组中,采用的滚珠马达方案较为成熟,但行程相对较短,无法满足连续无损变焦对于镜组运动形成的要求。而此次发布的全新模组采用导向轴结构,大大提高了镜组大行程移动过程中的动态倾斜角度,从而更好地支持了更高倍率的连续无损变焦。

OPPO连续光学变焦结构示意图

OPPO透露,OPPO连续光学变焦技术目前已支持等效85mm-200mm焦段的连续光学变焦,从人像到长焦的每一个变焦点都能清晰成像,让用户获得接近专业相机的连续无损变焦体验。

而OPPO连续光学变焦技术通过精准控制光学模组运动,能够在等效85mm-200mm焦段内的任意位置均能实现无损光学变焦,完全不需要数码裁切,成像画质大幅提升。

在此过程中,由于变焦全程在同一枚CMOS传感器上完成,所以彻底杜绝了多摄变焦系统天生的跳焦、白平衡偏移、色彩失准等问题。变焦过程中也不再有明显的抖动或跳变,画面更加稳定。

传统潜望长焦与连续光学变焦实拍样张对比

传统潜望长焦与连续光学变焦实拍样张对比

这意味着,一旦这个技术投入商用,将补齐手机视频拍摄在“推”和“拉”这两个基本运镜能力上的短板,让用户能够真正实现自由的视频创作。

这是一个巨大的,飞跃式的体验质变。

不过,OPPO目前还没有透露这个技术的具体商用时间。

【3】

硬件级五轴防抖:最高±3°防抖补偿

对手机而言,防抖是一个必备的基本功。

目前,每一台带有影像系统的智能手机,其实都已经具备了不同程度的防抖能力。

但正如蛋炒饭考验大厨功力一样,把防抖做到什么程度,这里面的细节,也能非常能体现手机厂商的实力差距。

尤其是光学防抖,不需要裁切画面,不影响画质,所以最具含金量。

目前,手机行业最普遍的光学防抖方案,是在机身抖动同时控制镜头位移,实现运动补偿。但在日常生活场景中,机身的抖动是来自四面八方的力,没有规律可循,只依靠镜头位移补偿,往往并不够用。

而OPPO的五轴运动防抖技术,则会根据不同方向、不同幅度和频率,借助软件算法将抖动数据分拆,并分配到镜头和传感器两个活动组件上,再通过马达或记忆金属带动镜头或传感器产生位移,从而实现双重光学防抖效果。

尤其是当机身抖动幅度/角度较大(>1.98度)时,镜头和传感器会同时运动对抖动进行实时补偿,从而实现接近专业相机的五轴防抖效果。这也是行业内较为罕见的通过硬件级创新提升防抖能力的技术方案。

据OPPO透露,在这个五轴运动防抖模组中,传感器防抖位移精度低至2μm,相当于一个(4合1)像素的大小,较常规镜头防抖的7μm,精度提升了3.5倍,仅依靠传感器移动就能实现像素级防抖。

同时,由于同时采用滚珠马达驱动镜头移动,内嵌记忆金属驱动传感器位移,两套驱动方案集成于同一模组内,大幅提高了模组的结构可靠性。

在实验室实测中,在3°抖动测试条件下,OPPO五轴运动防抖能够比单独镜头防抖抑制多达65.34%的模糊量数据。换句话说,就是比常规镜头的OIS防抖,性能提升了65%。

在此基础上,结合OPPO自研的ICE极速抓拍算法,用户可以获得更好的抓拍体验。经过实验室实测,OPPO五轴运动防抖甚至能在暗光环境下,将快门速度提升至0.01秒,大幅提升暗光抓拍成片率。

OPPO五轴运动防抖实拍样张

在五轴运动防抖强悍的硬件基础之上,OPPO也有可能借鉴像素四合一算法“硬件化”的研发思路,通过传感器承担部分影像算力,让影像数据处理效率进一步提升,从而实现更好的兼容性和更高的处理效率。

据OPPO透露,五轴运动防抖系统,预计将于2022年一季度正式商用。

【4】

下一代屏下摄像头:好饭不怕迟

最后说一下屏下摄像头。

在这方面,最近已经有不少厂商推出正式的商用产品,但OPPO目前仍只是对外公布了技术方案。

在我看来,这并不意味着是OPPO进展落后,而是体现出OPPO对用户体验负责的审慎。

在此之前,OPPO早在2018年就启动了对屏下摄像头技术的研发和探索,至今已开发出了三代屏下摄像头技术方案,其技术和工艺的积累,完全可以随时拿出商用产品。

所以,OPPO一直没有付诸商用的核心原因在于,只有在屏幕显示和成像质量同时足够出色,OPPO才会将屏下摄像头技术应用于量产产品。

其实,在此前的5G、柔性屏等技术的发展过程中,OPPO也表现出过同样的态度。

对厂商来说,这种偏向保守的风格,其实有利有弊,但站在用户角度,我个人其实相当佩服,并感激。

回到正题。

从OPPO展示的信息来看,新一代的屏下摄像头技术方案已经日益成熟。

1、在屏幕体验方面:

为了保证屏下摄像头区域的显示效果,OPPO采用了创新的屏幕像素排列方式,在不减少像素数量、不改变排列方式的情况下,略微降低像素体积,从而保证了400 PPI的优质屏幕显示效果。

在走线技术上,OPPO将传统的屏幕走线改为透明走线,通过工艺和设计调整将走线宽度减小50%。从而带来了更加细腻的屏幕效果。

同时,目前行业主流的做法,是通过一个像素电路驱动两个像素(“1拖2”),但这种方式会让屏下区域显示的文字或图案质量出现明显下降。

而OPPO定制了专用屏幕,通过“1拖1”的方式,配合精准的显示补偿算法,精确控制全屏幕的亮度差小于2%,色度差小于0.8JNCD能更好地保留和展示纹理细节和色彩信息,并支持更小号字的精细显示。

此外,得益于采用单像素电路的全新方式,配合OPPO与De-Burn in联合调优的算法,对屏下区域进行补偿,整个屏幕的使用寿命也提升了50%。

整体来看,无论息屏还是点亮状态,整块屏幕都能给用户完整纯净、不见瑕疵的一体化视觉观感。

2、在影像体验方面:

由于屏下摄像头屏幕区域天然的物理限制,一般情况下,屏幕区域的透光率会造成屏下摄像头的拍照效果模糊不清,并带来眩光、失焦等一系列问题。

而OPPO基于多年来的影像技术积累,以自研AI算法集解决了这一难题:

通过部署在美国硅谷的美研所,自研去衍射、AWB、HDR等AI算法集,大幅度提升屏下摄像头成像效果。同时,OPPO通过数万张照片持续训练AI去衍射算法模型,有效控制光源中的衍射问题,进而大幅度提升照片质量。

尽管屏幕浮于前置摄像头之上,全新一代屏下摄像头技术方案仍能保证常见场景的清晰成像,比前两代解决方案更接近普通前置摄像头的成像画质。

左:上一代屏下摄像头自拍样张 / 右:下一代屏下摄像头自拍样张

整体来说,从OPPO的技术进展来看,相信它推出屏下摄像头商用产品的时间,已经不再遥远。

【5】

最后说两句

从8月初发布的“下一代屏下摄像头解决方案”,到今天以未来影像技术发布会形式,发布的“新一代RGBW捕光传感器”、“连续光学变焦”、“五轴运动防抖”,从OPPO发布的四大影像技术,我们可以看到一个共同点:

OPPO的手机影像创新,基本都是以用户体验为出发点,以自主研发的算法、工艺为核心,与上下游产业链共同配合,深入到底层的技术体系和解决方案之中。

这让OPPO具有了很强的技术壁垒,也与上下游建立起了更紧密的战略同盟关系。

在国内乃至全球市场,随着5G的规模化商用,头部手机厂商的竞争也日趋激烈。在这场贴身肉搏战中,影像技术或已成为那柄白刃,谁能率先争得就能在这场换机争夺中抢得先机。


版权声明
本文仅代表作者观点,不代表艾瑞立场。本文系作者授权艾瑞专栏发表,未经许可,不得转载。
  • 合作伙伴

  • 官方微信
    官方微信

    新浪微博
    邮件订阅
    第一时间获取最新行业数据、研究成果、产业报告、活动峰会等信息。
     关于艾瑞| 业务体系| 加入艾瑞| 服务声明| 信息反馈| 联系我们| 合作伙伴| 友情链接

Copyright© 沪公网安备 31010402000581号沪ICP备15021772号-10

扫一扫,或长按识别二维码

关注艾瑞网官方微信公众号