- 1,什么是 HDR
HDR 的英文全称为 High Dynamic Range,意思就是“高动态范围”。
其“高”之程度是相对于以前的 SDR(标准动态范围)而言,那么这个“动态范围”又是啥呢?
这个词所代表的,就是图像所能清晰呈现之明暗差别。
所以 HDR 的实际意义就是,图像能同时以更高质量显示画面的亮部和暗部。
如上图所示,在 HDR 技术的加持之下,本来寡淡且好像蒙了一层灰似的画面,瞬间就变成了鲜艳明丽的绝美风景!
这样,用户拍照的时候就能化身为“神笔马良”,借助手机相机镜头(画布),用所调配之丰富色彩的颜料(HDR传感器),“画”出最美最真实的图像。
当然,HDR 的实现也依赖于显示设备——能拍出来但看不出来就白搭了,所以在屏幕技术越来越牛的趋势下 HDR 传感器技术也变得越来越重要。
但是,由于智能手机的内部空间限制,手机CIS的 HDR 能力要明显弱于数码单反。
毕竟单反传感器那动辄3微米或更高的像素尺寸,以及动辄14位或更高规格的 ADC(模数转换器),在动态范围方面可以说是能将手机CIS吊起来打了。
那么,在满阱容量和电路规格两方面都被单反CIS碾压的手机CIS,该怎么提高 HDR 能力呢?
- 2,如何提高动态范围
上图所示,即为动态范围的三个计算式。其中第一个代表的是最大信号量和最小信号量的比值,其所代表的意思可由后两个计算式解释。
第二个计算式所代表的是 FWC(满阱容量)与 TN(暂态噪声)的比值,再看第三个计算式则可知道 TN 实际上就是光电转换噪声和信号读出噪声之和。
其中前者以散粒噪声为主,而后者则可细分为 SF 增强转换增益所产生的前端读出噪声,以及继续由 PGA 执行模拟放大所产生的后端读出噪声。
通过这三个计算式可以看出,要提高动态范围就得提高满阱容量,以及减少暂态噪声——这方面又包括减少散粒噪声和读出噪声。
落到实处,在寸土寸金的手机内部空间限制下单反上那套平面堆料之做法肯定是行不通的,所以一般都是通过技术进步来改造像素的结构并改进电路设计。
例如从前照式一直到索尼最新的双层晶体管技术,这些不断演进的CIS结构技术,不仅能够提高满阱容量,还能减少读出电路的噪声。
至于光电转换噪声方面的努力,最重要的就是 DTI(深槽隔离)技术,其能将每个像素隔离,以克服光串扰;同时还能促进像素纵深的扩展,从而提高满阱容量。
当然,在动态范围方面被单反CIS碾压的手机CIS,单靠以上这些纯硬件层面之努力是不够的,于是多曝光HDR技术和单曝光HDR技术就相继问世了。
不过由于单曝光HDR技术非常依赖传感器硬件的进步且技术原理都很复杂,所以留待下篇单独细讲,这篇主要就讲多曝光HDR技术的历史演进与具体技术原理。
- 3,早期 HDR 技术
手机传感器历史上最早被普及的多曝光 HDR 技术,就是最简单的不同曝光时间图像之多帧合成,也就是所谓的 Multi-frame HDR(多帧异曝光HDR)。
首先引入这个 HDR 技术的,是2011年发布的苹果 iPhone4S 所搭载之IMX145,这就是 iPhone4S 的传奇之处——开创性地引入“手机计算摄影”概念!
不过由于当时使用的还是背照式技术,所以合成 HDR 图像的过程都是手机芯片代劳,另外曝光时间引起的“运动伪影”也是绕不过去之难题(例如下图的“八条马腿”)。
于是,索尼便推出了 BME-HDR 技术,并由2012年的公版旗舰IMX135首发。
这个技术的全称为 Binning Multiplexed Exposure(像素合并多重曝光),技术原理如下图所示。就是通过合并同时进行长、短曝光的两行,从而获得高动态范围之图像。
而之所以要每两行像素为一组,则是因为 Bayer 排列的RGGB滤镜需要占用两行。
此外,由于这次的IMX135首开堆栈式技术之先河,从而让CIS的电路层集成了图像处理器——这便是硬件级HDR的基础;这不仅能更快生成HDR图片,还能实现HDR录像。
但是,BME 的缺点也很明显,那就是最终图像的分辨率会直接减半。当时正是追求高像素的年代,这能忍?而且其图像也不够自然。
于是,后面大法又推出了 SME-HDR 技术,其全称为 Spatially Multiplexed Exposure(空间多重曝光),该技术由2014年发布的公版旗舰IMX214首发。
如下图所示,通过“Z字形”的曝光阵列,将长、短曝光之图像融合在两行范围之内,从而将分辨率损失压到了20%的可接受水平。
随着大法持续地在手机端“飚像素”,2018年 Quad Bayer 排列开始流行,至此因其而生的 QBC HDR 技术也迎来了普及时刻。
这个HDR技术由2017年发布的,索尼旗舰级安防传感器IMX294首发,其利用 Quad Bayer 排列中四个同色像素聚在一起的特性,直接实现了片上HDR!
如下图所示,通过每个对角线一组的曝光策略,每组同色四像素便能输出分别对应长、短曝光的两组图像,融合之后便能得到一张HDR图像。
- 4,改良版 HDR 技术
QBC HDR 技术可以说是 SME-HDR 技术的完美迭代,其优点除了速度快之外,效果还很好,所以非常适合应用在视频拍摄中。
但是,随着 Quad Bayer 技术的不断发展,更复杂的 QBC 3-HDR 技术后面也被开发了出来。
如下图所示,通过在同色四像素内分别施以三重曝光,其中 S、M、L 分别代表短、中、长曝光,融合后便可获得动态范围更广的HDR图像。
虽然 QBC 3-HDR 技术确实牛,能够实现等同于肉眼所见的动态范围,但其与 SME-HDR 一样皆无法解决“运动伪影”问题(多重曝光所致)。
于是,在 BME-HDR 技术的基础上,索尼又研究出了 DOL-HDR 技术。这个 DOL 技术不仅没有 BME 那损失分辨率和图像不自然的两大缺点,还大幅改善了“运动伪影”问题!但由于技术难度比较大,这项源于2018年的技术,到了2020年才由IMX766首发。
DOL 是 Digital Overlap(数字重叠)的简称,具体工作原理如下图所示——能够利用滚动电子快门的特点,让曝光与读出交织进行从而实现“准同时”曝光。
具体展开来说的话,就是以往的多帧 HDR 在执行一次曝光之后,要先从上到下完整读取出整个画面的数据,才能开始下一次曝光。
而在 DOL-HDR 技术的加持下,每行像素完成读取后,可以立即开始下一次曝光,这样就可以省下等待其它像素完成读取的时间——“准同时”曝光之原理就是这么来的。
和 BME-HDR 技术那样只有长、短两种曝光的,被称作2exp-DOL。至于后面出现的,包含长、中、短三曝光的则被称为3exp-DOL。
- 总结:
动态范围——要提高这个 HDR 的核心指标,一是提高满阱容量,二为减小暂态噪声。这两方面的实现方式除了CIS结构技术的进步外,还有像素细分工艺和HDR技术的引进。
BME-HDR 技术——索尼史上首个硬件级 HDR 技术,通过单帧长、短曝光合成解决了“运动伪影”问题,但损失了一半的分辨率,可谓是“杀敌一千自损五百”。
SME-HDR 技术——依然是单帧 HDR 技术,但对“运动伪影”问题进行妥协,将长、短曝光通过“Z字形”排列融合于单帧的每行像素之中,从而将像素损失率降低至20%。
QBC-HDR 技术——引进 Quad Bayer 排列,在四个同色像素组中分别进行长、短曝光并分别合成(SME技术的改良),后面又出现效果更好的长、中、短三重曝光之3-HDR技术。
DOL-HDR 技术——引进全新的“多帧逐行”技术,能将长、短曝光或者长、中、短曝光的多帧图像“准同时”完成,既大幅改善了“运动伪影”问题又获得了优秀的 HDR 效果。
DOL-HDR 无疑是这其中最优秀的,这就是为啥现在新的传感器看不到 QBC-HDR 之因,但随着传感器电路层制程工艺的突飞猛进,功耗控制越来越优秀的单曝光HDR开始大行其道。