MCPLive > 杂志文章 > SuperCCD EXR技术深度解析

SuperCCD EXR技术深度解析

2009-02-07沈亮《微型计算机》2009年1月下

每逢长假或者节假日,相信各位都不会闲下来,背上背包、拿上相机出去拍“到此一游”。在你按下快门的一霎那,你也许并没有想过,为什么这一刹那会被永久的记录下来,为什么相机记录下来的瞬间与我们人眼看到的并非完全一致,而是存在细微的差异?

为什么朋友的相机可以工作在光线很弱的环境中,而我的就不行?为什么有些相机拍出的照片对比度非常大(亮处很亮、暗处很暗),而另外一些看起来却漆黑一片又或者完全过曝呢?其实这些都与数码相机的核心——图像传感器有着密切的关系。想知道其中的缘由吗?马上为你揭晓答案。

数码相机之所以能够记录下影像信息,图像传感器是非常重要的一环,它在数码相机中的重要地位就相当于我们眼睛里面的视网膜。图像传感器不仅决定了数码相机的像素数量,而且很大程度上决定了数码相机对环境光的适应能力以及照片的表现。正因如此,业界对图像传感器技术的研究与改进一刻也没有停止过。

小小乾坤容纳天地
图像传感器是这么来工作的

按照类型来划分,图像传感器分为两大阵营,就是我们熟知的CCD与CMOS。

CCD(Charge Coupled Device,电荷耦合器件)是目前广泛应用于民用数码相机领域的图像感光技术,它由感光二极管制成,能将接收到的光信号转变为自由电荷,在经过模数转换器变成数字信号,送给后续的图像处理电路使用,终我们在存储卡中保存的就是经过图像处理电路处理之后的标准文件,如RAW、JPEG等。

众所周知,视网膜在我们的眼睛中起着同样的作用:大家之所以能够看到外面的世界,是因为视网膜中有感应光线强度的杆细胞和感应光线色彩的锥细胞,它们共同作用的结果便是将外界的光信号变化变成生物体能够识别的神经冲动,终在大脑里面形成图像。

对于CCD来说,感光二极管只具备感应光线强度的能力,并不能够分辨出颜色信息来。所以在CCD的成品电路上,感光二极管上面还需要安置一层滤色膜,这层膜存在的意义就是将三原色光分离出来,于是就有了如图1所示的“三明治结构”。


图1 CCD传感器的三明治结构

图解说明:在工作时,光线会照射到CCD上,通过透镜层进行汇聚,再经过滤色层分色,后每个感光二极管根据光线强度的不同,产生数量不等的自由电荷,并寄存在旁边的电路寄存器中。当曝光结束的时候,统计电路就会统计每一个感光点寄存器处的电荷数量多少。按照一行一行的顺序,每个感光点寄存器里面的电荷像“排队体检”一样被释放出来,经过电路放大,模拟信号转成数字信号,我们就知道了该处的信号值。

我们可以看到,整个过程中关键的就是感光二极管,其灵敏度越高,在受到光照时就可以释放出更多的电荷,这就可以给拾取工作带来很大的方便,因为数量多了之后,我们就很容易对它们进行分级,然后每一级对应一个灰度信息。举个例子来讲,在拍摄晴朗的天空时,白云的亮度是非常高的,那么每个感光二极管可以产生数以十万计的电荷;而在拍摄漆黑的夜空时,可能同样的时间内,每个感光二极管只能产生十来个电荷,这就给后面的拾取分类流程带来不小的麻烦。


图2 CCD与CMOS之间的差异

CMOS(Complementary Metal-Oxide Semiconductor,互补金属氧化物半导体)和CCD在感光层上的技术是很类似的,都利用了前面提到的“三明治结构”。所不同的地方在于CCD为了能够保存电荷并进行后面的移位传递,采用了特殊的半导体技术;而CMOS图像传感器不再采用电荷移位传递的方法,而是改为在每个感光点后面都安置一套放大和模数转换电路,因此感光点寄存器存储的是数字信号。

CMOS传感器在后扫描数据时,会像读取内存数据一样扫描整个图像传感器的数据寄存器,终得到整个图片信息。虽然CCD和CMOS在工作原理上略有区别,但是在图像感光这一块,原理是类似的。

“所见”就一定是“所得”吗?
人眼与相机的差异

初次使用数码相机的很多新用户都会有这样的疑问,为什么我拍出来的照片和我看到的景色不一样,是机器问题吗?而且换另外一个牌子的相机之后拍摄同样的场景,可能表现会相差很多这又是为什么呢?

在回答第一个问题之前,我们先要对自己的眼睛有一定的了解。可以这么说,人的眼睛是世界上精密的图像传感器。根据视网膜杆细胞和锥细胞的尺寸推算,人眼视网膜的分辨率约为6000×
4000(一只眼睛),折算下来约合每平方毫米400万像素,相比之下现在主流的1000万像素数码相机的1/1.8英寸CCD图像传感器,每平方毫米只有26万像素。

不过人眼并不是简单的仪器,而是在漫长的生物进化中不断发展和演化的器官,所以我们看到的大自然中的各种景物并不是为了在脑海中再现它,而是为了适应它。为什么这么讲呢?

我们不妨回忆一下刚才傍晚时分逛公园时的场景吧,五颜六色的花朵在你看来已经不再那么缤纷多彩,你可能分不清路边的鲜花是粉红色还是黄色,但是你还能清楚地看到那条通往出口的水泥小径,能够看到明亮的北极星以及树林中透出来的点点路灯……这就是人眼不断进化的结果,在进入文明社会之前,我们需要看到并躲避暗处的危险,而不是欣赏夜幕下的森林。


图3 留心观察傍晚的小路会有“新发现”

现代生物学和神经学解释了令人眼产生这种奇妙变化的原因——人眼对于光线的敏感度和分辨能力会根据环境光线的变化而不断自行调整:人眼在光亮环境下能够提供足够高的分辨率,此时负责采集颜色信息的锥细胞起主导作用,而负责感觉亮度的杆细胞则被弱化;而在昏暗的环境中人眼的分辨能力便会下降,同时负责感光的杆细胞起主导作用,锥细胞则几乎被忽略。正是因为两种细胞的存在,它们互相配合、分工协作,人眼才能够既看到很亮的场景,也能够适应光线非常弱的场合。在光照度适中的场合下,人眼既可以看到亮处的细节也可以看到暗处的信息,这是人眼长期进化之后得到的结果。

而数码相机就不一样了,应该说数码相机的传感器远没有那么智能,它只能记录照射到感光二极管上的光强大小。于是我们在白天迎着光线拍摄时(专业术语叫“逆光拍摄”),会看到照片的背景非常亮,而我们可怜的主人公脸上却是漆黑一片;到了晚上,我们拍摄夜空中的星辰,要么照片上一无所有,要么就是星光与“五彩的噪点”遍布星空。

我们看到的一切,无法用DC真实地还原出来,归根到底是因为人眼的多元化感光机制以及图像传感器单一的成像原理不搭调所造成的。现在随着摄影技术的进步,我们可以通过调节相机的快门时间、光圈大小等等来弥补图像传感器的缺陷。但这些只是后天补救的方法,如果能够提升(改变)图像传感器的感光特性,让它更倾向于人眼,是不是能从根本上解决问题呢?所以业界不断针对图像传感器进行改进,其中尤以富士公司的Super CCD为大胆和出名。

历史链接:SuperCCD的发展历程

◆“开国元勋”
第一代SuperCCD横空出世

在第一代SuperCCD诞生之前,普通CCD都是中规中矩的方形矩阵结构。而第一代Super CCD大的差异就是它八边形的感光点以及旋转45°的排列方式,如图4所示。


图4 从两张图的对比来看,SuperCCD的感光面积尺寸更大,显而
易见,这样做的目的是为了在同等光照情况下取得更高的感光效率。
不光这样,SuperCCD特殊的排列组合方式还能够获得更高的分辨率。

第一代SuperCCD诞生的背景是上个世纪末,那时各家DC厂商无不绞尽脑汁来提高CCD的像素数量以招揽生意。由于人眼对绿色较为敏感的特点(550nm正是黄绿色光),CCD普遍使用
G-B-R-G的方式来安排像素矩阵,也就是说用4个感光点来组成一个像素点,以求达到更好的效果。而SuperCCD仅仅使用三个感光点就能够实现一个像素点,因此分辨率参数也大幅提高。


图5 SuperCCD在横向以及纵向距离对比上具有很大的优势

受当时生产工艺的限制,即便Supe rCCD在理论上具有提高像素数量的优势,但对终结果影响不大。反倒是当时插值算法流行,大家都玩起了数字游戏——用插值之后的像素值来标称相机的大分辨率。例如早期的富士FinePix实际像素是240万,但经过插值之后像素变成了430万,但在实际使用中430万像素虽然能够提供更大的分辨率,但噪点、清晰度方面明显下降;调整到320万像素时,使用SuperCCD的相机能够实现与普通320万像素CCD数码相机相同的效果,远远高于240万像素的其它数码相机。由此可见SuperCCD特殊的排列方式对插值算法帮助很大。


图6 像素插值算法

具体分析之后你会发现,SuperCCD的蜂窝状排列结构使得其成像单元在垂直以及水平方向上的距离都很近,所以能够捕捉到纵向以及横向上更多的视觉信息。在进行插值计算时,中间值由紧邻的两个像素计算得到,所以SuperCCD就能“捡到”不小的便宜。当然这与人眼的生理特征也有不小的关系,科学研究发现,人在观察图像时,对水平以及垂直方向上的变化十分敏感,而对于斜线方向上的变化相对迟钝。所以第一代SuperCCD的“投机取巧”也是有其必然道理在其中的。

在第一代SuperCCD之后,CCD开始不断重视噪点控制与降噪技术的研发,第二代和第三代
SuperCCD就是在具体的电路控制方面不断改进,在排列组合上并没有更多新鲜的东西。

◆“两线作战”
SuperCCD HR与SuperCCD SR

时间发展到2002年,当时500万像素的数码相机已经席卷全球。很多消费者已经满足于500W像素的输出尺寸,转而要求更高的画面质量。此时的SuperCCD暴露出自己在动态表现范围上的不足,也就是说无法兼顾同一幅画面中亮处细节与暗处细节(就是我们常说的曝光宽容度)。

用句古话说,“成也萧何、败也萧何”,SuperCCD曝光宽容度低的原因竟是因为本身感光点工作的高效性!因为作为CCD核心的感光二极管是不可能随着光线变强而无止境产生电荷的,也就是存在一个光强阈值,当输入光线的强度大于这个阈值并继续加强的时候,感光二极管并不能产生更多的电荷。终的效果就是我们在拍摄白云的时候,只能看到白云的轮廓,却看不到白云的纹理细节,因为白云暗处的部分光强也超过了阈值。这就解释了为什么SuperCCD的感光能力很强,却很容易产生过曝的原因。那个时候大多数使用SuperCCD的数码相机,起跳ISO值都是ISO 200。

穷则思变,在这种背景下,富士发布了第四代SuperCCD——SuperCCD HR和SuperCCD
SR,其中HR继续主攻高分辨率,而SR则转战画面效果。传统的银盐胶片上存在着大小不同的感光颗粒(溴化银为主,掺杂少量碘化银及其它辅料),它们的感光特性也不尽相同,对强光与弱光可以分开记录,所以银盐胶片冲印出来的动态范围就非常大。富士的工程师们从中得到启发,他们在
SuperCCD SR的每个感光点上使用了一大一小两种不同性能的感光单元——大的感光单元采用高灵敏度、窄动态范围设计(S像素),小的单元则采用低灵敏度、大动态范围的设计(R像素)。这样在拍摄照片的时候S点负责捕捉画面中较暗的部分,而R点负责捕捉较亮的部分,后二者的信号经过DSP芯片的叠加处理,就可以让照片的亮部细节与暗部细节都可以得到表现。

SR感光技术的问世让SuperCCD在性能上又有了飞速的进步,不久之后富士又推出了SR II代技术。具体做法是将R感光单元与S感光单元相分离,较小的R感光单元放置在两个S单元之间,如图7所示。此举的目的在于进一步提高图像传感器的空间利用率,以达到更好的效果。


图7 SuperCCD SR技术中的R与S像素

得益于SuperCCD高超的感光能力,富士在2005年还发布了自然防抖的数码相机。所谓的“自然防抖”实际上就是利用SuperCCD的高感光能力,在拍摄同样的场景时,SuperCCD只需要一半的时间就可以获得足够的电荷,所以就可以实现更好的防抖效果。现在很多数码相机中都有高ISO防抖功能,但提高ISO之后画面的噪点也会相应增加,并不能称作有效的防抖技术。SuperCCD虽然也有这方面的诟病,但是SuperCCD提高感光效率的方式与其它普通CCD增加电路增益的方式有着明显差别。

“宝剑出鞘”
“终极”的SuperCCD EXR

经过历代的更新与发展,SuperCCD为富士赢得了各方面的赞誉,不过技术的发展却没有停步,在去年10月份富士拿出了自家的终极武器——SuperCCD EXR(其中EXR就有Extreme的意思)。

◆排列与组合的魔术

所谓的“精细捕捉技术”实际上就是利用CCD的全部像素点来实现更大的像素数量。从图8中我们可以看到SuperCCD EXR改变了其内部一直以来的感光点排列结构,将所有的感光点按照旋转45度的方式进行排列,人眼敏感的绿色被排列成一条直线,而且红色和蓝色也两两组合在一起。


图8 EXR像素的排列

可以说新的SuperCCD EXR排列方式并没有移动感光点,只是对滤色膜进行了处理,这样在总方向上仍然可以保证三个感光点组成一个像素,同时在斜线方向上又加强了颜色的连贯性。再配合新一代RP影像处理器,EXR技术能够轻易将CCD像素提升到1200万的水平。

◆双重捕捉技术

各位还记得前文中介绍的SuperCCD SR里面一大一小的感光单元吗?新的EXR图像传感器也有类似的功能,只不过不再使用一大一小两种单元,而是将感光点分成两个通道,如图9所示。


图9

图解说明:在工作时,光线会照射到CCD上,通过透镜层进行汇聚,再经过滤色层分色,后每个感光二极管根据光线强度的不同,产生数量不等的自由电荷,并寄存在旁边的电路寄存器中。当曝光结束的时候,统计电路就会统计每一个感光点寄存器处的电荷数量多少。按照一行一行的顺序,每个感光点寄存器里面的电荷像“排队体检”一样被释放出来,经过电路放大,模拟信号转成数字信号,我们就知道了该处的信号值。

在这里,我们可以控制不同通道的曝光时间(也就是电荷积累的时间),使得一个通道用于捕捉高感光图像(类似于以前的S像素),而另一个则用于捕捉宽动态图像(类似与R像素)。两道曝光结束之后,再将获得的两幅图像按照一定的算法拼合在一起,就得到了兼具高感光度与宽动态范围的图片。

说到这里有些朋友可能已经发现了,打开双重捕捉技术之后,画面的像素数量会比精细捕捉模式减少一半(1200万像素的数码相机会输出600万像素的图片),因为相邻A、B两个像素之间捕捉的是同一个像素点。有些朋友会问,每个像素物理位置的差异不会造成重影吗?的确是这样的,这也是为什么SuperCCD EXR会采取倾斜45度来安排像素点的原因,因为在斜方向上人眼不敏感,通过这种方式来降低双重采集对照片的影响,事实上富士的工程师们也做到了。

◆两两联合增强ISO表现

我们知道传统CCD提高ISO表现的方法是增加控制电路的增益,但是这么做的直接后果就是感光度增加了,但噪点也会大量出现。所以很多有经验的摄影爱好者们都喜欢用低ISO来拍摄照片。

为了的到低噪点和清晰的图像,像素联合的概念被引入——也就是说,DSP处理芯片将相邻两个像素得到的信号信息叠加起来,作为一个像素值,这样就可以在不提高感光度的前提下获得“虚拟意义”上的高感光度表现。

无论是传统的CCD/CMOS,还是前几代SuperCCD技术都有一个共同的特性,那就是将红、绿、蓝三种颜色间隔排列,这样一来就有一个问题——如果按照空间近原则,我们要将两个红色像素融合在一起,中间就必须间隔一个蓝色像素点或者绿色像素点。


图10 传统的像素联合方式

这样做的后果就是造成像素之间的相互干扰,例如我们在拍摄某些纹理特别密集或者颜色过渡非常强烈的图像时,就会出现中间色。从小的方面来说,这种像素联合会造成图像模糊,丢失一些细节信息;严重时甚至会出现紫边现象,造成整张照片报废。

现在富士的SuperCCD EXR技术就很巧妙的克服了这个问题。大家可以注意到在新的
SuperCCD技术中,像素都是两两联合的,也就是说红-红、蓝-蓝以及绿-绿在进行联合时都不需要跨跃中间的像素点,而且斜方向45°的排列方式可以将相邻的两个同颜色感光单元的距离拉得非常近,这样就可以很大程度地避免混色、紫边问题的产生。与“双重捕捉”技术类似,“像素联合”技术也是用一半的像素点来换取更高的图像表现,在打开“双重捕捉”或者“像素联合”技术之后,1200万像素的数码相机只能够输出高600万像素的图片。


图11 SuperCCD EXR的像素联合方式

后需要大家注意的是,虽然SuperCCD EXR在技术上非常先进,但是却没有办法同时照顾到三种模式;换句话讲,要“像素数量”还是要“图像表现”全看你自己的喜好了。截止到发稿时为止,我们从富士公司得到的新消息称SuperCCD EXR技术会首先应用在消费级DC产品上,等到合适的时候会逐步推高到高端机型(如单反相机)上。

写在后

从上个世纪70 年代在实验室中诞生的第一张图像数字图像开始,传感器技术经历了40余年的发展,现在已经遍布工业以及民用领域。从太空中的哈勃望远镜到口袋中的手机,数字图像传感器记录着世界的变化和我们的生活,其自身也在不断进化和发展。

SuperCCD只是其中的一个缩影,我们期待着更多更先进的图形传感器出现,数字影像技术的发展必将给我们的生活带来更多乐趣与惊喜。

分享到:

用户评论

共有评论(4)

  • 2009.02.28 15:18
    4楼

    支持技术好贴!

    (0) (0) 回复
  • 2009.02.13 18:14
    3楼

    富士F200的样片很强大 但是不知道后续产品如何......

    (0) (0) 回复
  • 2009.02.11 11:02
    2楼

    一直比较关注富士相机,就是比较贵没下手,佳能相机的机型在某个程度上出现了断档富士FS1000比较适合我

    (0) (0) 回复
  • 2009.02.07 20:19
    1楼

    雾水一头啊 不过知道了CCD和CMOS

    (0) (0) 回复

用户名:

密码: