【導讀】如果說(shuō)圖像傳感器是智能駕駛汽車(chē)的“眼睛”，那圖像傳感器動(dòng)態(tài)范圍作為汽車(chē)成像中的一個(gè)關(guān)鍵指標，就代表了這只“眼睛”能看到的細節、層次與特征多少，對行駛過(guò)程中的環(huán)境路況判斷有很大影響。
什么是動(dòng)態(tài)范圍？維基百科定義，動(dòng)態(tài)范圍（Dynamic Range）是可變化信號（例如聲音或光）最大值和最小值的比值。
實(shí)際上，動(dòng)態(tài)范圍是一個(gè)通用的概念，不同的信號或者變量S都可以定義自己的動(dòng)態(tài)范圍，不僅圖像傳感器有動(dòng)態(tài)范圍，顯示器，投影機，打印機等等都有自己的動(dòng)態(tài)范圍，甚至我們可以定義一個(gè)人的動(dòng)態(tài)范圍，如果這個(gè)人條件艱苦時(shí)能吃苦，條件優(yōu)渥時(shí)會(huì )享受，既能將就也會(huì )講究，這就是個(gè)高動(dòng)態(tài)范圍的狠人。
針對一幀圖像而言，S的最小值為1，最大值受限于數據帶寬，即數據能夠存儲的最大值。一張8位的灰度圖，最大值255，此時(shí)理論上的動(dòng)態(tài)范圍就是48dB，10位圖像動(dòng)態(tài)范圍可到60dB，20位圖像動(dòng)態(tài)范圍120dB。
場(chǎng)景的動(dòng)態(tài)范圍和圖像的動(dòng)態(tài)范圍，大多數情況是不一致的。場(chǎng)景的信號S不是圖像的灰度值，它是場(chǎng)景發(fā)射光線(xiàn)的亮度?？梢岳斫鉃镾最大值是場(chǎng)景中最亮部分的亮度，S的最小值是場(chǎng)景中最黑部分的亮度。它與圖像動(dòng)態(tài)范圍相關(guān)但不相等。同時(shí)圖像的后處理通常會(huì )把線(xiàn)性數據壓縮為非線(xiàn)性輸出，這也會(huì )放大圖像數值和場(chǎng)景動(dòng)態(tài)范圍的差異。
圖1：寬動(dòng)態(tài)典型場(chǎng)景
如果把場(chǎng)景的亮度作為橫坐標，圖像傳感器輸出的數據作為縱坐標，我們就得到圖2所示的傳感器輸出和場(chǎng)景的動(dòng)態(tài)范圍映射關(guān)系。圖像傳感器把一定亮度范圍的場(chǎng)景采集并映射為自己的輸出，如圖中紅框所示。
圖2：場(chǎng)景到傳感器的動(dòng)態(tài)范圍映射
圖像傳感器實(shí)際動(dòng)態(tài)范圍通常比場(chǎng)景的動(dòng)態(tài)范圍低，傳感器的能力只能采集紅框對應橫坐標內場(chǎng)景的亮度范圍。紅框的位置需要動(dòng)態(tài)調整移動(dòng)，以適應場(chǎng)景亮度的變化，這是成像算法中自動(dòng)曝光(auto exposure)模塊的任務(wù)。
對汽車(chē)高動(dòng)態(tài)范圍的場(chǎng)景，會(huì )有同一場(chǎng)景中極亮和極暗部分同時(shí)出現的情況，例如夜間街道，既有車(chē)大燈也有街道的暗角，此時(shí)移動(dòng)紅框已經(jīng)無(wú)法同時(shí)看清楚兩個(gè)部分，必須把紅框做大，這就是汽車(chē)上用到的高動(dòng)態(tài)范圍圖像傳感器。
從原理上講，紅框尺寸受限于傳感器的像素勢阱容量，受限于尺寸，很難簡(jiǎn)單做大，車(chē)用圖像傳感器的高動(dòng)態(tài)范圍技術(shù)是行業(yè)面臨的共同挑戰。過(guò)去二十年來(lái)，車(chē)載圖像傳感器的高動(dòng)態(tài)范圍大致有如下四大技術(shù)流派。
01 動(dòng)態(tài)改變像素的靈敏度擴充動(dòng)態(tài)范圍
第一個(gè)是動(dòng)態(tài)改變像素的靈敏度擴充動(dòng)態(tài)范圍。如圖3所示，圖像傳感器對場(chǎng)景亮度的映射變成非線(xiàn)性，隨著(zhù)環(huán)境亮度增加，像素靈敏度逐漸下降，靈敏度從亮度的線(xiàn)性函數變成分段函數。如下圖所示，電荷積累分成三段，亮度低時(shí)靈敏度高，對應黑色電荷，然后亮度中等靈敏度也中等，對應藍色電荷，最后亮度最高靈敏度最低。從坐標圖中可以看到，此時(shí)像素的勢阱容量即縱坐標不增加，但映射的場(chǎng)景亮度范圍即橫坐標可以明顯加大，實(shí)現了增大動(dòng)態(tài)范圍的目標。
安森美(onsemi)的車(chē)用圖像傳感器產(chǎn)品線(xiàn)早期推出過(guò)30萬(wàn)像素的可變靈敏度傳感器，就是基于此類(lèi)技術(shù)，這個(gè)技術(shù)的最大挑戰在于它改變了像素的靈敏度特性，讓線(xiàn)性特性的靈敏度變成非線(xiàn)性，而這個(gè)折線(xiàn)的形狀對電壓、溫度和曝光時(shí)長(cháng)敏感，一致性差，動(dòng)態(tài)范圍擴展能力有限，只能勉強用于大尺寸像素黑白圖像的傳感器。目前這類(lèi)技術(shù)已經(jīng)逐漸被市場(chǎng)淘汰。
圖3：非線(xiàn)性化擴充動(dòng)態(tài)范圍
02 時(shí)分多次曝光
第二個(gè)高動(dòng)態(tài)范圍技術(shù)是時(shí)分多次曝光，這個(gè)是目前主流車(chē)用圖像傳感器所采用的技術(shù)。做法就是圖像傳感器改變曝光時(shí)間連續多次曝光得到多幀圖像，然后從中選擇合適像素合并成一幀圖像。如圖4示意，傳感器改變曝光時(shí)間，相當于自帶自動(dòng)曝光功能，對場(chǎng)景不同亮度分別采樣，得到多個(gè)紅框，然后把動(dòng)態(tài)范圍拼接起來(lái)。這個(gè)技術(shù)的優(yōu)點(diǎn)在于：像素勢阱容量不用額外做大，只需把數據帶寬做大；每個(gè)曝光的時(shí)長(cháng)控制可以很精確，最終擬合的圖像亮度線(xiàn)性特性好；動(dòng)態(tài)范圍擴展容易，僅用時(shí)分技術(shù)就能做到140dB的動(dòng)態(tài)范圍。
時(shí)分多次曝光技術(shù)有一個(gè)難以克服的問(wèn)題，由于傳感器的連續曝光時(shí)間上是依次滯后的，當場(chǎng)景中有快速移動(dòng)物體或光照劇烈變化例如LED頻閃情況下，多幀圖像擬合后會(huì )出現運動(dòng)物體偽影和色彩噪聲。ADAS算法需要針對性地訓練這類(lèi)噪聲。
圖4：多幀合并擴充動(dòng)態(tài)范圍
03 空分多次曝光
空分多次曝光，業(yè)內也有稱(chēng)之為大小像素技術(shù)。本質(zhì)來(lái)說(shuō)與時(shí)分多次曝光類(lèi)似，由多幀融合，區別在于圖4中的多個(gè)紅框來(lái)源于空間尺寸上不同的兩種像素，兩種像素的圖像擬合成為一張圖像。由于兩種像素在曝光時(shí)間上是對齊的，可以避免了運動(dòng)重影的問(wèn)題，同時(shí)改善LED燈頻閃現象。
不過(guò)有得就有失：空分曝光，意味著(zhù)像素數量翻倍， 例如1百萬(wàn)像素傳感器實(shí)際上是1百萬(wàn)大像素加1百萬(wàn)小像素，增加了功耗和設計復雜度；小像素擠占了大像素的面積，降低了大像素的低照性能；大小像素的靈敏度差異大，線(xiàn)性特性差，小像素在光學(xué)上無(wú)法和大像素兼容，需要大量的光學(xué)標定工作以補償小像素的問(wèn)題。這些都是用戶(hù)在產(chǎn)品應用開(kāi)發(fā)中需要解決的工程挑戰，此外，大小像素圖像傳感器受小像素尺寸限制，隨著(zhù)技術(shù)演進(jìn)會(huì )逐漸變成瓶頸，所以安森美在2009年就發(fā)明并申請了大小像素技術(shù)的專(zhuān)利，但并沒(méi)有推出相應的傳感器產(chǎn)品。
04 直接擴展像素的勢阱容量
第四個(gè)高動(dòng)態(tài)范圍技術(shù)就是直接擴展像素的勢阱容量。傳統圖像傳感器像素的感光二極管在感光的同時(shí)兼具電荷存儲的功能，因此像素的電荷勢阱容量受限于感光二極管尺寸。隨著(zhù)像素尺寸越來(lái)越小，像素的容量也逐漸變小。安森美的超級曝光像素技術(shù)突破了這一限制，并在業(yè)內率先量產(chǎn)了基于這一技術(shù)的產(chǎn)品。技術(shù)路徑就是為感光二極管外掛了存儲電容，當容量飽和時(shí)，多余的電荷會(huì )被轉移到電容中存儲起來(lái)。這里的電容不參與光學(xué)感光，但擴充了像素的勢阱容量。如圖5示意，上面的小桶相當于感光二極管，下面的大桶相當于存儲電容。大桶不直接接水，只存儲小桶溢出的水。
圖5：感知和存儲分離
超級曝光像素把電荷存儲功能從感光二極管剝離出來(lái)，跳出了固有限制，實(shí)現了像素動(dòng)態(tài)范圍和感光二極管的解耦。這一技術(shù)具有良好的線(xiàn)性特性，保留了單一像素架構，無(wú)需復雜的光學(xué)標定，并解決了時(shí)分導致的偽影和LED頻閃的問(wèn)題。與感光二極管的解耦，看似簡(jiǎn)單的一步，卻打開(kāi)了未來(lái)更小像素，更大動(dòng)態(tài)范圍產(chǎn)品的設計想象空間。
為了支持足夠高的動(dòng)態(tài)范圍，業(yè)內產(chǎn)品通常會(huì )復用上述三種技術(shù)。一張高動(dòng)態(tài)范圍的圖像，可能是時(shí)分多次曝光幀、大小像素幀和超級曝光幀的復合擬合結果。這有點(diǎn)像汽車(chē)動(dòng)力中的插混方案，動(dòng)力可能來(lái)自自排發(fā)動(dòng)機，渦輪增壓，以及電機直驅的并聯(lián)。這里多幀擬合的線(xiàn)性特性很像汽車(chē)駕駛動(dòng)力變化的線(xiàn)性特性，保證輸出的平順與線(xiàn)性是高動(dòng)態(tài)范圍圖像的巨大挑戰。一般來(lái)說(shuō)，技術(shù)種類(lèi)越少，線(xiàn)性特性越好。
小結一下，CMOS圖像傳感器的動(dòng)態(tài)范圍是汽車(chē)應用中重要的參數指標，它是目前業(yè)內共同面臨的技術(shù)挑戰，本文介紹了幾種傳統動(dòng)態(tài)范圍擴展技術(shù)的特點(diǎn)，以及新出現的超級曝光像素技術(shù)，它的出現打破了既有技術(shù)的窠臼，我們預期會(huì )在市面上看到更多相關(guān)的優(yōu)秀產(chǎn)品涌現。
本文作者：安森美中國區
汽車(chē)現場(chǎng)應用工程經(jīng)理 William Chen
免責聲明：本文為轉載文章，轉載此文目的在于傳遞更多信息，版權歸原作者所有。本文所用視頻、圖片、文字如涉及作品版權問(wèn)題，請聯(lián)系小編進(jìn)行處理。
推薦閱讀：
