撰稿 | 王鑫（中國科學(xué)院長春光學(xué)精密機(jī)械與物理研究所），孟森（上海乂義實(shí)業(yè)有限公司）

40年前的美國科幻電影《銀翼殺手》中有一個(gè)場景：主人公Rick Deckard拿著一張照片，放入掃描設(shè)備中，通過語音控制，將照片放大再放大，看到了照片中隱藏著的細(xì)節(jié)證據(jù)。

圖1：《銀翼殺手》場景

這部電影首次呈現(xiàn)關(guān)于圖像超分辨技術(shù)的設(shè)想。對(duì)于一個(gè)成像系統(tǒng)（如數(shù)碼相機(jī)、手機(jī)、光電偵查吊艙等），真實(shí)場景的光線經(jīng)過光學(xué)系統(tǒng)的多個(gè)光學(xué)鏡頭的折射（或反射）最終照射到由感光模塊組成的光電傳感器上，光電傳感器將光信號(hào)轉(zhuǎn)換成電壓信號(hào)，而后通過處理電路將電壓信號(hào)轉(zhuǎn)化為數(shù)字圖片。

圖2：數(shù)字圖片獲取過程

在整個(gè)成像過程中，有以下幾個(gè)過程會(huì)導(dǎo)致我們?cè)谄聊簧峡吹降臄?shù)字圖片與真實(shí)場景出現(xiàn)差異：

1. 光學(xué)系統(tǒng)限制：光波存在衍射效應(yīng)，使得一個(gè)理想無限小的點(diǎn)物體發(fā)射的光波通過系統(tǒng)成像后，由于成像系統(tǒng)口徑有限，物體光的高頻成分被阻擋，最終參與成像的只有物體光波的低頻成分，使得最終的像不再是一個(gè)無限小的理想點(diǎn)，而成為了一個(gè)彌散的亮斑，稱為“艾里斑”（名詞解釋>）。

圖3：瑞利判據(jù)

2. 光電傳感器感光區(qū)域限制：光電傳感器的感光區(qū)域是一定尺寸的，但是每一個(gè)感光區(qū)域只能輸出一個(gè)電壓（也就是我們?cè)趫D片上看到的一個(gè)像素），因此如果兩個(gè)光點(diǎn)通過光學(xué)系統(tǒng)在同一個(gè)感光區(qū)域成像，那么我們是沒有辦法區(qū)分這兩個(gè)光點(diǎn)的。

3. 光電傳感器感光區(qū)域間的間隔：兩個(gè)感光區(qū)域之間存在不感光的部分，如果光點(diǎn)在這一部分區(qū)域成像，那么我們將無法探測到這個(gè)光點(diǎn)。

如果我們想真實(shí)的提高拍攝圖像的分辨率，我們可以采用以下方法來實(shí)現(xiàn)：

科學(xué)家發(fā)現(xiàn)，通常情況下艾里斑尺寸與光的波長（λ）、成像系統(tǒng)口徑（D）和數(shù)值孔徑（NA）等參數(shù)有關(guān)。

減小艾里斑尺寸的方法有兩個(gè)：第一是減少探測器系統(tǒng)的波長，第二是增加光學(xué)系統(tǒng)的口徑。這兩種方法已廣泛應(yīng)用在天文領(lǐng)域，如改變波長的x射線望遠(yuǎn)鏡，γ射線望遠(yuǎn)鏡等（x射線、γ射線波長比可見光波長更短）；如擴(kuò)大口徑的歐洲極大望遠(yuǎn)鏡，其通光口徑達(dá)到了驚人的39米，其清晰度將比哈勃太空望遠(yuǎn)鏡（名詞解釋>）高16倍。

圖4：歐洲極大望遠(yuǎn)鏡示意圖

但是絕大多數(shù)時(shí)候，根據(jù)光學(xué)系統(tǒng)的任務(wù)需求，其口徑與波長是不能改變的。因此，進(jìn)一步獲得更清晰的圖像的方法，是提高探測器的分辨率即減少探測器感光區(qū)域的尺寸同時(shí)減少感光區(qū)域間的“死區(qū)”大小。如將320×215分辨率30 μm像元尺寸的中波紅外探測器更換為640×512分辨率15 μm像元尺寸的探測器，更進(jìn)一步，更換為1280×1024分辨率像元尺寸7.5 μm的探測器。眾所周知的是，隨著探測器分辨率的提升以及像元尺寸的減少，其價(jià)格是呈指數(shù)增加的。

一個(gè)有意思的現(xiàn)象，當(dāng)我們將偏移半個(gè)像素的同一場景的照片快速切換時(shí)，似乎我們看到了比一張靜止照片更多的細(xì)節(jié)。這是因?yàn)槿搜塾^看物體時(shí)圖像會(huì)在視網(wǎng)膜上延續(xù)0.1-0.4秒的時(shí)間，人眼的這種性質(zhì)被稱為“眼睛的視覺暫留”（名詞解釋>）?？焖偾袚Q的圖片，由于眼睛的視覺暫留，導(dǎo)致我們看到的畫面的疊加，經(jīng)大腦處理后，我們看到了更清晰的圖像。當(dāng)我們用于多幅采樣相位不同的圖片時(shí)，我們就可以獲得更高分辨率的圖片，我們將這一過程稱之為圖片的超分辨重建（名詞解釋>）。

圖5：微掃描引入的亞像素位移

但是需要說明的是基于深度學(xué)習(xí)的圖像超分辨算法，其是基于數(shù)據(jù)驅(qū)動(dòng)的，即使用的訓(xùn)練集是什么，超分后的結(jié)果就是什么，而不是實(shí)際場景是什么，超分后的結(jié)果就是什么。

圖6：單幀超分辨基于數(shù)據(jù)驅(qū)動(dòng)

為了保證偵查的真實(shí)性，在航空偵查領(lǐng)域，一般不會(huì)采用基于數(shù)據(jù)驅(qū)動(dòng)的深度學(xué)習(xí)的超分辨算法，而是采用基于模型的傳統(tǒng)超分辨重建算法。對(duì)于傳統(tǒng)超分辨重建算法，獲得穩(wěn)定的相位差異是必不可少的。

一般來說有兩種方式可以獲得穩(wěn)定的相位差異：第一、移動(dòng)相機(jī)；第二、移動(dòng)光學(xué)鏡頭。

對(duì)于移動(dòng)相機(jī)的方案，最初應(yīng)用在衛(wèi)星上，利用衛(wèi)星在軌飛行的運(yùn)動(dòng)在不同時(shí)間點(diǎn)拍攝同一個(gè)地面目標(biāo)，以此獲得具有半像素相位差異的多幅圖片，從而進(jìn)行超分辨處理，如WordView-2衛(wèi)星。

圖7：WordView-2衛(wèi)星圖像超分辨處理

機(jī)載光電偵察設(shè)備對(duì)尺寸、重量和抗沖擊振動(dòng)等有這特殊的要求，同時(shí)對(duì)輸出視頻的實(shí)時(shí)性與準(zhǔn)確性都有著嚴(yán)格的要求。因此，在機(jī)載應(yīng)用環(huán)境下需使用高速微掃描技術(shù)結(jié)合基于嵌入式系統(tǒng)的實(shí)時(shí)超分辨處理。

為了提高航空光電偵察平臺(tái)在長焦條件下的圖像分辨能力，長春光機(jī)所航測一部某重點(diǎn)項(xiàng)目組，派出優(yōu)秀科研團(tuán)隊(duì)，與上海乂義實(shí)業(yè)有限公司聯(lián)合開發(fā)出高速微掃描成像系統(tǒng)，并對(duì)采集的圖像進(jìn)行超分辨處理，明顯提升了光電設(shè)備的識(shí)別能力，并在外場飛行實(shí)驗(yàn)環(huán)節(jié)得到較好的驗(yàn)證。

該成果以“高速微掃描圖像超分辨重建”為題發(fā)表在《光學(xué) 精密工程》（EI、Scopus收錄，中文核心期刊）。

將光學(xué)系統(tǒng)內(nèi)部透鏡固定到高速微掃組件上，在探測器曝光的間歇期快速移動(dòng)光學(xué)透鏡一段距離，使探測器輸出的前后兩幀圖像存在亞像素偏差。然后使用基于概率分布的超分辨重建算法，將低分辨率圖像序列處理成高分辨率圖像。

圖8：高速微掃描超分辨示意圖

在機(jī)載環(huán)境下，為了保證充分發(fā)揮探測器的性能，高速微掃描設(shè)備需利用探測器兩次曝光的間隔來進(jìn)行位移，當(dāng)探測器處于曝光階段時(shí)，透鏡保持位置穩(wěn)定，當(dāng)探測器處于非曝光階段時(shí)，二維壓電高速微掃描平臺(tái)帶動(dòng)透鏡快速運(yùn)動(dòng)實(shí)現(xiàn)亞像素位移，確保微掃描不引起圖像模糊，提高成像質(zhì)量。

針對(duì)輸出幀頻為120 FPS 的探測器，高速微掃描超分辨核心組件進(jìn)行了專門的優(yōu)化設(shè)計(jì)，采用2×2 的過采樣掃描方式，微掃描時(shí)間＜1. 0 ms，到位穩(wěn)定精度＜0. 3 μm（對(duì)應(yīng)約0. 03 個(gè)像素）。

圖9：高速微掃描位移實(shí)測結(jié)果

基于概率分布的超分辨重建算法的基本原理是：建立真實(shí)成像的數(shù)學(xué)模型，估計(jì)模型的相關(guān)參數(shù)，結(jié)合探測器輸出的低分辨率圖像序列Y，構(gòu)建符合一定條件的像素概率分布函數(shù)，通過極大似然估計(jì)，確定理想高分辨圖像X。

圖10：基于概率分布的超分辨重建算法的基本原理

為了提升幀間運(yùn)動(dòng)信息的時(shí)效性、準(zhǔn)確性及魯棒性，本文選用GPU-TX2i 嵌入式平臺(tái)作為硬件環(huán)境，并行構(gòu)建80個(gè)子區(qū)域?qū)?yīng)的關(guān)系矩陣，并行迭代求解子區(qū)域?qū)?yīng)的高分辨率圖像。為提高圖像處理速度，在算法優(yōu)化時(shí)使用更小的卷積核，嚴(yán)格控制存儲(chǔ)量，實(shí)時(shí)調(diào)整迭代步長，降低圖像處理運(yùn)算量，最終獲得期望的超分辨率圖像。

室內(nèi)靶標(biāo)測試識(shí)別的目標(biāo)是1951USAF分辨率測試板。由于實(shí)驗(yàn)在室內(nèi)進(jìn)行，不存在大氣湍流擾動(dòng)和伺服控制精度的問題，這四張圖片的偏差實(shí)際為0. 5 個(gè)像素，屬于一種較為理想的狀態(tài)。

圖11：低分辨圖像序列

相比于低分辨率原始圖像，超分辨重建后的圖像空間分辨率提升78. 2%。

圖12：低分辨圖像與超分辨圖像對(duì)比

室外復(fù)雜場景測試相較于室內(nèi)靶標(biāo)測試，不能忽略大氣湍流擾動(dòng)和伺服控制精度的影響，為了不降低超分辨重建算法在復(fù)雜場景下的魯棒性、穩(wěn)定性，需要對(duì)過采樣獲取的圖像進(jìn)行配準(zhǔn)。經(jīng)超分辨重建處理后，圖像中的混疊信息被去除掉了，目標(biāo)的特征更清晰、識(shí)別更容易。

圖13：室外場景低分辨圖像與超分辨圖像對(duì)比

先敵發(fā)現(xiàn)、先敵識(shí)別是機(jī)載光電偵察設(shè)備的重要指標(biāo)。初期為了論證高速微掃描超分辨技術(shù)對(duì)于探測距離是否有提升，進(jìn)行了基于場景的光學(xué)仿真分析。

光學(xué)仿真結(jié)果表明，針對(duì)同一場景，經(jīng)超分辨重建獲取的高分辨率圖像對(duì)坦克目標(biāo)的識(shí)別距離由2725. 54 m提升到3904. 68 m，識(shí)別距離提升了約43. 3%。

圖14：距離目標(biāo)2725.54m處，低分圖與超分圖對(duì)比

圖15：距離目標(biāo)3904.68處，低分圖與超分圖對(duì)比

微掃描組件和超分辨重建技術(shù)的配合使用，既能提升光電偵察設(shè)備輸出圖像的有效空間分辨率，又能增加光電偵察設(shè)備對(duì)地面目標(biāo)的識(shí)別距離。后續(xù)的飛行測試也進(jìn)一步驗(yàn)證了這一結(jié)論。

論文信息

趙浩光,曲涵石,王鑫等.高速微掃描圖像超分辨重建[J].光學(xué)精密工程,2021,29(10):2456-2464. 

DOI：10.37188/OPE.20212910.2456

監(jiān)制 | 趙陽

編輯 | 趙唯

歡迎課題組投稿——新聞稿

轉(zhuǎn)載/合作/課題組投稿，微信：447882024

帶您每天讀1篇文獻(xiàn)！加入>Light讀書會(huì)