無人機(jī)紅外影像拼接方法研究

孫新博^1,2,3，孫芹芹⁴，李英成^1,2,3，肖金城^1,2,3

（1.自然資源部航空遙感技術(shù)重點(diǎn)實(shí)驗(yàn)室,北京100039；

2.北京市低空遙感數(shù)據(jù)處理工程技術(shù)研究中心,北京 100039；

3.中測(cè)新圖（北京）遙感技術(shù)有限責(zé)任公司,北京 100039；

4.福建省海島與海岸帶管理技術(shù)研究重點(diǎn)實(shí)驗(yàn)室,廈門 361013)

摘 要：針對(duì)紅外影像噪聲多、對(duì)比度低、像幅小、旋偏角大等特點(diǎn)，該文以無人機(jī)紅外監(jiān)測(cè)技術(shù)應(yīng)用需求為背景，研究了機(jī)載紅外影像的拼接方法。首先，介紹了常用的機(jī)載紅外影像格式；接著，對(duì)紅外影像進(jìn)行噪聲去除、圖像增強(qiáng)、畸變差改正等預(yù)處理；然后，根據(jù)是否有位姿數(shù)據(jù)，分別采用基于位姿信息和基于運(yùn)動(dòng)恢復(fù)結(jié)構(gòu)(SFM)的紅外影像配準(zhǔn)方法；最后，采用漸入漸出的融合方法消除影像拼接縫。通過實(shí)際飛行實(shí)驗(yàn)證明了該方法的可行性，具有一定的實(shí)際應(yīng)用價(jià)值。

0 引言

無人機(jī)紅外遙感是以無人機(jī)（unmanned aerial vehicle，UAV）為飛行平臺(tái)，以目標(biāo)輻射和反射的紅外能量為觀測(cè)目標(biāo)，獲取地物輻射特性和溫度特性的遙感技術(shù)[1]。與可見光相比，紅外波段具有全天時(shí)工作能力，其熱輻射敏感特點(diǎn)可在環(huán)境污染監(jiān)測(cè)、戰(zhàn)場(chǎng)偵察、應(yīng)急救援等領(lǐng)域應(yīng)用。由于紅外傳感器視角小、成像像素少，在實(shí)際應(yīng)用中往往需要多張影像拼接形成大視場(chǎng)圖像。紅外影像自身就有信噪比和對(duì)比度低的特點(diǎn)，再加上無人機(jī)平臺(tái)穩(wěn)定性差而導(dǎo)致影像存在旋轉(zhuǎn)、縮放等幾何畸變，使得紅外影像的拼接存在更多的困難。文獻(xiàn)[2-4]首先實(shí)現(xiàn)基于位姿數(shù)據(jù)的影像粗配準(zhǔn)，再分別采用相似性先驗(yàn)、仿射變換坐標(biāo)微調(diào)、稀疏全局調(diào)整等手段減少局部誤差和全局累計(jì)誤差，最終提高拼接精度。上述方法很好地實(shí)現(xiàn)了可見光影像的拼接，但不能很好地應(yīng)用于紅外影像的拼接。文獻(xiàn)[5]針對(duì)紅外遙感圖像特點(diǎn)，采用各項(xiàng)異性濾波方法消除噪聲，并用直方圖均衡化技術(shù)提高圖像對(duì)比度，優(yōu)化ORB（orientedFAST and rotated BRIEF）特征提取算法，并利用隨機(jī)抽樣一致算法（random sample consensus，RANSAC）減少錯(cuò)誤匹配，最終實(shí)現(xiàn)紅外影像拼接，該文獻(xiàn)最終只是選取2幅影像進(jìn)行驗(yàn)證，但隨著影像的增多，拼接誤差會(huì)積累，文獻(xiàn)并未給出處理方法。文獻(xiàn)[6]通過改進(jìn)尺度不變特征轉(zhuǎn)換（scale invariant feature transform，SIFT）算法提高了匹配運(yùn)算速度，減少了誤匹配點(diǎn)對(duì)，實(shí)現(xiàn)了紅外圖像的快速拼接。文獻(xiàn)[7]提出了一種快速高效的光束法平差策略，實(shí)現(xiàn)了畫幅掃描成像紅外系統(tǒng)實(shí)時(shí)拼接的應(yīng)用需求。文獻(xiàn)[8]提出一種改進(jìn)的SURF（speeded up robust feature）紅外圖像拼接方法，將二進(jìn)制魯棒獨(dú)立算子（binary robust independentelementary features, BRISK）和Canny邊緣檢測(cè)應(yīng)用于SURF紅外圖像拼接,并采用RANSAC算法剔除誤匹配的特征點(diǎn)，最后采用漸入漸出法消除影像拼接縫。上述方法均是采用改進(jìn)的特征匹配算法實(shí)現(xiàn)紅外的拼接，但實(shí)驗(yàn)數(shù)據(jù)均是近景紅外影像，與無人機(jī)的紅外影像有較大區(qū)別。

目前應(yīng)急測(cè)繪尤其是森林火災(zāi)對(duì)紅外航空影像的處理需求較為強(qiáng)烈，本文以無人機(jī)紅外影像拼接為研究對(duì)象，結(jié)合實(shí)際項(xiàng)目應(yīng)用需求，從紅外影像的獲取、預(yù)處理、配準(zhǔn)、融合等流程介紹無人機(jī)紅外影像拼接方法。在位姿信息未知的情況下，可利用基于運(yùn)動(dòng)恢復(fù)結(jié)構(gòu)（structure from motion，SFM）的方法實(shí)現(xiàn)紅外影像拼接；在位姿信息已知的情況下，可基于位姿信息快速對(duì)影像進(jìn)行粗配準(zhǔn)，而后利用仿射變換對(duì)地理坐標(biāo)進(jìn)行調(diào)整，實(shí)現(xiàn)精配準(zhǔn)。兩種方法可應(yīng)用于不同場(chǎng)景，為后續(xù)目標(biāo)識(shí)別、空間分析，污水監(jiān)測(cè)等應(yīng)用帶來便利，具有一定的實(shí)際應(yīng)用價(jià)值。

1 紅外影像獲取與預(yù)處理

1.1 影像獲取

紅外影像本質(zhì)是通過目標(biāo)場(chǎng)景的熱輻射而獲取熱輻射值的被動(dòng)影像，紅外波長(zhǎng)介于微波和可見光之間，分為近紅外、短波紅外、中波紅外、長(zhǎng)波紅外、遠(yuǎn)紅外，目前市場(chǎng)上常用機(jī)載紅外成像系統(tǒng)一般為中長(zhǎng)波紅外。機(jī)載紅外成像設(shè)備可根據(jù)需求輸出圖像和視頻數(shù)據(jù)，圖像主要是PNG（portablenetwork graphic）、原始影像RAW格式，RAW格式是一種未經(jīng)處理的圖像格式，與其他格式相比它有更寬的動(dòng)態(tài)范圍和色調(diào)，允許用戶進(jìn)行任意的色溫、白平衡、對(duì)比度的調(diào)整來自由地構(gòu)造圖像，尤其對(duì)于紅外這種噪聲大、對(duì)比度低的影像，RAW格式給紅外影像的處理帶來了更多的自由。紅外視頻格式是傳感器內(nèi)部處理器將采集到的RAW紅外數(shù)據(jù)，依次進(jìn)行濾波、非均勻性校正和壓縮編碼形成的預(yù)定格式。本文所用傳感器包括大疆禪思XT熱成像相機(jī)和SCA350型雙光光電吊艙，分別可輸出RAW圖像和H264視頻數(shù)據(jù)，如圖1所示。

1.2 影像預(yù)處理

由于紅外成像傳感器自身特性以及周圍環(huán)境影響，紅外影像中包含各種噪聲，除此之外紅外影像也有對(duì)比度低、灰度分布集中和邊緣模糊的特點(diǎn)[9]，這些都會(huì)影響影像之間的配準(zhǔn)精度，導(dǎo)致拼接失敗。另外紅外成像過程不可避免地存在非線性畸變，需要對(duì)其進(jìn)行傳感器檢校及畸變差改正處理[10]。因此紅外影像的預(yù)處理工作按流程可以分為圖像格式轉(zhuǎn)換、濾波去噪、圖像增強(qiáng)、畸變差改正等操作。

圖像格式轉(zhuǎn)換主要是將RAW格式轉(zhuǎn)換為PNG或JPG格式，根據(jù)圖像像素分辨率以及位深結(jié)合OpenCV開源庫(kù)即可快速地實(shí)現(xiàn)紅外圖像格式轉(zhuǎn)換。紅外圖像常用的噪聲去除算法是均值濾波和中值濾波[11]，兩種濾波算法雖然簡(jiǎn)單但存在圖像細(xì)節(jié)模糊的問題，本文采用文獻(xiàn)[4]提到的各向異性濾波算法進(jìn)行紅外圖像噪聲去除。對(duì)比度低是紅外圖像的一個(gè)顯著特點(diǎn)，為了提高圖像對(duì)比度需要對(duì)其進(jìn)行增強(qiáng)處理，常用的圖像增強(qiáng)[12]方法有直方圖均衡化、拉普拉斯算子、伽馬變換、指數(shù)變換、對(duì)數(shù)變換等，圖像增強(qiáng)方法較多，需要根據(jù)不同的應(yīng)用需求選擇相應(yīng)的增強(qiáng)方法。圖2為14bit原始影像經(jīng)直方圖均衡化，再經(jīng)對(duì)數(shù)變換壓縮位8 bit，提高對(duì)比度。

盡管紅外影像濾波、增強(qiáng)等預(yù)處理是拼接前必不可少的步驟，但在基于位姿數(shù)據(jù)的紅外影像拼接中焦距、像主點(diǎn)等內(nèi)參信息也是必要參數(shù)，同時(shí)影像畸變對(duì)拼接精度的影響也是不可忽略的，因此在有條件的情況下，可通過張正友棋盤標(biāo)定法[13]獲取準(zhǔn)確的相機(jī)內(nèi)參及畸變參數(shù)，并在拼接前對(duì)影像進(jìn)行畸變差改。

2 紅外影像配準(zhǔn)

2.1 基于位姿信息的影像配準(zhǔn)

在紅外傳感器與無人機(jī)平臺(tái)集成過程中，可以利用慣性導(dǎo)航設(shè)備發(fā)送脈沖信號(hào)控制紅外傳感器采集數(shù)據(jù)或通過視頻流地理編碼[14]方法建立紅外影像與位姿信息的映射關(guān)系。針對(duì)紅外影像位姿信息已知的情況，首先將姿態(tài)信息利用文獻(xiàn)[15]中方法轉(zhuǎn)換為外方位角元素，結(jié)合影像內(nèi)方位元素及測(cè)區(qū)高程實(shí)現(xiàn)影像的正射糾正，完成影像的粗配準(zhǔn)。接著利用仿射尺度不變模型[3]對(duì)地理坐標(biāo)進(jìn)行微調(diào)，實(shí)現(xiàn)影像的精配準(zhǔn)。該方法可快速實(shí)現(xiàn)紅外影像之間的配準(zhǔn)，只需少量的匹配點(diǎn)就可建立仿射變換關(guān)系，實(shí)現(xiàn)地理坐標(biāo)的調(diào)整，效果如圖3所示。

2.2 基于SFM的影像配準(zhǔn)

計(jì)算機(jī)視覺領(lǐng)域的SFM能夠利用一組有序或者無序的影像恢復(fù)相機(jī)的位姿信息和場(chǎng)景稀疏三維結(jié)構(gòu)[16]。與傳統(tǒng)的航空攝影測(cè)量流程相比，SFM不需要預(yù)先的航帶排列，通用性好且自動(dòng)化程度高，其核心思想是通過特征匹配獲取多視圖影像之間的同名點(diǎn)，然后最小化特征點(diǎn)的重投影誤差來求解相機(jī)位姿和特征點(diǎn)的三維坐標(biāo)。文獻(xiàn)[17]對(duì)增量式運(yùn)動(dòng)恢復(fù)結(jié)構(gòu)和定位定姿系統(tǒng)（position and orientation system，POS）輔助光束法平差的精度進(jìn)行比較，發(fā)現(xiàn)在不依賴POS數(shù)據(jù)的情況下，增量式運(yùn)動(dòng)恢復(fù)結(jié)構(gòu)可以達(dá)到與POS輔助光束法平差相當(dāng)?shù)木取Ｒ虼吮疚牟捎没赟FM的方法獲取優(yōu)化后的相機(jī)位姿信息和稀疏三維點(diǎn)云[18]，擬合融合平面形成影像投影平面，通過位姿信息建立影像間的變換關(guān)系，實(shí)現(xiàn)影像配準(zhǔn)，具體流程如圖4所示。

首先將所有紅外影像兩兩匹配，選擇同名點(diǎn)最多的匹配作為初始像對(duì)，利用八點(diǎn)法[19]計(jì)算本質(zhì)矩陣再由奇異值分解獲取相機(jī)位姿信息，即旋轉(zhuǎn)矩陣和平移向量，接下來利用相機(jī)的位姿信息估計(jì)特征點(diǎn)的空間位置，即通過三角測(cè)量計(jì)算2D特征點(diǎn)的三維坐標(biāo)；接著根據(jù)特征匹配結(jié)果選擇新影像，利用PnP（perspective-n-point）[20]估算新影像的位姿信息并三角化計(jì)算特征點(diǎn)的空間坐標(biāo)，緊接著使用光束法平差優(yōu)化相機(jī)位姿和三維點(diǎn)坐標(biāo)[21]，直到所有影像添加完畢再進(jìn)行全局平差；全局優(yōu)化后即可輸出所有影像的位姿信息和稀疏三維點(diǎn)云，根據(jù)三維點(diǎn)云擬合一個(gè)融合平面[22]，接著利用相機(jī)位姿信息進(jìn)行影像變換，投影到擬合平面上，實(shí)現(xiàn)影像間的配準(zhǔn)。圖5為由306張紅外影像重建的稀疏三維結(jié)構(gòu)。

3 紅外影像融合

在完成了紅外影像配準(zhǔn)之后，需要將所有影像融合成一幅影像，消除拼接縫，目前常用的融合方法有直接平均法、加權(quán)平均法、拉普拉斯融合法、漸入漸出融合法等。本文選用漸入漸出法[23]進(jìn)行融合，對(duì)待融合影像和的重疊部分按照加權(quán)比重計(jì)算新的灰度值，加權(quán)公式如下：

加權(quán)值的選擇需要根據(jù)經(jīng)驗(yàn)確定，但融合過程中權(quán)值并不是固定不變的，而是動(dòng)態(tài)分配的：靠近影像中心權(quán)值增大，靠近影像邊緣權(quán)值減小。從主觀評(píng)價(jià)效果上來看，漸入漸出法很好地實(shí)現(xiàn)了影像間的平滑過渡，效果如圖6所示。

4 實(shí)驗(yàn)結(jié)果

實(shí)驗(yàn)選取彩虹-4無人機(jī)搭載SCA350型雙光光電吊艙獲取的紅外視頻數(shù)據(jù)，紅外相機(jī)參數(shù)如下：焦距50 mm，工作波段為長(zhǎng)波，像素分辨率為640像素×512像素，視場(chǎng)角為11°×8.2°，像元物理尺寸17 μm。光電吊艙工作模式為紅外和可見光隨意切換，為了適應(yīng)可見光1080P分辨率，傳感器廠商在保持寬高比的基礎(chǔ)上對(duì)紅外圖像做了拉伸處理，使其高度分辨率為1080像素，寬度有效像素為1 350像素且用黑邊填充為1 920像素。本文選取其中3條航線分別采用第2節(jié)中兩種方法開展中實(shí)驗(yàn)。

1）基于位姿信息的紅外影像拼接。首先利用位姿信息對(duì)每幀紅外影像進(jìn)行正射糾正，再以第一條航線為基準(zhǔn)采用SURF特征匹配計(jì)算與第二條航線影像間的仿射變換模型，接著利用變換關(guān)系對(duì)第二條及第三條航線的影像進(jìn)行坐標(biāo)微調(diào)，效果如下圖7所示。

2）基于SFM方法的紅外影像拼接。首先裁剪掉紅外影像黑邊，再將全部的306張影像兩兩匹配，按照2.2節(jié)方法獲取每一張紅外影像的位姿信息及三維稀疏結(jié)構(gòu)，根據(jù)影像間變換關(guān)系及擬合平面完成影像配準(zhǔn)之后再進(jìn)行影像融合，最終效果如圖8所示。

從實(shí)驗(yàn)結(jié)果可以看出以第一條航線為基準(zhǔn)，分別校正其他航線，雖然拼接結(jié)果不存在全局形變，但存在明顯的局部錯(cuò)位，采用第二種方法整體效果優(yōu)于第一種方法，局部錯(cuò)位問題得到解決，但第二種方法的前提是紅外影像要有足夠多且正確的匹配點(diǎn)，這在某些場(chǎng)景下是很難滿足的，如大面積水體、戈壁灘等。第一種方法可以做到準(zhǔn)實(shí)時(shí)且不需要太多的匹配點(diǎn)，但拼接精度難以保證。因此針對(duì)不同的數(shù)據(jù)質(zhì)量及應(yīng)用場(chǎng)景可以選擇不同的拼接方法。

5結(jié)束語(yǔ)

本文針對(duì)機(jī)載紅外影像噪聲多、對(duì)比度低、像幅小、旋偏角大等特點(diǎn)，提出了一種機(jī)載紅外影像拼接方法。首先，對(duì)紅外影像進(jìn)行格式轉(zhuǎn)換、噪聲去除、圖像增強(qiáng)、畸變差改正等預(yù)處理；然后，根據(jù)是否有位姿數(shù)據(jù)，分別采用基于位姿信息和基于SFM的影像拼接方法；最后，采用CH-4無人機(jī)搭載的雙光光電吊艙獲取的紅外視頻數(shù)據(jù)開展實(shí)驗(yàn)。基于位姿信息的拼接方法可用于準(zhǔn)實(shí)時(shí)場(chǎng)景，基于SFM的方法用于事后處理場(chǎng)景，但本文實(shí)驗(yàn)數(shù)據(jù)單一，并未比較兩種方法的魯棒性，同時(shí)基于位姿信息輔助的SFM紅外影像實(shí)時(shí)拼接算法將是下一步的研究方向。