深度神經(jīng)網(wǎng)絡(DNNs)在數(shù)據(jù)表征方面技壓群芳，為處理圖像、時間序列、自然語言、音頻、視頻等處理帶來了重大突破。本文全面回顧了基于UAV圖像的深度學習(DL)基本原理，側(cè)重于描述使用無人機獲取數(shù)據(jù)的分類和回歸技術。為此，對國際科學期刊數(shù)據(jù)庫中發(fā)表的232篇論文進行了審查，并收集了已發(fā)表的材料，評估它們在應用、傳感器和技術方面的特性。

深度神經(jīng)網(wǎng)絡綜述

DNN 基于神經(jīng)網(wǎng)絡，由具有特定激活函數(shù)和參數(shù)的神經(jīng)元(或單元)組成，這些神經(jīng)網(wǎng)絡將輸入數(shù)據(jù)(如無人機遙感圖像)轉(zhuǎn)換為輸出(如土地利用和土地覆蓋圖)，同時逐步學習更高級別的特征。

A DNN architecture. This is a simple example of how a DNN may be built. Here the initial layer (Xinput) is composed of the collected data samples. Later this data information can be extracted by hidden layers in a backpropagation manner, which is used by subsequent hidden layers to learn these features’ characteristics. In the end, another layer is used with an activation function related to the given problem (classification or regression, as an example), by returning a prediction outcome (Ylabel).

卷積和遞歸神經(jīng)網(wǎng)絡

A CNN type of architecture with convolution and deconvolution layers. This example architecture is formed by convolutional layers, where a dropout layer is added between each conv layer, and a max-pooling layer is adopted each time the convolution window-size is decreased. By the end of it, a deconvolutional layer is used with the same size as the last convolutional, and then it uses information from the previous step to reconstruct the image with its original size. The final layer is of a softmax, where it returns the models’ predictions.

分類和回歸方法

? 分類任務

? 目標檢測

? 語義分割

? 實例分割

Labeled examples. The first-row consists of a bounding-box type of object detection approach label-example toidentify individual tree-species in an urban environment. The second-row is a labeled-example of instance segmentation to detect rooftops in the same environment.

基于無人機圖像的深度學習

全球傳感器及應用

總的來說，在科學數(shù)據(jù)庫中收集的文章展示了與其架構(CNN或RNN)、評估(分類或回歸)方法(目標檢測、分割或場景分類)、傳感器類型(RGB、多光譜、高光譜或激光雷達)和地圖背景(環(huán)境、城市或農(nóng)業(yè))，如下圖:

Diagram describing proceedings and articles according to the defined categories using WOS and Google Scholar datasets.

環(huán)境測繪

基于DNNs的環(huán)境方法在遙感數(shù)據(jù)(包括UAV圖像)方面的應用最為廣泛。為了繪制自然特性及其特征，研究通常依賴于與其目標極為相關的方法和程序，并且無法提出或發(fā)現(xiàn)“通用”方法。

城市測繪

UAV嵌入式傳感器提供的高空間分辨率是其在這些領域使用的主要原因之一。這些圖像中的目標檢測和實例分割方法是個性化、識別和繪制高細節(jié)目標的必要方法。

農(nóng)業(yè)測繪

在最近的科學研究中，基于無人機圖像和DL方法之間的整合極大地促進了精準農(nóng)業(yè)應用。與這些方法相關的大多數(shù)問題涉及用于計數(shù)植物和檢測種植區(qū)的目標檢測和特征提取，識別種植園間隙，將植物物種和入侵物種分割為雜草、物候?qū)W和表型檢測等。

基于UAV數(shù)據(jù)的深度學習展望

不可否認，基于DL方法是處理遙感系統(tǒng)產(chǎn)生大量數(shù)據(jù)的強大工具。本節(jié)簡要評述了DL和遙感界最新領域之一的近期前景，該領域可通過基于UAV的圖像來實施。

? 實時處理

? 降維

? 領域適應和遷移學習

? 基于注意力的機制

? Few-Shot學習

? 半監(jiān)督學習和無監(jiān)督學習

? 多任務學習

? 開放數(shù)據(jù)集

? 攝影測量處理

與軌道和其它航空傳感采集方法相比，UAV平臺的地面測繪具有一定優(yōu)勢：較少的大氣干擾、在較低高度飛行的可能性、以及低運營成本，使得這種采集系統(tǒng)在商業(yè)和科學探索中都很受歡迎。但是，對多個物體進行目視檢查仍然是一項耗時、有偏差且不準確的操作。目前，遙感方法的真正挑戰(zhàn)是從此類數(shù)據(jù)中獲取自動、快速和準確的信息。近年來，DL技術的出現(xiàn)為改善地球表面測繪提供了可靠和智能的方法。