摘要：增量式運動恢復結(jié)構(gòu)(structure from motion, SfM)已經(jīng)成為無人機影像空中三角測量的常用解決方案?？紤]到無人機影像的特點，增量式 SfM 在效率、精度和穩(wěn)健性方面的性能有待提高。首先給出了增量式 SfM 無人機影像空中三角測量的技術(shù)流程，然后從特征匹配和幾何解算兩個方面對其關(guān)鍵技術(shù)進行了綜述，最后從數(shù)據(jù)采集方式改變、大場景影像處理、通信與硬件技術(shù)發(fā)展、深度學習融合等方向，展望了增量式 SfM 無人機影像空中三角測量的挑戰(zhàn)和后續(xù)研究，總結(jié)本領(lǐng)域的現(xiàn)有研究，為相關(guān)研究者提供參考。
關(guān)鍵詞：無人機影像;空中三角測量;運動恢復結(jié)構(gòu);特征匹配;深度學習
近年來，無人機已成為攝影測量領(lǐng)域的重要觀測平臺[1]。與衛(wèi)星和航空攝影相比，無人機攝影測量具備高時效性、高靈活性和高分辨率的優(yōu)勢[2]。高時效性能夠?qū)崿F(xiàn)快速的任務執(zhí)行，滿足應急響應等需求;也能夠進行高頻率作業(yè)，實現(xiàn)對目標的連續(xù)觀測。高靈活性可根據(jù)場景結(jié)構(gòu)設計飛行航跡，滿足復雜場景的安全數(shù)據(jù)采集需求。同時，采用貼近或優(yōu)視攝影作業(yè)模式[3]，無人機可采集厘米級甚至毫米級的高分辨率影像，提升精細目標場景的觀測能力。無人機攝影測量已在建筑物缺陷檢測、輸電線路巡檢、精細化農(nóng)業(yè)管理、文物遺產(chǎn)數(shù)字化等領(lǐng)域得到了廣泛應用[4]。因為載荷能力或成本限制，無人機平臺沒有搭載高精度直接定位定向設備。無人機影像定位定向成為保障其應用的關(guān)鍵技術(shù)[5]。在攝影測量與遙感領(lǐng)域，空中三角測量(簡稱空三)技術(shù)已成功用于衛(wèi)星和航空影像的定位定向。但是，依賴高精度定位定姿系統(tǒng)(positioning and orientation system， POS)提供精確的未知數(shù)初值，且要求數(shù)據(jù)采集按照規(guī)定的航線執(zhí)行。這些因素極大地限制了攝影測量空三技術(shù)在數(shù)據(jù)采集無序、精確定位定向初值缺乏的無人機影像上的應用推廣。由于不依賴未知數(shù)初值和具有較強的抗外點能力，增量式運動恢復結(jié)構(gòu)(structure from motion，SfM)技術(shù)可以直接從重疊影像恢復相機的位置姿態(tài)和場景的結(jié)構(gòu)信息，已成為當前無人機影像空三的常用解決方案[6]。
另外，增量式 SfM 技術(shù)可處理無序數(shù)據(jù)集，適應無人機影像的特點。鑒于上述因素，增量式 SfM 技術(shù)已廣泛應用于商業(yè)和開源軟件，包括Bentley ContextCapture、Agisoft Metashape 和 MicMac 等影像處理和三維建模軟件。增量式 SfM 技術(shù)包括特征匹配和幾何解算兩個主要步驟，從兩張種子影像開始，通過迭代定向和平差實現(xiàn)場景空三處理。盡管在攝影測量與計算機視覺領(lǐng)域，基于局部特征的影像匹配[7]和基于光束法平差的幾何解算[8]已得到了深入研究和廣泛應用。原始增量式SfM 技術(shù)用于處理小規(guī)模場景或者低分辨率影像，沒有顧及無人機影像的特點，主要體現(xiàn)在：
(1)無人機影像具有高分辨率、高重疊度、大數(shù)據(jù)量等特點，導致特征匹配的計算量大。同時，大傾角攝影和重復紋理等因素影響，使得特征匹配存在很多錯誤匹配點，降低空三精度和穩(wěn)健性。(2)幾何解算需要迭代優(yōu)化，即每增加一張或若干張影像進行局部或者全局光束法平差(bundle adjustment，BA)，導致增量式 SfM 迭代優(yōu)化的效率隨著影像數(shù)量增加而顯著下降[9-10]。
隨著無人機攝影測量的普及化和規(guī)?；瘧?，勢必對基于增量式SfM 技術(shù)的無人機影像空三在效率、精度和穩(wěn)健性方面提出更高要求[11]。當前，許多學者對增量式 SfM 無人機影像空三開展了大量工作。同時，深度學習技術(shù)也在攝影測量與計算機視覺幾何處理領(lǐng)域得到了廣泛研究，對于提升無人機影像空三的精度和可靠性具有巨大的應用潛力?；谏鲜隹紤]，本文首先對增量式 SfM 的特征匹配和幾何解算關(guān)鍵技術(shù)進行了綜述，然后展望了增量式 SfM 無人機影像空三的挑戰(zhàn)和后續(xù)研究，旨在總結(jié)本領(lǐng)域的現(xiàn)有研究，為相關(guān)研究者提供參考。
1 無人機影像 SfM 流程
顯示了無人機影像增量式 SfM 的技術(shù)流程，包括特征匹配和幾何解算兩個部分。特征匹配用于建立重疊影像的同名點對應關(guān)系，包括特征提取、特征匹配和粗差剔除。其中，特征提取主要利用局部特征，提取具有高重復性、高可區(qū)分性的關(guān)鍵點及其描述子，比如 SIFT(scale invariant feature transform)、SURF(speedup robust feature)等特征。
特征匹配基于描述子距離最近準則，利用最近鄰搜索獲取初始匹配點;粗差剔除則基于參數(shù)化或非參數(shù)化方法，剔除初始匹配中的錯誤匹配點。在獲取特征匹配點后，幾何解算則首先選擇兩張同名點數(shù)量足夠多、分布均勻的種子影像，利用相對定向算法建立初始化模型;然后通過空間后方交會，增量式地解算其余影像的位置姿態(tài)和場景三維點，并迭代執(zhí)行局部和全局 BA 提高影像空三精度和消除錯誤匹配。無人機影像增量式 SfM 現(xiàn)有研究也主要從特征匹配和幾何解算兩個方面開展。
2 無人機影像特征匹配
特征匹配的目的是建立兩視或多視影像的同名點關(guān)系，是無人機影像 SfM 重建的基礎(chǔ)。在攝影測量與計算機視覺領(lǐng)域，特征匹配已有幾十年的研究歷程。基于局部特征描述子的特征匹配已成為當前主流方法，該方法首先提取影像高顯著性的點、線或者塊狀結(jié)構(gòu)，并生成對應的高維描述子，然后基于描述子的最近距離準則建立影像對應關(guān)系?；诰植刻卣髅枋鲎拥奶卣髌ヅ浞椒ㄖ饕ㄌ卣魈崛 ⑻卣髌ヅ浜痛植钐蕹?3 個步驟。
2.1 特征提取特征
提取的目標是提取具有高重復性、高可區(qū)分性的特征點，并生成對應的特征描述子。其中，高重復性可以保證所提取的特征點能夠在其他重疊影像中被檢測到;高可區(qū)分性則保證所提取的特征點能夠在其他重疊影像中被正確匹配到。已有的特征提取方法可以分為手工特征和深度學習特征。
1)手工特征手工特征提取方法包括早期的旋轉(zhuǎn)不變 Harris 角點特征[12]，到最近的具有尺度、視角和光照不變性的 SIFT 特征[13]及其改進算法，比如基于仿射視角模擬的 ASIFT(affineSIFT)[14]、利用平方根代替歐式距離準則的 RootSIFT[15]。同時，為了適應資源受限平臺的計算需求，有學者利用二進制描述子或者硬件加速，提出了計算效率更高的特征描述子，比如 SURF[16]、ORB(oriented FAST and rotated BRIEF)[17]、GPUSIFT[18]。在攝影測量與遙感領(lǐng)域，手工特征也得到了深入研究和廣泛應用[19-21]。
為了實現(xiàn)大傾角無人機特征匹配，現(xiàn)有方法一方面提取特征點的局部仿射不變支撐鄰域[22];另一方面利用無人機粗略 POS 進行影像整體糾正，以減少影像透視變形的影響[23-24]。為了實現(xiàn)高分辨率無人機影像特征匹配，現(xiàn)有研究通常利用粗略無人機 POS 信息或者降采樣影像之間的單應矩陣，建立影像之間的幾何對應關(guān)系，實現(xiàn)分塊特征匹配策略，這類方法也常用于大幅面遙感影像[25-26]。
2)深度學習特征近年來，深度學習特征在攝影測量與計算機視覺領(lǐng)域得到了廣泛關(guān)注。不同于手工特征的硬編碼模式，深度學習從訓練樣本提取內(nèi)在特征，并利用神經(jīng)網(wǎng)絡模型進行擬合[27]。大多數(shù)深度學習特征采用卷積神經(jīng)網(wǎng)絡(convolutional neural network，CNN)模型實現(xiàn)，可以分為分步特征提取描述網(wǎng)絡和聯(lián)合特征提取描述網(wǎng)絡。
(1)分步特征提取描述網(wǎng)絡。該類網(wǎng)絡僅僅利用 CNN 模型學習特征提取方法所獲取影像塊的描述子。文獻[28]提出了基于全卷積結(jié)構(gòu)的 L2-Net 深度特征提取網(wǎng)絡，利用漸進采樣策略和對數(shù)似然估計損失函數(shù)實現(xiàn)模型訓練。由于簡潔的模型結(jié)構(gòu)和優(yōu)異的模型性能，L2-Net 成為后續(xù)多項深度特征學習網(wǎng)絡的基礎(chǔ)模型，包括基于三元邊界損失的HardNet[29]、顧及幾何約束的 GeoDesc[30]、考慮特征點空間關(guān)系的 ContextDesc[31]。
(2)聯(lián)合特征提取描述網(wǎng)絡。該類網(wǎng)絡直接從影像提取特征點及其對應的描述子。這類網(wǎng)絡模型采用端到端的結(jié)構(gòu)進行設計，輸入為原始或者降采樣影像，輸出為特征點和描述子。文獻[32]提出的 LIFT(learned invariant feature transform)網(wǎng)絡模型，模擬 SIFT 算法的特征提取、主方向計算和特征描述等步驟，是這類深度學習特征的早期嘗試。
其他相關(guān)研究者從訓練樣本生成、極端場景條件等多個方面進行研究。為了解決特征檢測網(wǎng)絡訓練樣本不足的問題，文獻[33]利用合成數(shù)據(jù)集，采用特征點自標注算法生成訓練樣本，提出特征點檢測器自監(jiān)督學習的 SuperPoint 網(wǎng)絡模型。與常規(guī)的特征提取-特征描述步驟不同，文獻[34]提出適用于極端條件下的特征提取網(wǎng)絡模型 D2-Net，該模型首先生成特征圖和特征描述子，然后基于特征圖的高層信息提取可靠特征點。
與聯(lián)合特征提取描述網(wǎng)絡相比，分步特征提取描述網(wǎng)絡在基于影像的三維重建中的應用更加廣泛，主要原因在于這類模型可直接嵌入現(xiàn)有的三維重建流程，即從特征提取的影像塊生成類似 SIFT 的 128 維描述子，并采用歐式距離最小化準則獲得初始特征匹配[27-28]。圖 2 顯示了 RooSIFT 算法與深度學習模型進行特征提取的性能對比。其中，特征匹配均采用描述子歐式距離最近鄰準則實現(xiàn)，括號中的數(shù)值分別代表內(nèi)點數(shù)、初始匹配數(shù)和內(nèi)點率。從實驗結(jié)果可以看出，與 RootSIFT 算法相比，近年提出的深度學習模型性能逐步提高，并超過手工特征提取算法的性能。
2.2 特征匹配
匹配效率提升特征匹配通過描述子歐式距離最近準則建立初始匹配點。已有方法一般通過近似最近鄰搜索算法(approximate nearest neighbor，ANN)[35]或者圖形處理器(graphics processingunit，GPU)加速技術(shù)[18]提升特征匹配效率。由于高維特征描述子計算量大和無人機影像分辨率高、匹配對數(shù)量多等因素，特征匹配成為無人機攝影測量三維重建最耗時的步驟之一[36]。無人機影像特征匹配效率提升的方法主要分為 3 類：
(1)限制影像的特征點數(shù)量。其核心思想是選擇有用的特征點參與匹配。文獻[37]以尺度空間和影像空間的均勻分布為準則，選擇分布均勻的特征點;文獻[38]選擇高層尺度空間的特征，并將其嵌入 VisualSfM 軟件，實現(xiàn)線性時間復雜度的特征匹配;文獻[39]則考慮特征描述子的信息量，選擇更容易匹配的特征點。
(2)減少參與匹配的影像數(shù)量。其核心思想是從原始數(shù)據(jù)集中選擇代表性的關(guān)鍵影像，進而減少后續(xù)匹配對的數(shù)量，實現(xiàn)特征匹配加速?，F(xiàn)有方法分為基于影像聚類的方法[40-41]和基于影像拓撲連接圖分析的方法[42-43]。前者從具有相同視角的影像聚類集合中選擇一張代表性的影像，如文獻[41]中的 iconic view;后者則將影像和匹配對表達為無向圖結(jié)構(gòu)，并從圖結(jié)構(gòu)中選擇一個最小頂點子集，使得該頂點子集能夠穩(wěn)健重建，并且其他頂點存在至少一條與之連接的邊。
(3)減少影像匹配對數(shù)量。其核心思想是減少不必要的匹配對，達到匹配加速的目的。這類方法往往是最直接、可靠的特征匹配加速方法。在不依賴其他輔助信息的情況下，影像匹配對選擇可以依據(jù)降采樣影像的匹配點數(shù)量[38]或者基于內(nèi)容的影像檢索(content-based image retrieval，CBIR)技術(shù)獲得[44-45]。
對于無人機影像，機載 POS 數(shù)據(jù)可以提供輔助信息用于匹配對選擇[46-47]。上述方法生成的影像匹配對依然包含很多冗余信息。影像拓撲連接圖(topological connection network，TCN)首先被用于簡化匹配對數(shù)量[48-49]，如文獻[48]利用影像 POS 信息建立初始影像拓撲連接圖;然后提取最小生成樹，實現(xiàn)影像拓撲連接圖的最簡化;最后基于連接邊擴展，建立航向旁向連接邊，達到影像匹配對簡化的目的。
與初始 TCN 圖相比，影像匹配對數(shù)量顯著減少。深度學習技術(shù)近年來，深度學習技術(shù)也被用于特征匹配，取代描述子最近鄰搜索策略?，F(xiàn)有深度學習網(wǎng)絡模型采用全連接神經(jīng)網(wǎng)絡作為匹配判別層，并與特征提取層組成端到端的特征匹配網(wǎng)絡。匹配判別層和特征提取層組成了深度學習特征匹配的網(wǎng)絡模型，即聯(lián)合特征測度學習網(wǎng)絡。特征匹配網(wǎng)絡通常采用孿生結(jié)構(gòu)或者三分支結(jié)構(gòu)。
文獻[50]設計了基于孿生結(jié)構(gòu)的 MatchNet 網(wǎng)絡，包含一個多層 CNN 組成的特征描述子生成子模塊和一個三層全連接子模塊組成的描述子相似性計算子模塊;文獻[51]對比了 5 種特征匹配神經(jīng)網(wǎng)絡模型，即雙通道網(wǎng)絡、孿生網(wǎng)絡、偽孿生網(wǎng)絡、中心環(huán)繞-雙流網(wǎng)絡，以及空間金字塔池化網(wǎng)絡。除了網(wǎng)絡結(jié)構(gòu)設計，訓練樣本采樣策略對深度學習模型的性能有顯著影響。文獻[52]提出漸進采樣策略，選擇較難匹配的正負樣本。該采樣策略可以提高模型的判別能力，加速模型訓練速度，也被其他相關(guān)研究所采用[29]。
2.3 粗差剔除由于局部描述子有限的可區(qū)分性和遮擋、重復紋理等因素影響，基于最近鄰搜索的初始特征匹配不可避免地包含錯誤匹配點，粗差剔除成為高精度特征匹配的關(guān)鍵步驟?，F(xiàn)有粗差剔除方法可以分為參數(shù)化方法、非參數(shù)化方法和深度學習方法。
3 無人機影像
幾何解算攝影測量平差假定數(shù)據(jù)采集航線規(guī)范、未知數(shù)理想初值已知。考慮到無人機影像的無序性和未知數(shù)初值不確定，運動恢復結(jié)構(gòu) SfM 成為無人機影像空三的標準解決方案。SfM技術(shù)來源于計算機多視幾何領(lǐng)域，其目標是為恢復重疊影像位姿和場景結(jié)構(gòu)信息。SfM 的優(yōu)勢主要體現(xiàn)在兩個方面：(1)不依賴未知數(shù)初值，直接從重疊影像估計;(2)不對數(shù)據(jù)采集標準過度要求，能夠適應無序數(shù)據(jù)集。
4 結(jié)語
本文對增量式 SfM 的特征匹配和幾何解算關(guān)鍵技術(shù)進行了綜述?，F(xiàn)有研究極大地推動了增量式 SfM 朝著高效率、高精度和高穩(wěn)健的方向發(fā)展，同時也促進了包括 AliceVision、COLMAP、MetaShape 和 Pix4DMapper 等開源和商業(yè)軟件系統(tǒng)的不斷完善。當前，在攝影測量與計算機視覺領(lǐng)域，增量式 SfM 無人機影像空三的研究熱情依然不減。考慮到數(shù)據(jù)采集方式改變、大場景數(shù)據(jù)處理、通信與硬件技術(shù)發(fā)展、以及深度學習融合等因素，增量式SfM 無人機影像空三面臨新的挑戰(zhàn)和發(fā)展。本文從以下幾個方面進行研究展望：
(1)針對幾何感知的數(shù)據(jù)采集方式，如何實現(xiàn)高效、高精度的影像匹配，是提高增量式 SfM 無人機影像空三效率和精度的基礎(chǔ)。近年來，幾何感知無人機航跡規(guī)劃方式得到了廣泛關(guān)注，如貼近或優(yōu)視攝影測量[3]。但是，由于飛行高度低和大傾角攝影造成的遮擋嚴重、透視畸變問題，導致同名點的匹配難度大。現(xiàn)有研究通常利用無人機平臺的粗略 POS整體糾正影像，這類方法以減少特征數(shù)量和額外計算量為代價，很難滿足大場景無人機影像高效特征匹配需求。同時，無序影像的窮舉匹配極大地降低了影像匹配效率。
基于內(nèi)容的圖像檢索 CBIR 利用圖像特征進行相似影像搜索，成為開源 SfM 系統(tǒng)特征匹配加速的重要模塊。對于無人機影像，則要從檢索精度和檢索效率兩方面進行平衡：如果利用公開數(shù)據(jù)集訓練詞匯庫，則會降低檢索精度;如果用無人機影像本身訓練，則會造成高計算代價。高效影像檢索和穩(wěn)健特征匹配是增量式 SfM 無人機影像空三的基礎(chǔ)。
(2)針對大場景影像數(shù)據(jù)處理，如何加速 BA 優(yōu)化效率和避免 SfM 順序性約束，是提高無人機影像空三效率和穩(wěn)健性的核心。增量式 SfM 依賴迭代的局部和全局 BA 優(yōu)化，以減少誤差累計和提高位姿解算精度。為了提高 BA 優(yōu)化效率，現(xiàn)有方法通常從硬件加速技術(shù)、簡化和優(yōu)化平差模型等方面改進，但依然無法滿足大場景數(shù)據(jù)處理需求。盡管硬件加速是提升 BA 效率最直接的方式，但是嚴重依賴所使用的硬件配置條件，有時無法滿足實際應用的硬件條件。
平差模型簡化和優(yōu)化方法能夠減少未知數(shù)數(shù)量，但是其加速上限十分有限，且依賴特定的數(shù)據(jù)采集設備。近年來，基于分塊-合并策略的并行增量式 SfM 技術(shù)將大場景分割為緊湊的小場景，結(jié)合分布式并行計算技術(shù)，可打破順序性約束。盡管在處理大場景影像數(shù)據(jù)方面受到廣泛關(guān)注，但是模型合并仍是其難點。
(3)聯(lián)合深度學習技術(shù)的增量式 SfM 無人機影像空三技術(shù)框架。當前，深度學習已在圖像語義信息提取方面得到廣泛應用。聯(lián)合圖像語義信息的攝影測量幾何處理也已成為新的研究熱點[90]。
一方面，深度學習技術(shù)可以直接獲取幾何處理所需的特征信息，增強手工特征的判別能力;另一方面，經(jīng)典幾何處理方法具有更高的精度，可以密集深度學習技術(shù)的不足。從影像特征匹配方面看，聯(lián)合特征提取描述網(wǎng)絡需對原始影像進行降采樣，導致特征點僅有像素級定位精度[91-92]。
結(jié)合高精度的手工特征提取算法和高可區(qū)分性的深度學習特征描述網(wǎng)絡，則可得到精度和可區(qū)分性增強的特征描述子。因此，聯(lián)合深度學習技術(shù)的優(yōu)勢，對特征提取、特征匹配、粗差剔除、幾何解算等環(huán)節(jié)進行優(yōu)化，可以進一步提升增量式 SfM 無人機影像空三的整體性能。
(4)針對災害應急、突發(fā)事件監(jiān)測等時效性敏感應用，如何實現(xiàn)機上實時數(shù)據(jù)處理是進一步擴展無人機攝影測量應用的重要途徑。當前，無人機攝影測量應用主要采用在線數(shù)據(jù)采集和離線數(shù)據(jù)處理模式，主要原因在于無人機平臺有限的計算能力和數(shù)據(jù)傳輸帶寬。
無人機論文范例：淺談無人機遙感測繪技術(shù)在露天礦山測繪中的應用前景
隨著移動計算設備和通信技術(shù)的發(fā)展，無人機機上實時或準實時的數(shù)據(jù)處理和信息傳輸將會得到進一步發(fā)展，如英偉達 Jetson 高性能人工智能邊緣計算、基于 5G 通訊技術(shù)的快速數(shù)據(jù)傳輸。同時，機器人導航與自動駕駛領(lǐng)域利用同時定位與制圖技術(shù)(simultaneouslocalization and mapping，SLAM)實現(xiàn)未知場景下的環(huán)境探索[93]和自主導航。這些技術(shù)會進一步提升無人機系統(tǒng)的智能化水平，擴展無人機攝影測量應用。因此，面向機上實時/準實時的信息提取將會成為一個重要需求。
參考文獻：
[1]Li Deren, Li Ming. Research Advance and Application Prospect of Unmanned Aerial Vehicle RemoteSensing System[J]. Geomatics and Information Science of Wuhan University, 2014, 39(5): 505-513 (李德仁, 李明. 無人機遙感系統(tǒng)的研究進展與應用前景[J]. 武漢大學學報·信息科學版,2014, 39(5): 505-513)
[2] Colomina I, Molina P. Unmanned Aerial Systems for Photogrammetry and Remote Sensing: AReview[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2014, 92: 79-97
[3] Zhou X H, Xie K, Huang K, et al. Offsite Aerial Path Planning for Efficient Urban SceneReconstruction[J]. ACM Transactions on Graphics, 2020, 39(6): 192
[4] Jiang S, Jiang W S, Wang L Z. Unmanned Aerial Vehicle-Based Photogrammetric 3D Mapping: ASurvey of Techniques, Applications, and Challenges[J]. IEEE Geoscience and Remote SensingMagazine, 2248, PP(99): 2-38
[5] Jiang San, Xu Zhihai, Zhang Feng, et al. Solution for Efficient SfM Reconstruction of ObliqueUAV Images[J]. Geomatics and Information Science of Wuhan University, 2019, 44(8): 1153-1161(姜三, 許志海, 張峰, 等. 面向無人機傾斜影像的高效 SfM 重建方案[J]. 武漢大學學報·信息科學版, 2019, 44(8): 1153-1161)
作者：姜三 1,2，陳武 2，李清泉 3，江萬壽 4
相關(guān)閱讀
