本文提綱

• 傳感器參數(shù)及定義
• LIDAR & ToF 相機(jī) & 雙目相機(jī)介紹

1. 工作原理
2. 優(yōu)缺點(diǎn)

• 采樣數(shù)據(jù)比較
• 測(cè)試及極端情況測(cè)試

三維成像技術(shù)原理和應(yīng)用想必大家在之前的文章中了解過啦，今天想給大家比較一下LIDAR、ToF 相機(jī)以及雙目相機(jī)，并且還有一些直觀的測(cè)試數(shù)據(jù)來展示各自的優(yōu)缺點(diǎn)，是騾子是馬拉出來溜溜！

傳感器參數(shù)及定義

如何評(píng)判傳感器的好壞呢？這是有統(tǒng)一的標(biāo)準(zhǔn)的，劃分為性能參數(shù)和非性能參數(shù)。下面分別介紹一下。

性能參數(shù)

先說一下性能參數(shù)，這個(gè)大家比較關(guān)心，主要有以下幾個(gè)方面：

• 視場(chǎng)角（Field of view）：傳感器可感知的角度，包括垂直視場(chǎng)角和水平視場(chǎng)角
• 密度（Density） ：在兩個(gè)采樣點(diǎn)之間的角度步長(zhǎng)（angular step size）

一般縱向橫向密度有所不同，一般在整個(gè)系統(tǒng)中視場(chǎng)角越大，密度就會(huì)越小

• 分辨率（Resolution）：視場(chǎng)角和密度的乘積
• 距離精確度（Depth accuracy）：距離精確度能夠反映測(cè)量距離和實(shí)際距離的偏差 （要與分辨率區(qū)分），它是傳感器的一個(gè)重要參數(shù)。分辨率很高的傳感器可以分辨細(xì)節(jié)特征，即使距離有一些偏差。傳感器可以有高的分辨率但距離精確度一般
• 分辨率（Depth resolution）：沿著測(cè)量坐標(biāo)軸下的可測(cè)量距離
• 最大最小探測(cè)距離（Minimum and maximum range）：傳感器的可感知距離

與材料、環(huán)境光亮度、反射率有關(guān)

• 幀率（Frame Rate）：每秒的幀數(shù)

反映獲取數(shù)據(jù)的速度

非性能參數(shù)

不要小看非性能參數(shù)，它也會(huì)限制在實(shí)際中的應(yīng)用。

• 尺寸 重量 功率
• 成本
• 封裝

使傳感器隔絕外界灰塵，防水濺以及水浸入

• 通信接口

一般有以太網(wǎng)、USB、法爾接口、CAN總線、串口

物理接口一般使用以太網(wǎng)

• 同步

硬件、軟件（廣播觸發(fā)、網(wǎng)路定時(shí)）、無(wú)同步

• 軟件接口
• 還有一些其他的參數(shù) 例如溫度、健康報(bào)告、慣性測(cè)量單元、通用輸入輸出等

終端使用對(duì)權(quán)重的影響

在不同的應(yīng)用場(chǎng)景下我們要知道什么是最重要的參數(shù)，例如室內(nèi)地面機(jī)器人需要檢測(cè)障礙物，避免碰撞，這時(shí)垂直視場(chǎng)角最重要。下面表格中展示了一些應(yīng)用場(chǎng)景下重要的參數(shù)，橘色是重要的，黃色是相對(duì)重要的。

舉幾個(gè)例子：

地圖測(cè)繪—可測(cè)量最大距離

強(qiáng)調(diào)安全性的系統(tǒng)—幀率，因?yàn)樾枰皶r(shí)獲取三維數(shù)據(jù)進(jìn)行判斷

UAV（Unmanned Aerial Vehicle）—重量

UGV（Unmanned Ground Vehicle）—垂直視場(chǎng)角、最小探測(cè)距離

LIDAR

原理

LIDAR工作原理是發(fā)射激光到物體表面，然后接收物體的反射光信號(hào)，比較與初始激光的不同從而計(jì)算出距離。單束LIDAR利用旋轉(zhuǎn)鏡等機(jī)械部件可在兩個(gè)方向上機(jī)械轉(zhuǎn)向掃描。如下圖所示

也有無(wú)掃描部件的固態(tài)LIDAR的研究，但目前還不能商業(yè)化，現(xiàn)在主要是用單點(diǎn)或者機(jī)械掃描小數(shù)目的點(diǎn)。

優(yōu)點(diǎn)有：

• 探測(cè)距離遠(yuǎn)，探測(cè)范圍在10m到2km之間，距離主要取決于激光的能量和脈沖持續(xù)時(shí)間
• 有固定的誤差模型，誤差在厘米級(jí)別
• 水平視場(chǎng)角通常很寬，是因?yàn)橛行D(zhuǎn)鏡或者可旋轉(zhuǎn)的發(fā)射器和探測(cè)器Velodyne公司的LIDAR（左圖）水平視場(chǎng)角是363°，但垂直視場(chǎng)角很小，Carnegie Robotics SL（右圖）有270度球面視場(chǎng)角
• 垂直視場(chǎng)角可以很大，這取決于機(jī)械部件和激光光束的安置

缺點(diǎn)有：

• 成本高，目前低成本的LIDAR仍未出現(xiàn)，目前LIDAR發(fā)展趨勢(shì)是低成本、小型化、固態(tài)化
• 密度非對(duì)稱且掃描到的點(diǎn)數(shù)有限
• 發(fā)射光束受環(huán)境干擾，相對(duì)被動(dòng)成像技術(shù)來說更易受雨雪天氣影響
• 有移動(dòng)部件，含有不平整的窗口，給封裝帶來困難
• 掃描耗時(shí)，無(wú)法即刻獲取數(shù)據(jù)，且需要后期處理來補(bǔ)償機(jī)械部件導(dǎo)致的運(yùn)動(dòng)模糊誤差

ToF相機(jī)

ToF相機(jī)采用的是連續(xù)波調(diào)制，比較物體返回信號(hào)和發(fā)射信號(hào)的相位差可得距離信息，可實(shí)現(xiàn)像素級(jí)別測(cè)量。

zamb是最大可測(cè)量距離，根據(jù)公式可知小的頻率有更大探測(cè)距離。如下圖所示

一般來說光探測(cè)器分辨率較低，測(cè)量距離有限，可增大光的發(fā)射功率來增大發(fā)射距離，

一般常用正弦波信號(hào)，但是正弦波相位每隔2π就會(huì)重復(fù)，這意味著接收信號(hào)有重疊，影響測(cè)量準(zhǔn)確性，

所以可以采用多個(gè)調(diào)制頻率，真實(shí)距離就是多個(gè)調(diào)制頻率共同測(cè)到的值，但這會(huì)導(dǎo)致追蹤反射信號(hào)時(shí)間變長(zhǎng)，從而增加了信噪比，并且在相機(jī)或物體運(yùn)動(dòng)的情況下造成運(yùn)動(dòng)漂移。

當(dāng)然ToF相機(jī)也有很多優(yōu)點(diǎn)：

• 場(chǎng)景紋理豐富與否不影響測(cè)量
• 具有即時(shí)的垂直水平視場(chǎng)角
• 距離誤差是線性的
• 對(duì)于運(yùn)動(dòng)的障礙物產(chǎn)生的陰影較窄
• 無(wú)移動(dòng)部件

缺點(diǎn)有：

• 相比于雙目分辨率更低，
• 積分時(shí)間長(zhǎng)會(huì)增加信噪比，若相機(jī)或被測(cè)物體運(yùn)動(dòng)則產(chǎn)生運(yùn)動(dòng)模糊
• 受多路徑光線返回的影響深度數(shù)據(jù)畸變
• 環(huán)境光過強(qiáng)影響反射信號(hào)的探測(cè)
• 視場(chǎng)角一般小于60度
• 輸出的是點(diǎn)云數(shù)據(jù)并非圖像

雙目立體視覺相機(jī)

雙目原理與ToF完全不同，雙目成像類似于人的雙眼，通過左右相機(jī)的拍攝圖像的差異（視差）來確定距離，這種差異與物體的遠(yuǎn)近距離成反比，就像你會(huì)覺得距離近的物體會(huì)移動(dòng)的更多，無(wú)限遠(yuǎn)的物體幾乎不動(dòng)一樣。

提前標(biāo)定可以得到畸變參數(shù)和相機(jī)基線距離、焦距等參數(shù)，那么我們就可以利用視差來計(jì)算出物體的距離，這就是對(duì)應(yīng)點(diǎn)匹配。因此對(duì)應(yīng)點(diǎn)匹配的準(zhǔn)確度是深度信息準(zhǔn)確度的關(guān)鍵。

目前有許多方案來解決對(duì)應(yīng)點(diǎn)匹配問題，比較新的方法是神經(jīng)網(wǎng)絡(luò)，但它還不是一種非常穩(wěn)健高效的方案。

另一個(gè)需要強(qiáng)調(diào)的是相機(jī)有視差搜索范圍（disparity search range），如果不指定視差搜索范圍，許多算法的性能會(huì)下降。大的視差搜索范圍意味著相機(jī)能夠看清更近的物體，但是計(jì)算量增大，將使得相機(jī)幀率下降。

與其他相機(jī)相比，雙目?jī)?yōu)點(diǎn)有：

• 無(wú)移動(dòng)部件，僅由兩張二維照片獲得深度信息，分辨率和采樣密度沒有限制，如果想增加分辨率，雖然會(huì)使得算法計(jì)算量增加，校正過程也變得繁瑣，但并不存在物理性限制
• 可以很靈活的選擇視場(chǎng)角和基線，垂直視場(chǎng)角可以很大，調(diào)節(jié)范圍在10到230度
• RGB圖像信息與深度信息同時(shí)可以從雙目相機(jī)中獲得，而配有RGB攝像頭的ToF相機(jī)還需要兩種數(shù)據(jù)的融合。

但是，雙目也存在一些缺點(diǎn)：

• 雙目的準(zhǔn)確性受表面紋理影響，成像非常依賴物體表面的紋理，所以雙目適用于紋理豐富的場(chǎng)景，或者采用主動(dòng)成像的方法——用帶有圖案的結(jié)構(gòu)光投影，通過反射回來的變形圖案來來解決對(duì)應(yīng)點(diǎn)匹配的問題。雙目相機(jī)在測(cè)繪和安保領(lǐng)域有重要作用，因?yàn)樵谶@些工作場(chǎng)景紋理信息很豐富。
• 兩個(gè)相機(jī)視野中的障礙物有所不同，因此會(huì)產(chǎn)生重影
• 由于雙目基于三角法原理，因此隨著距離的增加，誤差是非線性的，這比LIDAR的線性誤差還要糟糕，需要在后期算法處理中進(jìn)行建模補(bǔ)償從而提高準(zhǔn)確性，不過這也和雙目相機(jī)沒有探測(cè)的最大距離限制有關(guān)

三維采樣數(shù)據(jù)比較

該數(shù)據(jù)來自來自the DARPA Robotics Challenge

在機(jī)器人走樓梯的場(chǎng)景下，分別利用DARPA的掃描型LIDAR和MIT SL雙目傳感器的三維數(shù)據(jù)進(jìn)行機(jī)器人的足跡規(guī)劃來爬樓梯。在視頻正常播放速度下，SL能夠讓機(jī)器人移動(dòng)的很快，并且沒有碰到障礙物，但是掃描型LIDAR必須要隨時(shí)間加速數(shù)據(jù)，但視場(chǎng)角很寬廣，能夠看到整個(gè)場(chǎng)景，而SL只能看到一部分。

接下來是在人靠近棋盤并拿起棋子的場(chǎng)景下，對(duì)LIDAR、ToF相機(jī)、雙目相機(jī)進(jìn)行測(cè)試。

LIDAR

視場(chǎng)角較寬；但捕捉并且確認(rèn)人類困難；水平和垂直方向的密度不均勻；

返回像素混疊（mixed-pixel returns），LIDAR接收到桌子部分返回的信號(hào)和地板返回的信號(hào)但無(wú)法分辨它們，于是給出了一個(gè)錯(cuò)誤的中間值

可以看到這個(gè)數(shù)據(jù)實(shí)時(shí)性更好，但點(diǎn)云稀疏。LIDAR掃描速率越快，實(shí)時(shí)性就會(huì)好，但數(shù)據(jù)點(diǎn)會(huì)比較稀疏，反之想要得到細(xì)節(jié)更豐富的場(chǎng)景掃描速率就會(huì)慢。

總而言之，得益于它的測(cè)量距離長(zhǎng)并且視場(chǎng)角寬廣，LIDAR適用于汽車、飛機(jī)等高速交通工具和需要高轉(zhuǎn)向速率的系統(tǒng)。

ToF相機(jī)

低成本相機(jī)：

低分辨率、低幀率；視場(chǎng)角窄；棋子不可見；

手電筒效應(yīng)，采用紅外線發(fā)射器，可以看到照亮了近距離的物體，但背景非常暗；

二分之一的地板消失；存在mid-air returns

工業(yè)相機(jī)：

高分辨率、高幀率；近距離物體失真；有物體遮擋的墻面彎曲；

由于多路徑信號(hào)返回導(dǎo)致地板失真；混合像素返回（mixed-pixel returns）

總體來看，ToF相機(jī)適合室內(nèi)環(huán)境的使用，例如對(duì)近距離物體的掃描和手勢(shì)識(shí)別。

雙目相機(jī)

視場(chǎng)角寬，高幀率；數(shù)據(jù)密度高，可看清棋盤上的棋子；能輸出與場(chǎng)景匹配的顏色圖像；

由于鏡面反射導(dǎo)致出現(xiàn)地面以下的數(shù)據(jù)點(diǎn)；棋子在墻上有影子導(dǎo)致墻面部分圖像失真

總的來說，雙目相機(jī)適用于環(huán)境光充足的戶外環(huán)境，或者用于不能夠主動(dòng)投射光的軍事應(yīng)用。

3D傳感器測(cè)試

對(duì)于ToF和雙目傳感器來說，它們小巧便攜，且成本低廉，在室內(nèi)環(huán)境里優(yōu)勢(shì)格外突出。

接下來我們會(huì)定量地測(cè)試這些傳感器性能表現(xiàn)，比較它們的不同，并展示一些極端情況下的性能結(jié)果。

ToF&雙目室內(nèi)場(chǎng)景比較

這個(gè)場(chǎng)景是室內(nèi)的玄關(guān)，可以看到地面和墻面較低的部分，還包括一些地面上的物品，如滅火器和急救箱。

兩個(gè)相機(jī)拍攝的圖是俯視方向，來自同一角度。

雙目視場(chǎng)角比較寬，對(duì)距離稍微遠(yuǎn)一些的墻面和地面上的物品也可以看到，細(xì)節(jié)和距離遠(yuǎn)遠(yuǎn)超過ToF相機(jī)，但是墻面有缺失，且墻面上的紋理沒有還原出來。

ToF相機(jī)能夠接收到比較強(qiáng)的近距離反射信號(hào)，所以對(duì)近距離的墻面還原度很好，但是遠(yuǎn)距離信號(hào)弱，在加上噪聲的影響導(dǎo)致無(wú)法識(shí)別。

這兩幅圖拍攝方向都是在探測(cè)器之上，并向下傾斜一些。

我們可以看到，雙目水平垂直視場(chǎng)角都很寬闊，無(wú)論近距離遠(yuǎn)距離物體都能探測(cè)到，對(duì)場(chǎng)景細(xì)節(jié)的重現(xiàn)很豐富。

而ToF相機(jī)在對(duì)沒有紋理的墻壁更能準(zhǔn)確成像，但對(duì)遠(yuǎn)距離的場(chǎng)景無(wú)法成像。

極端情況測(cè)試

在少數(shù)特殊情況下，傳感器性能可能會(huì)出現(xiàn)下降，例如在駕駛這樣的安全性要求極高場(chǎng)景下，即使是小概率極端情況也會(huì)造成嚴(yán)重的后果，因此我們也要關(guān)注這些情況下的性能。

這個(gè)場(chǎng)景里有瓷磚地板、玻璃等特殊材質(zhì)，ToF相機(jī)接收到的可能是多次折射后的光線，會(huì)有散射畸變，因此圖里會(huì)出現(xiàn)墻壁彎曲和地板凹陷。

在50m的隧道里釋放煙霧，用3D激光器和雙目相機(jī)進(jìn)行測(cè)試，右圖是激光器和雙目的彩色點(diǎn)云數(shù)據(jù)俯視圖，雙目相機(jī)成像類似人眼，因此在煙霧中準(zhǔn)確性會(huì)下降，但仍然能夠分辨出物體。而激光在煙霧中傳播距離大大降低，性能急劇下降。

雙目采用的二維RGB相機(jī)會(huì)有過曝光現(xiàn)象，當(dāng)強(qiáng)光直接射進(jìn)鏡頭導(dǎo)致反射和散射，出現(xiàn)光暈，從而丟失一些數(shù)據(jù)，但不會(huì)影響其他區(qū)域數(shù)據(jù)的采集的準(zhǔn)確性。

不同的材料測(cè)試

室內(nèi)環(huán)境中物品雜亂，那這些不同材質(zhì)的物品會(huì)對(duì)性能有影響嗎？so我們采集36個(gè)室內(nèi)環(huán)境常見的材料對(duì)LIDAR、ToF相機(jī)、雙目相機(jī)分別在環(huán)境光和鹵素紅外線強(qiáng)照明兩種條件下進(jìn)行測(cè)試。

A廠家LIDAR測(cè)試圖

LIDAR對(duì)于環(huán)境光照明和紅外線照明具有相似的性能表現(xiàn)，但LIDAR存在一個(gè)奇怪的現(xiàn)象，如圖中藍(lán)色方框里，會(huì)有一個(gè)向相機(jī)靠近的2.5cm的偏移。

B廠家LIDAR測(cè)試圖

B廠家比A廠家LIDAR噪聲在環(huán)境光下多50%，在紅外線強(qiáng)照明下多40%。經(jīng)比較A廠家的LIDAR性能更好，看來不同廠家的產(chǎn)品差距還是挺大的。

雙目相機(jī)測(cè)試圖

雙目相機(jī)基線距為7cm，可以看到對(duì)于紋理較少的黃銅、鏡子等的成像噪聲很多，這也證實(shí)了雙目確實(shí)不適合紋理較少的場(chǎng)景。

總結(jié)

人無(wú)完人，當(dāng)然也沒有任何場(chǎng)景都適用的超能三維傳感器，它們都會(huì)有限制條件和極端情況，所以不能直接照搬別人的方案，其他人用了這個(gè)傳感器有不錯(cuò)的效果，不意味著在你的應(yīng)用場(chǎng)景下會(huì)有同樣好的效果，畢竟如人飲水冷暖自知呀。

如何找到你心中的完美3D傳感器呢？那就得知道哪些是和應(yīng)用相關(guān)的重要的性能參數(shù)和非性能參數(shù)，要了解在應(yīng)用中會(huì)出現(xiàn)哪些極端情況，比較這些傳感器在極端情況下工作狀況如何，有時(shí)候可能需要犧牲一兩個(gè)特性參數(shù)去優(yōu)化最重要的那個(gè)參數(shù)。

在此提供一些資源供大家參考：

Carnegie Robotics

https://carnegierobotics.com/evs/

https://carnegierobotics.com/support/

一些公司&產(chǎn)品列表