本文提綱

• 傳感器參數(shù)及定義
• LIDAR & ToF 相機(jī) & 雙目相機(jī)介紹

1. 工作原理
2. 優(yōu)缺點(diǎn)

• 采樣數(shù)據(jù)比較
• 測試及極端情況測試

三維成像技術(shù)原理和應(yīng)用想必大家在之前的文章中了解過啦，今天想給大家比較一下LIDAR、ToF 相機(jī)以及雙目相機(jī)，并且還有一些直觀的測試數(shù)據(jù)來展示各自的優(yōu)缺點(diǎn)，是騾子是馬拉出來溜溜！

傳感器參數(shù)及定義

如何評判傳感器的好壞呢？這是有統(tǒng)一的標(biāo)準(zhǔn)的，劃分為性能參數(shù)和非性能參數(shù)。下面分別介紹一下。

性能參數(shù)

先說一下性能參數(shù)，這個(gè)大家比較關(guān)心，主要有以下幾個(gè)方面：

• 視場角（Field of view）：傳感器可感知的角度，包括垂直視場角和水平視場角
• 密度（Density） ：在兩個(gè)采樣點(diǎn)之間的角度步長（angular step size）

一般縱向橫向密度有所不同，一般在整個(gè)系統(tǒng)中視場角越大，密度就會越小

• 分辨率（Resolution）：視場角和密度的乘積
• 距離精確度（Depth accuracy）：距離精確度能夠反映測量距離和實(shí)際距離的偏差 （要與分辨率區(qū)分），它是傳感器的一個(gè)重要參數(shù)。分辨率很高的傳感器可以分辨細(xì)節(jié)特征，即使距離有一些偏差。傳感器可以有高的分辨率但距離精確度一般
• 分辨率（Depth resolution）：沿著測量坐標(biāo)軸下的可測量距離

• 最大最小探測距離（Minimum and maximum range）：傳感器的可感知距離

與材料、環(huán)境光亮度、反射率有關(guān)

• 幀率（Frame Rate）：每秒的幀數(shù)

反映獲取數(shù)據(jù)的速度

非性能參數(shù)

不要小看非性能參數(shù)，它也會限制在實(shí)際中的應(yīng)用。

• 尺寸 重量 功率

• 成本

• 封裝

使傳感器隔絕外界灰塵，防水濺以及水浸入

• 通信接口

一般有以太網(wǎng)、USB、法爾接口、CAN總線、串口

物理接口一般使用以太網(wǎng)

• 同步

硬件、軟件（廣播觸發(fā)、網(wǎng)路定時(shí)）、無同步

• 軟件接口

• 還有一些其他的參數(shù) 例如溫度、健康報(bào)告、慣性測量單元、通用輸入輸出等

終端使用對權(quán)重的影響

在不同的應(yīng)用場景下我們要知道什么是最重要的參數(shù)，例如室內(nèi)地面機(jī)器人需要檢測障礙物，避免碰撞，這時(shí)垂直視場角最重要。下面表格中展示了一些應(yīng)用場景下重要的參數(shù)，橘色是重要的，黃色是相對重要的。

舉幾個(gè)例子：

地圖測繪—可測量最大距離

強(qiáng)調(diào)安全性的系統(tǒng)—幀率，因?yàn)樾枰皶r(shí)獲取三維數(shù)據(jù)進(jìn)行判斷

UAV（Unmanned Aerial Vehicle）—重量

UGV（Unmanned Ground Vehicle）—垂直視場角、最小探測距離

LIDAR

原理

LIDAR工作原理是發(fā)射激光到物體表面，然后接收物體的反射光信號，比較與初始激光的不同從而計(jì)算出距離。單束LIDAR利用旋轉(zhuǎn)鏡等機(jī)械部件可在兩個(gè)方向上機(jī)械轉(zhuǎn)向掃描。如下圖所示

也有無掃描部件的固態(tài)LIDAR的研究，但目前還不能商業(yè)化，現(xiàn)在主要是用單點(diǎn)或者機(jī)械掃描小數(shù)目的點(diǎn)。

優(yōu)點(diǎn)有：

• 探測距離遠(yuǎn)，探測范圍在10m到2km之間，距離主要取決于激光的能量和脈沖持續(xù)時(shí)間
• 有固定的誤差模型，誤差在厘米級別
• 水平視場角通常很寬，是因?yàn)橛行D(zhuǎn)鏡或者可旋轉(zhuǎn)的發(fā)射器和探測器Velodyne公司的LIDAR（左圖）水平視場角是363°，但垂直視場角很小，Carnegie Robotics SL（右圖）有270度球面視場角
• 垂直視場角可以很大，這取決于機(jī)械部件和激光光束的安置

缺點(diǎn)有：

• 成本高，目前低成本的LIDAR仍未出現(xiàn)，目前LIDAR發(fā)展趨勢是低成本、小型化、固態(tài)化
• 密度非對稱且掃描到的點(diǎn)數(shù)有限
• 發(fā)射光束受環(huán)境干擾，相對被動(dòng)成像技術(shù)來說更易受雨雪天氣影響
• 有移動(dòng)部件，含有不平整的窗口，給封裝帶來困難
• 掃描耗時(shí)，無法即刻獲取數(shù)據(jù)，且需要后期處理來補(bǔ)償機(jī)械部件導(dǎo)致的運(yùn)動(dòng)模糊誤差

ToF相機(jī)

ToF相機(jī)采用的是連續(xù)波調(diào)制，比較物體返回信號和發(fā)射信號的相位差可得距離信息，可實(shí)現(xiàn)像素級別測量。

zamb是最大可測量距離，根據(jù)公式可知小的頻率有更大探測距離。如下圖所示

一般來說光探測器分辨率較低，測量距離有限，可增大光的發(fā)射功率來增大發(fā)射距離，

一般常用正弦波信號，但是正弦波相位每隔2π就會重復(fù)，這意味著接收信號有重疊，影響測量準(zhǔn)確性，

所以可以采用多個(gè)調(diào)制頻率，真實(shí)距離就是多個(gè)調(diào)制頻率共同測到的值，但這會導(dǎo)致追蹤反射信號時(shí)間變長，從而增加了信噪比，并且在相機(jī)或物體運(yùn)動(dòng)的情況下造成運(yùn)動(dòng)漂移。

當(dāng)然ToF相機(jī)也有很多優(yōu)點(diǎn)：

• 場景紋理豐富與否不影響測量
• 具有即時(shí)的垂直水平視場角
• 距離誤差是線性的
• 對于運(yùn)動(dòng)的障礙物產(chǎn)生的陰影較窄
• 無移動(dòng)部件

缺點(diǎn)有：

• 相比于雙目分辨率更低，
• 積分時(shí)間長會增加信噪比，若相機(jī)或被測物體運(yùn)動(dòng)則產(chǎn)生運(yùn)動(dòng)模糊
• 受多路徑光線返回的影響深度數(shù)據(jù)畸變
• 環(huán)境光過強(qiáng)影響反射信號的探測
• 視場角一般小于60度
• 輸出的是點(diǎn)云數(shù)據(jù)并非圖像

雙目立體視覺相機(jī)

雙目原理與ToF完全不同，雙目成像類似于人的雙眼，通過左右相機(jī)的拍攝圖像的差異（視差）來確定距離，這種差異與物體的遠(yuǎn)近距離成反比，就像你會覺得距離近的物體會移動(dòng)的更多，無限遠(yuǎn)的物體幾乎不動(dòng)一樣。

提前標(biāo)定可以得到畸變參數(shù)和相機(jī)基線距離、焦距等參數(shù)，那么我們就可以利用視差來計(jì)算出物體的距離，這就是對應(yīng)點(diǎn)匹配。因此對應(yīng)點(diǎn)匹配的準(zhǔn)確度是深度信息準(zhǔn)確度的關(guān)鍵。

目前有許多方案來解決對應(yīng)點(diǎn)匹配問題，比較新的方法是神經(jīng)網(wǎng)絡(luò)，但它還不是一種非常穩(wěn)健高效的方案。

另一個(gè)需要強(qiáng)調(diào)的是相機(jī)有視差搜索范圍（disparity search range），如果不指定視差搜索范圍，許多算法的性能會下降。大的視差搜索范圍意味著相機(jī)能夠看清更近的物體，但是計(jì)算量增大，將使得相機(jī)幀率下降。

與其他相機(jī)相比，雙目優(yōu)點(diǎn)有：

• 無移動(dòng)部件，僅由兩張二維照片獲得深度信息，分辨率和采樣密度沒有限制，如果想增加分辨率，雖然會使得算法計(jì)算量增加，校正過程也變得繁瑣，但并不存在物理性限制
• 可以很靈活的選擇視場角和基線，垂直視場角可以很大，調(diào)節(jié)范圍在10到230度
• RGB圖像信息與深度信息同時(shí)可以從雙目相機(jī)中獲得，而配有RGB攝像頭的ToF相機(jī)還需要兩種數(shù)據(jù)的融合。

但是，雙目也存在一些缺點(diǎn)：

• 雙目的準(zhǔn)確性受表面紋理影響，成像非常依賴物體表面的紋理，所以雙目適用于紋理豐富的場景，或者采用主動(dòng)成像的方法——用帶有圖案的結(jié)構(gòu)光投影，通過反射回來的變形圖案來來解決對應(yīng)點(diǎn)匹配的問題。雙目相機(jī)在測繪和安保領(lǐng)域有重要作用，因?yàn)樵谶@些工作場景紋理信息很豐富。
• 兩個(gè)相機(jī)視野中的障礙物有所不同，因此會產(chǎn)生重影
• 由于雙目基于三角法原理，因此隨著距離的增加，誤差是非線性的，這比LIDAR的線性誤差還要糟糕，需要在后期算法處理中進(jìn)行建模補(bǔ)償從而提高準(zhǔn)確性，不過這也和雙目相機(jī)沒有探測的最大距離限制有關(guān)

三維采樣數(shù)據(jù)比較

該數(shù)據(jù)來自來自the DARPA Robotics Challenge

在機(jī)器人走樓梯的場景下，分別利用DARPA的掃描型LIDAR和MIT SL雙目傳感器的三維數(shù)據(jù)進(jìn)行機(jī)器人的足跡規(guī)劃來爬樓梯。在視頻正常播放速度下，SL能夠讓機(jī)器人移動(dòng)的很快，并且沒有碰到障礙物，但是掃描型LIDAR必須要隨時(shí)間加速數(shù)據(jù)，但視場角很寬廣，能夠看到整個(gè)場景，而SL只能看到一部分。

接下來是在人靠近棋盤并拿起棋子的場景下，對LIDAR、ToF相機(jī)、雙目相機(jī)進(jìn)行測試。

LIDAR

視場角較寬；但捕捉并且確認(rèn)人類困難；水平和垂直方向的密度不均勻；

返回像素混疊（mixed-pixel returns），LIDAR接收到桌子部分返回的信號和地板返回的信號但無法分辨它們，于是給出了一個(gè)錯(cuò)誤的中間值

可以看到這個(gè)數(shù)據(jù)實(shí)時(shí)性更好，但點(diǎn)云稀疏。LIDAR掃描速率越快，實(shí)時(shí)性就會好，但數(shù)據(jù)點(diǎn)會比較稀疏，反之想要得到細(xì)節(jié)更豐富的場景掃描速率就會慢。

總而言之，得益于它的測量距離長并且視場角寬廣，LIDAR適用于汽車、飛機(jī)等高速交通工具和需要高轉(zhuǎn)向速率的系統(tǒng)。

ToF相機(jī)

低成本相機(jī)：

低分辨率、低幀率；視場角窄；棋子不可見；

手電筒效應(yīng)，采用紅外線發(fā)射器，可以看到照亮了近距離的物體，但背景非常暗；

二分之一的地板消失；存在mid-air returns

工業(yè)相機(jī)：

高分辨率、高幀率；近距離物體失真；有物體遮擋的墻面彎曲；

由于多路徑信號返回導(dǎo)致地板失真；混合像素返回（mixed-pixel returns）

總體來看，ToF相機(jī)適合室內(nèi)環(huán)境的使用，例如對近距離物體的掃描和手勢識別。

雙目相機(jī)

視場角寬，高幀率；數(shù)據(jù)密度高，可看清棋盤上的棋子；能輸出與場景匹配的顏色圖像；

由于鏡面反射導(dǎo)致出現(xiàn)地面以下的數(shù)據(jù)點(diǎn)；棋子在墻上有影子導(dǎo)致墻面部分圖像失真

總的來說，雙目相機(jī)適用于環(huán)境光充足的戶外環(huán)境，或者用于不能夠主動(dòng)投射光的軍事應(yīng)用。

3D傳感器測試

對于ToF和雙目傳感器來說，它們小巧便攜，且成本低廉，在室內(nèi)環(huán)境里優(yōu)勢格外突出。

接下來我們會定量地測試這些傳感器性能表現(xiàn)，比較它們的不同，并展示一些極端情況下的性能結(jié)果。

ToF&雙目室內(nèi)場景比較

這個(gè)場景是室內(nèi)的玄關(guān)，可以看到地面和墻面較低的部分，還包括一些地面上的物品，如滅火器和急救箱。

兩個(gè)相機(jī)拍攝的圖是俯視方向，來自同一角度。

雙目視場角比較寬，對距離稍微遠(yuǎn)一些的墻面和地面上的物品也可以看到，細(xì)節(jié)和距離遠(yuǎn)遠(yuǎn)超過ToF相機(jī)，但是墻面有缺失，且墻面上的紋理沒有還原出來。

ToF相機(jī)能夠接收到比較強(qiáng)的近距離反射信號，所以對近距離的墻面還原度很好，但是遠(yuǎn)距離信號弱，在加上噪聲的影響導(dǎo)致無法識別。

這兩幅圖拍攝方向都是在探測器之上，并向下傾斜一些。

我們可以看到，雙目水平垂直視場角都很寬闊，無論近距離遠(yuǎn)距離物體都能探測到，對場景細(xì)節(jié)的重現(xiàn)很豐富。

而ToF相機(jī)在對沒有紋理的墻壁更能準(zhǔn)確成像，但對遠(yuǎn)距離的場景無法成像。

極端情況測試

在少數(shù)特殊情況下，傳感器性能可能會出現(xiàn)下降，例如在駕駛這樣的安全性要求極高場景下，即使是小概率極端情況也會造成嚴(yán)重的后果，因此我們也要關(guān)注這些情況下的性能。

這個(gè)場景里有瓷磚地板、玻璃等特殊材質(zhì)，ToF相機(jī)接收到的可能是多次折射后的光線，會有散射畸變，因此圖里會出現(xiàn)墻壁彎曲和地板凹陷。

在50m的隧道里釋放煙霧，用3D激光器和雙目相機(jī)進(jìn)行測試，右圖是激光器和雙目的彩色點(diǎn)云數(shù)據(jù)俯視圖，雙目相機(jī)成像類似人眼，因此在煙霧中準(zhǔn)確性會下降，但仍然能夠分辨出物體。而激光在煙霧中傳播距離大大降低，性能急劇下降。

雙目采用的二維RGB相機(jī)會有過曝光現(xiàn)象，當(dāng)強(qiáng)光直接射進(jìn)鏡頭導(dǎo)致反射和散射，出現(xiàn)光暈，從而丟失一些數(shù)據(jù)，但不會影響其他區(qū)域數(shù)據(jù)的采集的準(zhǔn)確性。

不同的材料測試

室內(nèi)環(huán)境中物品雜亂，那這些不同材質(zhì)的物品會對性能有影響嗎？so我們采集36個(gè)室內(nèi)環(huán)境常見的材料對LIDAR、ToF相機(jī)、雙目相機(jī)分別在環(huán)境光和鹵素紅外線強(qiáng)照明兩種條件下進(jìn)行測試。

A廠家LIDAR測試圖

LIDAR對于環(huán)境光照明和紅外線照明具有相似的性能表現(xiàn)，但LIDAR存在一個(gè)奇怪的現(xiàn)象，如圖中藍(lán)色方框里，會有一個(gè)向相機(jī)靠近的2.5cm的偏移。

B廠家LIDAR測試圖

B廠家比A廠家LIDAR噪聲在環(huán)境光下多50%，在紅外線強(qiáng)照明下多40%。經(jīng)比較A廠家的LIDAR性能更好，看來不同廠家的產(chǎn)品差距還是挺大的。

雙目相機(jī)測試圖

雙目相機(jī)基線距為7cm，可以看到對于紋理較少的黃銅、鏡子等的成像噪聲很多，這也證實(shí)了雙目確實(shí)不適合紋理較少的場景。

總結(jié)

人無完人，當(dāng)然也沒有任何場景都適用的超能三維傳感器，它們都會有限制條件和極端情況，所以不能直接照搬別人的方案，其他人用了這個(gè)傳感器有不錯(cuò)的效果，不意味著在你的應(yīng)用場景下會有同樣好的效果，畢竟如人飲水冷暖自知呀。

如何找到你心中的完美3D傳感器呢？那就得知道哪些是和應(yīng)用相關(guān)的重要的性能參數(shù)和非性能參數(shù)，要了解在應(yīng)用中會出現(xiàn)哪些極端情況，比較這些傳感器在極端情況下工作狀況如何，有時(shí)候可能需要犧牲一兩個(gè)特性參數(shù)去優(yōu)化最重要的那個(gè)參數(shù)。

在此提供一些資源供大家參考：

Carnegie Robotics

https://carnegierobotics.com/evs/

https://carnegierobotics.com/support/

一些公司&產(chǎn)品列表