侵權(quán)投訴
訂閱
糾錯(cuò)
加入自媒體

自動(dòng)駕駛相機(jī)-激光雷達(dá)深度融合綜述及展望

本文是加拿大滑鐵盧大學(xué)CogDrive實(shí)驗(yàn)室對(duì)當(dāng)前最新的基于深度學(xué)習(xí)的相機(jī)-激光雷達(dá)融合(camera-LiDAR Fusion)方法的綜述。

本篇綜述評(píng)價(jià)了基于相機(jī)-激光雷達(dá)融合的深度補(bǔ)全,對(duì)象檢測(cè),語(yǔ)義分割和跟蹤方向的最新論文,并根據(jù)其融合層級(jí)進(jìn)行組織敘述并對(duì)比。最后討論了當(dāng)前學(xué)術(shù)研究與實(shí)際應(yīng)用之間的差距和被忽視的問題。基于這些觀察,我們提出了自己的見解及可能的研究方向。

01.背景

基于單目視覺的感知系統(tǒng)以低成本實(shí)現(xiàn)了令人滿意的性能,但卻無法提供可靠的3D幾何信息。雙目相機(jī)可以提供3D幾何信息,但計(jì)算成本高,且無法在高遮擋和無紋理的環(huán)境中可靠的工作。此外,基于視覺的感知系統(tǒng)在光照條件復(fù)雜的情況下魯棒性較低,這限制了其全天候能力。而激光雷達(dá)不受光照條件影響,且能提供高精度的3D幾何信息。但其分辨率和刷新率低,且成本高昂。

相機(jī)-激光雷達(dá)融合感知,就是為了提高性能與可靠性并降低成本。但這并非易事,首先,相機(jī)通過將真實(shí)世界投影到相機(jī)平面來記錄信息,而點(diǎn)云則將幾何信息以原始坐標(biāo)的形式存儲(chǔ)。此外,就數(shù)據(jù)結(jié)構(gòu)和類型而言,點(diǎn)云是不規(guī)則,無序和連續(xù)的,而圖像是規(guī)則,有序和離散的。這導(dǎo)致了圖像和點(diǎn)云處理算法方面的巨大差異。在圖1中,我們比較了點(diǎn)云和圖像的特性。

圖1.點(diǎn)與數(shù)據(jù)和圖像數(shù)據(jù)的比較

圖2. 論文總體結(jié)

02.趨勢(shì),挑戰(zhàn)和未來研究方向

無人駕駛汽車中的感知模塊負(fù)責(zé)獲取和理解其周圍的場(chǎng)景,其輸出直接影響著下游模塊(例如規(guī)劃,決策和定位)。因此,感知的性能和可靠性是整個(gè)無人駕駛系統(tǒng)的關(guān)鍵。通過攝像頭-激光雷達(dá)融合感知來加強(qiáng)其性能和可靠性,改善無人駕駛車輛在復(fù)雜的場(chǎng)景下的感知(例如城市道路,極端天氣情況等)。因此在本節(jié)中,我們總結(jié)總體趨勢(shì),并討論這方面的挑戰(zhàn)和潛在影響因素。如表IV所示,我們將討論如何改善融合方法的性能和魯棒性,以及與工程實(shí)踐相關(guān)的其他重要課題。如下是我們總結(jié)的圖像和點(diǎn)云融合的趨勢(shì):

2D到3D:隨著3D特征提取方法的發(fā)展,在3D空間中定位,跟蹤和分割對(duì)象已成為研究的熱點(diǎn)。

單任務(wù)到多任務(wù):一些近期的研究[64] [80]結(jié)合了多個(gè)互補(bǔ)任務(wù),例如對(duì)象檢測(cè),語(yǔ)義分割和深度完成,以實(shí)現(xiàn)更好的整體性能并降低計(jì)算成本。
信號(hào)級(jí)到多級(jí)融合:早期的研究經(jīng)常利用信號(hào)級(jí)融合,將3D幾何圖形轉(zhuǎn)換到圖像平面以利用現(xiàn)成的圖像處理模型,而最近的模型則嘗試在多級(jí)融合圖像和點(diǎn)云(例如早期融合,晚期融合)并利用時(shí)間上下文。

表I. 當(dāng)前的挑戰(zhàn)

A.與性能相關(guān)的開放研究問題

1)融合數(shù)據(jù)的(Feature/Signal Representation)特征/信號(hào)表示形式:

融合數(shù)據(jù)的Feature/Signal Representation是設(shè)計(jì)任何數(shù)據(jù)融合算法的基礎(chǔ)。當(dāng)前的特征/信號(hào)表示形式包括:

a) 在RGB圖像上的附加深度信息通道(RGB-D)。此方法由于可以通過現(xiàn)成的圖像處理模型進(jìn)行處理,因此早期的信號(hào)級(jí)融合常使用這種表達(dá)形式。但是,其結(jié)果也限制于2D圖像平面,這使其不適用于自動(dòng)駕駛。

b) 在點(diǎn)云上的附加RGB通道。此方法可以通過將點(diǎn)投影到像平面進(jìn)行像素點(diǎn)關(guān)聯(lián)來實(shí)現(xiàn)。但是,高分辨率圖像和低分辨率點(diǎn)云之間的分辨率不匹配會(huì)影響此方式的效率。

c) 將圖像和點(diǎn)云特征/信號(hào)均轉(zhuǎn)換為(intermediate data representation)其他的數(shù)據(jù)表示形式。當(dāng)前的intermediate data representation包括:(voxelized point cloud)體素化點(diǎn)云[75],(lattice)晶格[88]。未來的研究可以探索其他新穎的中間數(shù)據(jù)結(jié)構(gòu),例如(graph)圖,(tree)樹等,從而提高性能。

2)(Encoding Geometric Constraint)加入幾何約束:

與其他三維數(shù)據(jù)源(如來自立體相機(jī)或結(jié)構(gòu)光的RGBD數(shù)據(jù))相比,LiDAR有更長(zhǎng)的有效探測(cè)范圍和更高的精度,可提供詳細(xì)而準(zhǔn)確的3D幾何形狀。幾何約束已成為圖像和點(diǎn)云融合流程中的常識(shí),其提供了額外的信息來引導(dǎo)深度學(xué)習(xí)網(wǎng)絡(luò)實(shí)現(xiàn)更好的性能。將點(diǎn)云以RGBD圖像的形式投影到圖像平面似乎是最自然的解決方法,但是點(diǎn)云的稀疏性會(huì)產(chǎn)生空洞。深度補(bǔ)全和點(diǎn)云上采樣可以在某種程度上解決該問題。除此之外利用單眼圖像預(yù)測(cè)深度信息以及在連續(xù)幀之間引入自我監(jiān)督學(xué)習(xí),也有望緩解這個(gè)問題。但是,如何將這種幾何信息加入到融合流程中仍是當(dāng)前研究實(shí)踐中尚需解決的問題。

3)(Encoding Temporal Context)加入時(shí)間上下文:

還有一些工程問題阻礙了無人駕駛汽車的實(shí)際部署,例如LiDAR與攝像頭之間的時(shí)間不同步,LiDAR的低刷新率導(dǎo)致車速高時(shí)的點(diǎn)云變形,LiDAR傳感器測(cè)距誤差。這些問題將導(dǎo)致圖像與點(diǎn)云,點(diǎn)云與實(shí)際環(huán)境之間的不匹配。根據(jù)深度補(bǔ)全方面的經(jīng)驗(yàn),可以采用連續(xù)幀之間的時(shí)間上下文來改善姿態(tài)估計(jì),從而改善特征融合的性能并使得下游的的header網(wǎng)絡(luò)受益。在自動(dòng)駕駛中,準(zhǔn)確估算周圍車輛的運(yùn)動(dòng)狀態(tài)至關(guān)重要,時(shí)間上下文有助于獲得更平滑,更穩(wěn)定的結(jié)果。此外,時(shí)間上下文可能有益于在線自校準(zhǔn)。因此,應(yīng)對(duì)加入時(shí)間上下文進(jìn)行更多的研究。 

1  2  下一頁(yè)>  
聲明: 本文由入駐維科號(hào)的作者撰寫,觀點(diǎn)僅代表作者本人,不代表OFweek立場(chǎng)。如有侵權(quán)或其他問題,請(qǐng)聯(lián)系舉報(bào)。

發(fā)表評(píng)論

0條評(píng)論,0人參與

請(qǐng)輸入評(píng)論內(nèi)容...

請(qǐng)輸入評(píng)論/評(píng)論長(zhǎng)度6~500個(gè)字

您提交的評(píng)論過于頻繁,請(qǐng)輸入驗(yàn)證碼繼續(xù)

  • 看不清,點(diǎn)擊換一張  刷新

暫無評(píng)論

暫無評(píng)論

    文章糾錯(cuò)
    x
    *文字標(biāo)題:
    *糾錯(cuò)內(nèi)容:
    聯(lián)系郵箱:
    *驗(yàn) 證 碼:

    粵公網(wǎng)安備 44030502002758號(hào)