雙目立體視覺技術是計算機視覺領域重要研究環節,是眾多學者研究的熱點,
廣泛應用於機器人導航、探測車導航、工業測量、車輛預警系統、3D場景繪製與重建、位姿感知、軍事等領域。
自Marr在20世紀70年代首次提出完整的機器視覺系統計算理論框架以來,3D立體視覺引起了大量學者的廣泛關注。
雙目立體視覺模仿人體視覺立體感知過程,獲取空間景物的三維資訊。
工具/原料
雙目視覺平臺
方法/步驟
立體視覺基本原理:
首先,從兩個點或多個點觀察同一物體,獲取不同視角下的二維影象;
然後,根據三角測量原理計算空間點在二維影象的位置偏差;
最後,運用位置偏差進行三維重建。
z=fb/d;
立體視覺匹配基元:
匹配基元是用以進行立體匹配的影象特徵,匹配基元的選擇,要考慮基元的穩定性、敏感性、可行性和能否表示影象。
點:利用影象的區域性特徵資訊作為匹配基元,表示一個畫素,如畫素灰度值,角點,邊緣,卷積等。
塊:區域性區域內所有畫素的灰度、亮度特徵值,對區域內所有畫素進行變化,
如卷積、梯度變換和Censes變換等。
線:一般是畫素灰度資訊發生急劇變化的畫素點集,最能體現邊緣特徵。
檢測邊緣的運算元如Sobel運算元、Canny運算元、Log運算元和Prewitt運算元等。
立體匹配約束準則:
約束準則具有縮小匹配搜尋的範圍,降低誤匹配,同時提高匹配效率的功能。
極線約束:
如圖所示,
三維空間的一個對映點,其匹配點必定在另一影象的極線上,理想情況下,匹配點對位於同一水平線上即座標y值相同。故只需在對應的水平線上搜素匹配點,大大提高了匹配效率。
唯一性約束:
三維空間點至多隻一個影象上的對映點(遮擋則沒有對映點),
匹配時左右影象上只有唯一一個匹配點。
連續性約束:
三維空間中物體表面是光滑的,匹配得到的視差圖大部分情況下是連續且光滑變化的。
一般使用較小的視差梯度降低匹配的搜尋範圍和待匹配點的數量以提高匹配速度。
相似性約束:
三維空間中的物體在不同視角下投影產生的匹配基元(點、塊、線)必須要有相同或相似的屬性。
由於光照等因素的影響,相似性約束具有侷限性。
順序一致性約束:
三維空間中物體上的點的位置資訊在對映到兩幅影象上的位置順序不會改變。
這是不透明物體表面投影的幾何學必然性。
平滑性約束:
假設三維空間中物體表面是平滑的,
則視差圖上除物體邊界位置會有大的視差波動以外,
其他位置上匹配視差的變化很小。
左右一致性約束:
如圖所示,
參考圖上畫素點p點在匹配圖上的點是q,
則參考圖上畫素點q在匹配圖上是p。
如果兩次搜尋的結果不對應,則改點不可靠。
常用於遮擋區域的檢測。
視差範圍約束:
兩臺攝像機之間具有一定的距離,
在沿極線搜尋時,搜尋的範圍應小於一定的閾值。
視差範圍約束限制了搜尋的範圍。
注意事項
距離公式:Z=fb/d
匹配基元:點,線,塊
極線約束:匹配點對位於同一水平線上即座標y值相同
唯一性約束:三維空間點至多隻一個影象上的對映點(遮擋則沒有對映點),匹配時左右影象上只有唯一一個匹配點。