機器視覺三維成像技術簡介（二）

結構光

結構光（Structured Light），利用鐳射二極管（Laser Diode，LD）或數(shù)字光源處理器（Digital Light Processor，DLP）將預先設計的具有特殊結構的圖案（比如離散光斑、條紋光、編碼結構光等）投影在被測物上，使用另一個相機觀察經(jīng)由物體不同高度位置反射回來的圖案變形情況，如果被測物表面是一個平面，則所觀察的結構光圖案與投影類似，沒有變形，只是根據(jù)距離遠近發(fā)生一定的尺度變化。但是如果被測物表面是不平的，有高低差的，則所觀察到的結構光圖案就會隨著被測物的高度變化而發(fā)生不同程度的變形，根據(jù)這些變形就能計算被測物的位置和深度信息。

結構光成像一般分為三步（條紋投影技術為例）：

第1步，條紋產(chǎn)生：通過計算機編程產(chǎn)生正弦條紋，將該正弦條紋通過投影設備投影至被測物，利用 CCD 相機拍攝條紋受物體調(diào)制的彎曲程度，解調(diào)該彎曲條紋得到相位，再將相位轉化為全場的高度。這里使用的是四步移相法， 因此這里產(chǎn)生四幅相位差 pi/2 的條紋。然后將該四幅條紋分時投影到被測物（面具）上，采集到如下圖左邊的圖（當然也是四幅），同時要采集四幅參考面的條紋（未被調(diào)制，同樣四幅）。

第2步，相位恢復：由采集到的四幅受調(diào)制條紋圖計算出被調(diào)制相位，這里得到的相位圖是截斷相位圖，因為四 步移相算法得到的結果是由反正切函數(shù)計算所得，因而被限制在[-pi,pi]之間，也就是說每當其值超過該范圍，其又會重新開始。

第3步，3D 重構：上述二者相減得到相位差，該相位差則表征了被測物相對參考面的高度信息，再代入相位與高度轉化公式（其中相應參數(shù)經(jīng)過標定），得到 3D 結構的圖像，具體的 3D 重構十分依賴算法的支持，具體重構過程需 要的算法也十分復雜。

結構光三維成像技術目前是機器人三維視覺感知的主要方式，結構光成像系統(tǒng)是由若干個投影儀和相機組成，常用的結構形式有：單投影儀-單相機、單投影儀-雙相機、單投影儀-多相機、單相機-雙投影儀和單相機-多投影儀等典型結構形式。

結構光和雙目立體視覺都是基于三角測量原理，要求相機和投影儀之間或雙目視覺中兩個相機之間必須間隔一定的距離，并且存在一定的夾角a（一般>15°）才能實現(xiàn)測量，都存在體積較大，如果被測物表面陡峭或有臺階容易產(chǎn)生遮擋的缺點。

基于結構光和三維物體識別技術開發(fā)的機器人三維視覺引導系統(tǒng)，可對較大深度測量范圍內(nèi)散亂堆放的零件進行全自由的定位和抓取。相比傳統(tǒng)的二維視覺定位方式只能對固定深度零件進行識別且只能獲取零件的部分自由度的位置信息，具有更高的應用柔性和更大的檢測范圍。可為機床上下料、零件分揀、碼垛堆疊等工業(yè)問題提供有效的自動化解決方案。

結構光技術和激光三角有一些類似之處，但系統(tǒng)更加復雜獲取的信息也更豐富，可以生成更多細節(jié)的點云。結構光相機更適合被測物靜止的場景，激光三角相機則更適合被測物運動的狀態(tài)，尤其是傳送帶或傳輸線上。在環(huán)境光復雜或者陽光直射的場景，大功率激光三角相機更具有優(yōu)勢，激光器通過投射一個波長非常窄的光，圖像傳感器可以通過窄帶濾波器濾除環(huán)境光干擾。結構光相機大多使用LED光源，沒有安全風險。激光三角相機則使用激光，對眼睛有潛在的安全風險。對于亞微米應用場景，結構光相機更有優(yōu)勢，激光三角相機由于存在激光散斑而達不到亞微米的精度。結構光相機是全視場一次即可完成三維成像，而不像激光三角相機那樣一次只可以獲取被測物斷面的深度信息。實際應用中，結構光相機是將精確校準的白色或藍色且有特殊結構的光投影到被測物上，常見的結構有平行的線、條紋或者網(wǎng)格。當結構光照射在被測物表面上，光的結構會隨著被測物表面高低及曲率的變化而變化。以條紋形結構光為例，條紋在被測物表面會變厚或變薄，意味著這些地方的采樣點與相機的距離相應地較近或較遠，特殊設計的模式識別和三維重建算法會根據(jù)信息完成三維成像。一些結構光相機的投影儀同時具有RGB相機的作用可以獲取被測物的紋理和色彩信息。

昊艾智能代理的ZIVID結構光相機采用單投影儀單相機的設計，與主動雙目立體視覺相似，但是少了一個相機。通過主動投射結構化光源的形式人為給目標測量物體添加了易于識別的特征點。由于結構預先已知且不是隨機的，特征提取的運算量更低，同時也避免了相關性計算問題。單投影儀單相機的結構光相機和主動雙目立體視覺相機一樣，同樣面臨著塊平均、分辨率和精度的問題。ZIVID結構光相機為了克服這些問題通過引入同時具有時域和空間域編碼的結構光。但是結構光相機和激光三角相機一樣，對于鏡面、深色或吸收率大的物體，依然會產(chǎn)生數(shù)據(jù)丟失和檢測錯誤。下面是ZIVID結構光相機和雙目立體視覺相機所獲取的點云對比：

小米在小米8透明探索版上發(fā)了安卓陣營的3D結構光技術，OPPO隨后在Find X中也用上了3D結構光，Vivo發(fā)了ToF 3D超感應技術，30萬個紅外測量點。ToF有效深度信息量是結構光10倍的由來，除了信息量更高之外，ToF的工作距離也要比結構光更高，使用距離可達3米，達到了后者的三倍。

激光三角

激光三角（Laser Triangulation）測量法是將相機鏡頭和激光成一定的角度，激光光源投射到被測物的表面，生成物體表面的輪廓線，若要獲取被測物的三維圖像，物體和相機必須要發(fā)生相對運動以生成多條物體表面輪廓線，最后相機將這些輪廓線組成一副三維圖像。該方法通過測量一條線的幾何偏移，該線的值與物體的高度有關。它是基于對象掃描的一維成像技術。根據(jù)激光發(fā)射器與被測物的距離，鐳射點會出現(xiàn)在相機視場的不同位置。由鐳射點、相機和激光發(fā)射器形成三角形光路，因此該技術常被稱為三角測量。該技術對結構化或復雜的表面敏感，在被測物過高時一些激光線會因為遮擋而不能反射到相機。

按入射光束與被測物體表面法線的角度關系，激光三角測量法可分為斜射式和直射式兩種。直射式是入射光束與被測物體表面法線的夾角為0。斜射式是入射光束與被測物體表面法線的夾角為a>0。常見的直射式和斜射式布置方式具體如下圖所示：

直射式

斜射式

下面以直射式為例介紹激光三角測量法的原理。

上圖中紅色、綠色和藍色虛線表示不同距離反射光將投射到相機成像面的不同位置，根據(jù)這些位置計算傳感器與被測物表面的距離。垂直距離d的變化將導致相機成像位置d'的變化。可以看出這種技術的測量范圍和精度相互制約。精度越高意味著垂直距離的變化反映在相機成像面上位移變化越小。這樣一來，目標位置的變化范圍必然是有限的。隨著目標深度的增加，很快就會超過相機成像傳感器的物理尺寸。在光學系統(tǒng)的具體設計中，需要根據(jù)測量需求在測量范圍和測量精度上做權衡，以實現(xiàn)佳的效果。

以激光三角測量法為基礎的相機主要由鐳射二極管（Laser Diode，LD）、會聚鏡頭、接收鏡頭、圖像傳感器和一個信號處理單元組成。其光路具體如下圖所示：

• x表示被測物表面相對于初始參考平面的偏移

• x'表示被測物在圖像傳感器上的偏移

• a表示激光束與接收鏡頭光軸的夾角

• β表示接收鏡頭光軸與成像傳感器表面的夾角

• L表示被測物表面與接收鏡頭的距離

• L'表示接收鏡頭與圖像傳感器所成像的距離

則利用相似三角形原理，可得到：

激光三角測量法具有非常高的分辨率和測量精度，其分辨率可擴展到毫米及微米級別，但在實際應用中受相機和激光光源橫向距離的限制，并且測量時間較長，僅適用于較短距離的測量。對于直射式激光三角相機雖然增大相機光軸和激光平面之間的夾角，可以提高 z 軸分辨率，但隨著夾角 θ 的增大，光學遮擋現(xiàn)象也會愈發(fā)明顯尤其是物體表面有凹凸起伏時，這種結構均存在一定的遮擋：激光線照不到的區(qū)域稱為陰影，相機接收不著反射光線的區(qū)域稱為盲區(qū)。

如果被測物體的表面不均勻，則除了光學遮擋外，還有可能出現(xiàn)多重反射。

如下圖，光線1是入射光在物體表面發(fā)生的第1次反射，光線2是入射光在物體表面發(fā)生的第二次反射，這兩條光線在探測器上的成像位置不同。

如下圖，紅色入射光線在物體表面發(fā)生的兩次次反射，這兩次光線在探測器上的成像位置相同。

Zivid 2+ M60

昊艾智能代理的Zivid 2+ M60是高分辨率機器人固定式3D+2D相機，用于對分辨率、準確性和細節(jié)要求高的應用。該款相機是Zivid 3D相機中可以捕獲最清晰、最密集點云的產(chǎn)品，每平方厘米可達5000個點，尺寸準確度大于99.8%，一切物體都可以以其真實形式展現(xiàn)。對于檢測質(zhì)量和精細靈巧的裝配任務，它可以輕松地觀察到每個細節(jié)、特征以及缺陷。僅100毫秒的時間內(nèi)捕捉到最令人驚嘆的點云。

關于昊艾智能

昊艾智能是德國 ZIVID 在中國 3D 視覺領域的專業(yè)代理商。

昊艾智能專注于提供3D機器視覺整體解決方案，助力中國智能制造水平的提升與產(chǎn)業(yè)升級！

目前，我們擁有一批高素質(zhì)的3D機器視覺應用工程師與算法研發(fā)工程師，具有完備的機器視覺項目評估能力與底層核心算法開發(fā)能力。我們的3D機器視覺整體解決方案在動力電池、汽車行業(yè)、消費電子、白色家電、軌交檢測等多個領域成功落地實施，積累了豐富的3D機器視覺項目應用與軟件開發(fā)經(jīng)驗！

昊艾智能主營產(chǎn)品：3D機器視覺整體解決方案，包括結構光3D相機、激光線掃相機、SICK 3D線激光輪廓傳感器、TOF相機，高精度3D測量系統(tǒng)、視覺引導定位系統(tǒng)、無序抓取系統(tǒng)等，可實現(xiàn)平面度、高度差、位置度測量、凹凸缺陷檢測、膠路檢測、視覺引導機器人打磨、視覺引導機器人工件定位裝配、工件無序抓取等功能。