醬學堂 之AR中的光學標定

轉載

雁回晴空

什麼是光學透射式頭盔顯示器

頭盔顯示器，也叫頭戴式顯示器，顧名思義就是一種戴在用戶頭上使用的顯示器。它的主要部件就是一個放置在人眼前面的顯示裝置，此外還有用於將顯示器固定在頭上的固定結構等。頭盔顯示器主要分為兩大類，沉浸式頭盔和透射式頭盔。沉浸式頭盔主要是虛擬現實頭盔，用於構建沉浸式的虛擬現實環境，典型的設備如Oculus Rift、HTC Vive、暴風魔鏡等。透射式頭盔主要用於增強現實，也是我們要重點講到的一類設備，典型的如Hololens、Magic Leap等等。在透射式頭盔中，又分為兩個小類，視頻透射式頭盔和光學透射式頭盔。視頻透射式頭盔顯示器是利用攝像頭捕獲場景的視頻流，並將虛擬的信息疊加到視頻流中，最後把加工後的視頻流逐幀渲染在顯示器上供用戶觀看。這種顯示器就如同手機一樣。而光學透射式頭盔顯示器（有的地方叫「光學透視型頭盔顯示器」，英文為「optical see-through head-mounted display」），有一個半透半反的光學系統，它一方面像普通眼鏡一樣可以透過外部的環境光，使用戶可以看到眼前的真實世界，另一方面可以反射來自微型顯示器的圖像，疊加到人的視野中。

上圖摘自一篇介紹光學透射式頭盔顯示器的論文，大致能表明這類顯示器的基本結構。當然這款是自由曲面稜鏡組成的，還有其他的類型如光波導鏡片等。

之所以要應用光學透射式頭盔顯示器，是因為它可以將虛擬信息直接疊加到真實環境中，給人更加自然的交互體驗，而不需要讓人去看加工後的視頻，如同看電視一般乏味無新意。

理想情況下，佩戴上頭盔顯示器後應該看到如下的效果。

上圖截圖自電影《鋼鐵俠》，主人公可以看到虛擬的物體疊加在空中。我們先不管電影中的效果可以用哪些現實手段實現（全息投影也好，真三維光學全息也罷），我們只考慮如何採用光學透射式增強現實來實現它。

當然唯一不同的是，採用光學透射式頭盔顯示器以後，我們必須佩戴它才能從用戶視角看到這些炫酷的效果。實際看到的可能是下面這樣子的。該圖選自一篇做人機交互的論文。

光學透射式頭盔顯示器的標定原理

（1）所謂標定，到底是標定什麼，怎麼進行？

首先，必須明確幾個用到的坐標系統。世界坐標系使用W表示，跟蹤攝像機（跟蹤攝像機用來建立本系統與外部環境之間的聯繫）坐標系使用C表示，頭盔顯示器的像面是一個2D的平面，採用S表示其平面坐標系，人眼與頭盔顯示器的像面組成一個針孔模型的虛擬攝像機，坐標系使用V表示。如果讀者沒有計算機視覺基礎，可以參考清華大學出版社出版的《計算機視覺：演算法與應用》一書，或者自行百度，也可搜索到相關介紹。針孔模型介紹可參考博文

標定主要是通過一些測量和計算，來確定一些參數。這裡主要標定的是跟蹤攝像機坐標繫到頭盔顯示器屏幕坐標系的映射關係。

假設空間中的任意一點P，在世界坐標系W中的坐標為Pw，在跟蹤攝像機坐標系下的坐標為Pc，通過屏幕看該點，該點在屏幕上的坐標為Ps，則得到兩個等式

其中，Pw，Pc是三維位置的齊次坐標，因此都是四維向量。Ps是二維位置的齊次坐標，因此是三維向量。每一個出現的R都是3*3的旋轉矩陣，每個T都是3*1的平移向量，它是包含3個元素的列向量。K是表示包含人眼的虛擬攝像機的內參數矩陣，是3*3矩陣。令Ps = [u v 1]T，Pc = [xc yc zc 1]T，G=[g11 g12 g13 g14 ; g21 g22 g23 g24 ; g31 g32 g33 g34 ]，則得到

所以我們要標定的就是G。有了G就有了從跟蹤攝像機三維坐標繫到顯示器屏幕二維坐標的映射關係，進而可以在屏幕上對現實中的物體做虛擬信息標註。當然，G可以直接分解成內參數矩陣和旋轉、平移矩陣（平移向量看成是n*1的矩陣），這樣，我們不僅可以進行文字標註，還可以根據虛擬攝像機和跟蹤攝像機之間的空間位置關係，進行三維虛擬物體的疊加。這也就是最後我們看到的在真實世界中疊加一些虛擬的人物、建築等物體的效果了。

（2）軟體怎麼寫？

了解了標定原理之後，你也許就迫不及待地要進行實驗了。

其實要想求解上述的G，還是比較容易的。首先觀察Ps＝G Pc，左邊是三維的，右邊是四維的，很明顯G應當是3*4的矩陣。對於這12個未知數（實際上只有11個獨立的，剩餘一個是尺度縮放因子，在齊次坐標系統中不影響最終結果），可以由至少6組對應點求解得到。因為每組對應點是可以得到兩個獨立的方程的。忘了說了，每組對應點指的是某一個頭部位姿狀態下，P點的跟蹤攝像機坐標Pc和屏幕坐標Ps。

軟體只需要獲取不同的至少6個頭部位姿下的6組對應點即可。在求解時，所有的未知數移動到等式左邊，那麼右邊全是0，直接求解可能得到零解。因此我們對係數矩陣進行奇異值分解。假設取了n組對應點，則只需要把2n*12的矩陣使用matlab的SVD函數進行分解就行了。右奇異矩陣中對應最小特徵值的向量就是要求的解。直接拷貝出來就是要求的G。

具體的程序代碼還需要各位讀者自己寫寫看，只有兩個步驟哦，第一步讀取一系列（不少於6組，建議10組以上）對應點位置坐標，第二步使用matlab的SVD函數進行求解。之後，得到G就能知道任意的三維位置對應的屏幕位置了。這時，你還不能在你想要的位置上疊加想要的虛擬信息嗎？

看看，是不是很簡單。其實很多事情都是看上去複雜難解，實則脈絡清晰，求解容易。當然了，在實現的過程中還有很多小技巧。相信初次接觸的朋友也會遇到很多難題。

AR醬原創，轉載務必註明

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！