車載眼球追蹤微講座精彩呈現 | Plug and Play移動出行獨角獸加速計劃

原標題：車載眼球追蹤微講座精彩呈現 | Plug and Play移動出行獨角獸加速計劃

主題

車載眼球追蹤

時間

2018.08.28

講師

趙海傑

七鑫易維產品經理

負責公司車載眼球追蹤項目，從需求溝通、方案設計、到項目執行、交付驗收。

從中科院自動化所到七鑫易維一直從事人工智慧領域的工作，具備豐富的行業經驗。

本期微講座演講摘要：

傳統眼球追蹤原理

眼球追蹤的傳統方式，或者說現在常用的一種方式就是有一個相機，兩組紅外燈源向瞳孔角膜區域照射，每一個紅外燈源會在瞳孔角膜區打成一個光斑，這樣形成的正常的眼圖是有瞳孔和兩個紅外燈源形成的光斑，一般來說通過計算光斑中心跟瞳孔中心的相對位置關係可以計算出眼球相對轉動的一些方向，以達到視線估計的目的。

傳統的或者說現在已經常用的眼球追蹤，一般使用前是需要校準的，因為基於人生理上的眼軸跟光軸是有區別的，每個人不一樣，所以有的人可能看起來斜視，這就屬於眼軸跟光軸的夾角，即卡帕角比較大的情況，正常人都會有一點這個角度，但是一般肉眼看不出來。所以傳統眼球追蹤一般需要校準，硬體又比較複雜，戴美瞳或者眼鏡的時候，不同光線情況影響較大。傳統價格比較貴，一般科研高校用的都是十萬多、幾十萬一套起，消費級的還沒有很好的落地，這是傳統眼球追蹤的一些問題。

上圖所示就是基於前文所述原理的一款最簡單的眼動儀，方法就是現在常用的瞳孔角膜反射法，這種演算法方法又稱為「雙普金野法」。

眼球追蹤行業情況介紹（以行業內的一些公司為例）

Eyefluence（美國），一家做眼球追蹤的初創公司，2013年成立，因為他們在VR、AR方面有自己的解決方案，在2016年被Google收購。

EyeTribe（丹麥），這家公司相對比Eyefluence成立的時間早一點，他們也有比較深的眼球追蹤的技術經驗，在2017年1月份被Facebook下面的Oculus，一家做VR設備的公司收購，把他們的技術計劃用於OculusVR產品上。

SMI（德國），他們的技術應用目前來說比較廣泛，去年6月份被蘋果收購。iPhone X這款手機上有一個注視解鎖的功能，用的就是眼球追蹤的技術，很大可能使用的就是SMI的技術，蘋果應該也就是因為這個原因收購當時的SMI。SMI算是眼球追蹤技術做的最久的一家公司，他們的技術積累也比較有經驗，技術相對來說在行業內比較成熟。

Tobii（瑞典），和SMI 是在國內、國際上比較知名的兩家公司。Tobii創立於2011年，目前已經上市。他們主要把產品用在輔具，自閉症這方面，還有在高校研究，社會商業研究方面，第二個是飛行眼鏡，第三個就是在遊戲、PC、消費電子這塊，有一個連接Windows就可以即插即用的一個眼動設備。

七鑫易維（北京），也是本期講師趙海傑供職的公司。目前在國際上，大家認為是一線的眼球追蹤公司大致是以上幾家。七鑫易維成立於09年，目前來說在國內做得還不錯，在國際上也能拿得出手。他們在16年首發了VR的一款眼球追蹤配件，也就是稱為HTCVive，HTC Vive算是VR圈內體驗最好的一款VR設備，並成為官方配件。另外在高校分析眼動儀、醫療輔具、AR（已經為AR Hololens做出眼球追蹤配件）方面已有產品，也包括幾個節能眼動儀。

另外還有三家是目前在國內外大家覺得在某些方面做的還不錯的公司。日本的FOVE，很早就把眼球追蹤集成到VR設備里，是屬於集成式的，前述的七鑫易維做的是屬於配件，適用於HTCVive，而FOVE是自己做頭盔，又把眼球追蹤集成進去。韓國的VisualCamp，是給三星VR設備做眼球追蹤技術的，在這方面也很不錯。還有國內的青研，他們的產品主要用於高校研究，在高校眼動分析、戒毒康復等做的很不錯。

眼球追蹤的主要應用方向

1，VR、AR、MR

現在有很多的VR設備都在做眼球追蹤，用眼球追蹤實現一些基本操作。因為在VR內用手柄等也可以，但是畢竟不像用手機觸碰那麼方便，有些交互用眼動來說是比較好的，所以在此方面眼球追蹤算是一個小剛需。沒有眼球追蹤用手柄也能實現，但是用眼球追蹤會感覺更自然、更舒服，沉浸感更強。

眼球追蹤在VR、AR、MR主要的價值點，首先叫注視點渲染，注視點渲染能降低VR對GPU、顯卡這種顯示資源的要求，它能把硬體GPU的成本降下來，它的原理是基於人生理上注視物體小局部而周圍其實不是很關注的，通過眼球轉動去掃視全貌，在VR的場景去基於人注視的位置，把它的核心重要凹區域進行渲染清洗，周圍相對渲染，這個是注視點渲染的基本原理，把GPU資源降下來。另外還有眼動交互，屬於人機交互的一種；眼動分析，能分析VR場景下的用戶的喜好。

2，眼動分析

眼動分析就是分析用戶行為背後潛藏的一些想法，比如可以分析智力情況、一些潛在的眼疾，還可以分析源於內心的但是不表現出來的一些喜好。目前網頁都是通過用戶行為進行分析，如果結合一些眼動分析的話，可以去分析一些設計好不好。可能有一些設計圖片，A和B，根本表達不出來A好還是B好，但是通過眼動分析的一些數據，比如說停留時長，瀏覽次數等指標，就可以分析出來，你不覺得哪好，但是我們能通過這些量化指標證明出來你認為哪個是好的。

3，醫療輔具

在醫療輔具方面的應用是行業內應用比較早的。大家都知道霍金，像霍金這樣的漸凍朋友他們渾身上下真的是不能動的，只能動眼睛，用眼睛去交流，他想說話或者卡到痰，或者想吃飯，或者一些心情怎麼表達出來，真的只能通過用眼睛去控制機器，所以行業內較早的落地應用就是醫療輔具這塊。但是近兩年，這些市場畢竟並不是很大，已經相對飽和，大家都在拓展其他領域。

4，消費電子

正如前文所述，大家可能對眼球追蹤用的最多的就是iPhone XSMI這樣注視感知的技術，像鎚子，堅果TNT這樣的設備，用的就是七鑫易維眼球追蹤，把它跟手勢、語音及其他的交互方式集中起來，提高人機交互效率。不僅僅包括注視感知、注視解鎖，還有一些眼控交互，實際上大家會感覺更舒服一些。

5，智能駕駛

智能駕駛是去年年末到今年是興起的一個應用場景，之前大家都屬於了解，從去年到今年大家非常感興趣，車企這個行業一直聯繫七鑫易維想做一些落地的應用點，後文會具體介紹。

6，智能家居

智能家居相對於其他方面可能落地的要晚一點，之前確實有一家國內比較大的通訊行業供應商做過一款機頂盒產品，跟我們聯繫想做一個注視開關的一款產品。智能家居有很多應用空間，但是這個落地其實要比其他的還要慢一點。

車載眼球追蹤方案

車載眼球追蹤的方案應用主要是兩方面，第一方面是交互類，包括HUD、顯示屏、AR，還有裸眼3D等等的一些行為。第二類是駕駛員行為監測方面。

首先是疲勞駕駛，現在用人眼關鍵點去做疲勞檢測，技術方案相對比眼球追蹤這個落地更早，但是它只能是在人閉眼或者已經進入疲勞有一段時間了，即很明顯用眼都可見疲勞的情況下才能發現疲勞。通過眼球追蹤做這樣的疲勞檢測，它能在較早，在開車已經發獃，或者有點睏倦，但是眼睛還是睜著的時候，通過判斷你的注視點的軌跡，停留時長，位置等參數，也會用到眼跳，眼跳相對要求相機幀數高，可以分析更細緻，這樣就能較早發現疲勞的一些情況。在疲勞檢測的精細度上，相比人臉識別，或者人臉關鍵點這樣的方式要精細一點，但是它要求也高，它落地不像人臉關鍵點那樣快，因為人臉關鍵點對相機和環境的要求比眼球追蹤要小，行業內大家都認為落地快。但是長遠來看眼球追蹤做疲勞檢測可能會是與人臉關鍵點結合，或者說是在那之後進一步能把疲勞檢測提升到一個高度的一種技術方式。

第二個在駕駛員行為監測方面，因為眼球追蹤可以判斷駕駛員的注視方向，注視位置等等一些條件，所以對他的行為也可以進行一個監測。

另外還有活體檢測，活體虹膜解鎖車輛，這個其實是結合人臉識別進行身份認證，因為現在人臉識別、虹膜識別做身份認證活體檢測這塊，一般會採取一個過程量，比如讓你張張嘴、眨眨眼去判斷你是活體，即防偽、防假體。用眼球追蹤，可以向蘋果iPhoneX那樣，用注視感知，眼球不像人正常那種轉動肯定就是假體，轉動的話就會對你進行活體檢測，還有人生理會自主關注一些事物，可以在UI層做一些交互，讓肉眼不去組織關注，這樣進行一些活體檢測。

車載眼球追蹤遇到的問題

眼球追蹤其實在人機交互層面並不算是極剛需求，它是屬於偏期望或者興奮性需求，由於車企行業競爭大，大家都想找一些爆點、亮點去吸引消費者的目光，眼球追蹤自然而然就得到了關注。所以我們現在跟不管是車企、車企之間的生產商，或是車企的一些服務商、中間商，還有一些像做HUD的其他的行業朋友，一起去談車載眼球追蹤落地的時候總是會遇到這些問題。眼球追蹤也是人工智慧行業的一種，現在人工智慧的應用，包括人臉識別，都是有邊界的，有些事能做，有些事不能做。

第一個問題：複雜光照。因為現在傳統或者普通的眼球追蹤應用場景都是室內，室內的光照一般是小於660Lux或者小於1000Lux，因為用的是紅外燈源打到眼球上的技術方案，所以用紅外燈源的話，室內的可見光對光斑影響較小，但是在太陽光環境下，太陽紅外光這種光強度、波長範圍很廣很複雜，再加上車上各種燈、光，反射折射的光，對於眼球光斑和光斑中心的提取影響很嚴重。而且像車上這樣的消費的場景，人們並不是說像在室內可能就看一個電腦顯示屏，頭不會動很大的範圍。但是在開車過程中，人可能要左顧右盼，要看前面顯示很大的一片區域，像一些車企提到，要控制前面三塊屏，並不是只有一塊儀錶盤、中控屏，副駕駛也有屏，也要求能控制。這個大範圍頭動，一方面受硬體的影響，因為採集不到眼圖，相機對FoV（Fieldof View）要支持的，另外一方面對演算法的要求也很大。第三個就是顛簸，當相機震顫，其實就是車輛顛簸達到一定頻率的時候海圖是花的，就很難清楚知道光斑中心在哪，圖像不清晰找不到光斑中心和瞳孔中心，所以車輛顛簸的各種路況也是我們的困難之一。

第二個問題：誤操作。因為眼球追蹤在車上大家的要求很高，在同一個位置延遲3秒幾乎是不可能的，司機不可能把3秒的時間都停留下來去看你的操控屏。另外如果用眼球追蹤作單一的交互，交互成本是很高的，漸凍朋友需要天天用眼睛去交互電腦，那是因為沒有辦法，但是正常人是不會只用眼睛交互的。

第三個問題：車規級。車企要求一些器件必須進行車規級的檢測，這樣才能進行商用落地，他們要求的質檢測試非常嚴格。

系統方案

因為單一的相機兩個光源這種形式已經無法滿足像光照、頭動範圍的一些需求，所以我們在探索多組相機+燈源+濾光片的方式。比如後面還用到高幀率相機，其實是為了解決顛簸，相機幀數高了，採集的圖時間短，所以就能在短時間內採集到光斑跟瞳孔，這樣可以解決模糊的問題。用多組相機，比如前面放一組，側面分別放一組，在別的位置再放一組，再配合一定光學結構上的要求能夠保證時時刻刻各個角度上都能採集到眼圖，而且眼圖都是清晰的。

另外，採集到眼圖要給演算法。採集到的眼圖可能光照條件並不是很好，而且各種條件也很惡劣，所以要用上一些亮暗瞳的一些演算法技術，還有防強光的演算法，還有基本的特徵檢測的一些演算法，最後進行視線估計，估計出眼球追蹤，注視點位置，然後形成眼球追蹤的SDK。這樣的優勢是可以減弱消除複雜光照影響，增大頭動範圍，增加各種場景可用性，消除顛簸等路況的一些影響。

像前文說的那種傳統的建模方式，應該很難能估計出光斑中心跟瞳孔中心，所以公司現在逐漸引入深入學習技術，採集了大量的眼圖，通過深度學習增加很多神經網路層，這樣去得到光斑跟瞳孔中心位置，最終實現估計。這樣的好處就是盡量去減少校準，因為九點校準是很浪費時間的，用戶體驗會不好，所以我們才推出一點或者是無校準方案，可以自動校準，而用戶感覺不到校準。還有準確的3D人眼模型，可用率會比較高，像美瞳、戴眼鏡的場景都適用，正在逐步推向消費級的市場。

對於誤操作，趙海傑本人也在提倡交互層面上的一些思路，一個是多模態交互，用眼動加一些其他的交互，這樣可以提升人機交互效率，讓人感覺更自然，因為人與人之間交互，或者機器人與自然之間的交互都屬於多模態的，人不只長手，還有嘴、眼睛等。另外從交互邏輯上，人眼有時候會瞟，會不自主的略過，或者發獃、注視某一個位置，所以我們可以從交互邏輯上去入手，上面這兩點結合起來更符合人體的功效原理，更能解決一些防誤操作的問題，人感覺會更自然。

合作落地點

第一個屬於交互類的，在HUD和顯示屏上的一些交互。有一些場景中HUD有些時候會遮擋司機的視線，可以通過眼球追蹤去檢測。如果你注視HUD遮擋視線那塊位置的話，可以讓HUD顯示的內容自動避開你的視線，這樣在看前面路況的時候，HUD顯示的東西就不會遮擋視線的位置，而需要的時候你可以正常看HUD。還有類似於在HUD、顯示屏上做一些交互，這都是七鑫易維在做的。

以後智能駕艙的場景中，可能會用到裸眼3D的技術，眼球追蹤會跟這個結合。比如說在人機交互過程當中讓虛擬的小人可以看人的眼睛，這會感覺更自然，因為人與人之間的交流就喜歡盯著眼睛或者面部，讓人感覺很尊重。現在有很多的車輛后座都有顯示器，可以加上一些模組進行一些交互。還有一些小的落地點比如說車輛啟動，在上車的時候看車上某一個位置，盯3秒車就自動啟動了，在車啟動之前要進行身份認證。還有就是通過注視儀錶盤，儀錶盤亮度可以變亮，因為在夜間儀錶盤過亮的話會讓人感覺幌眼，還有注視車窗高度的控制，可以用眼睛盯一個位置，用語音可以調到某個位置。

合作的落地點需要跟行業內的朋友一起去挖掘。其中的思路有幾個，因為目前眼球追蹤應用還是有邊界的，很多場景不是那麼好做，比較好做的有注視檢測類的，比如你是不是注視某一個位置，是否注視方向盤中心，是否注視儀錶盤左側2秒，還是注視儀錶盤右側2秒，還是注視HUD，這個都是檢測類的是比較好落地的。 第二種就是結合多模態的交互，注視某一個位置的時候語音加手勢的確定。還有一些場景眼球追蹤可能比語音、人臉更方便，比如夜間后座上有一些客戶可能家人都休息了，但是還放著歌，怎麼能夠簡單快速把這個歌停下來，用眼動可能盯一下HUD就把這個歌停下來了。

推進思路

說一下推進的思路，短期來看我們跟車企這個行業內，短期一年內或者一年左右我們大家都是在屬於搭DEMO、搭樣車、搭概念車這樣的過程，結合多模態的一些交互，主要目的是去吸引市場，增加市場對眼球追蹤、車載眼球追蹤等新技術，人工智慧包括人臉識別、語音識別等新技術的認知，讓大家接受這件事情，然後去摸索一些可以落地的亮點以及應用，下面所說的合作點，其實都是很小的一部分，冰山一角，更多還是需要跟大家一塊去挖掘，同步的眼球追蹤一些落地的技術也逐漸去積累。

中期來說，1—3年，大概是2021年前後，可能這時技術相對成熟，一些市場也培育或者教育的也基本OK，像人臉識別、語音識別加眼球追蹤等交互可能是說可以落地一部分的應用，這會大家適合去做一些小批量的產品或者某一個車型的產品，去進行一些簡單的上市，看一些市場反響。

長遠來看眼球追蹤對人機交互方面還是有價值的，包括跟語音、手勢、人眼等等結合起來它的價值點還是有的，它雖然屬於興奮型或者期望型的需求，短期內不太成為剛需，但是長遠來看也是會給人帶來幸福快樂的一件事情，相當於現在手機解鎖，以前是使用密碼，後來是圖案，再後來是用指紋，現在逐漸開始用人臉、3D結構光，像人臉、3D結構光等等這些也是屬於興奮型的需求，現在已經變成小剛需，所以是屬於社會在進步，人們對生活水平或者幸福感要求都在升高，所以眼球追蹤長遠來看也會成為在車載上有價值的一種交互方式。

總結

眼球追蹤技術原理，目前通常來說就是一個相機加兩組燈源的這種方法。目前的一些基本應用領域有VR、AR、眼動分析、醫療輔具、用戶研究、智能駕駛、消費電子、智能家居等方面。該技術目前遇到的問題有複雜光照、大範圍頭動、誤操作、車規級要求等。基於這些問題，現有解決方案的一些方向是，採用多相機加光源加對應濾光片的一些方案，再加一些演算法的技術。最後介紹了一些可能的合作落地點，即七鑫易維跟車企和一些服務商正在推進的眼球交互、駕駛員行為檢測和活體檢測等。短期、中期、長期推進的思路為DEMO車早入局落地，摸索爆點應用產品化，最後變成車規級的產品。

七鑫易維，國際領先的眼球追蹤方案商，2014-2016年，連續3年獲得美國高通的風險投資；2015年，李克強總理高度評價七鑫易維眼控產品對殘疾人做出的貢獻；2016年，發布全球首款VR眼球追蹤配件aGlass，成為HTCVive官方配件。近年來，公司開始布局車載眼球追蹤市場，與戴姆勒、一汽、吉利、奇瑞等車企及NNG、Face car、大陸汽車等服務商建立相關合作，共同推進車載眼球追蹤技術落地。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！