BBC科研人員竟用AR將手語解說員搬出屏幕

Esther｜ 撰文

現如今，AR在電視、直播領域已經找到一些應用，比如在今年初江蘇衛視跨年演唱會上，薛之謙曾與用AR技術打造的二次元歌姬洛天依一同上台表演，洛天依的形象只有在電視和現場屏幕里看到，而觀眾用肉眼是看不到的。

此外，美國ABC電視台在去年曾用AR技術播報中期選舉，將選舉數據變成了酷炫的AR特效，CBS電視台在今年初也曾採用AR技術直播超級碗賽事，觀眾們在屏幕中可看到用於輔助現場解說的AR特效，為傳統比賽直播帶來更多趣味性。

近期，英國BBC研發部門和德國IRT（無線電技術研究所）的科研人員又找到了AR的另一項潛在應用，那就是為電視節目加上AR解說員，為聽力障礙者提供手語解說。

與AR歌姬、賽事解說不同的是，這項應用是將AR解說員放到了電視屏幕之外，而用戶可通過AR頭顯來觀看。而這麼做的好處是，幾乎可以為任何電視節目加入AR真人手語解說，可定製性足夠強。

另外，與傳統CC字幕、在節目中通過分屏來展示手語解說的方式相比，AR解說員不會遮擋屏幕、影響觀看體驗，比如你想看的小細節如果被字幕遮擋，那你就需要關掉字幕，但如果是AR解說員，就不會出現這種問題。

而且對於多人觀眾來講，有些人可能並不需要看字幕，通過AR就能解決這個問題，為不同的人定製不同的電視體驗。

關於技術方案

技術方面，AR解說員與電視內容的同步是通過BBC的數字電視廣播（DVB）同步技術實現的，該技術曾被用於DVB和HbbTV之間的信號傳輸與同步。

據悉，HbbTV技術來自於一個類似於電視神器Freeview Play那樣的大電視平台，它是一種與DVB兼容的內容發布平台。

BBC和IRT的科研人員曾利用這些技術做過多次展示，包括將電視和平板電腦或玩具同步（孩子通過玩具做選擇，可以在家裡與電視里的隊伍一同回答智力題，並對比答題結果）等。

據科研人員稱，AR解說員的設計基礎來源於傳統分屏手語解說，尤其是在創作、人形捕捉和表現方面。

科研人員設計了半身和全身兩種解說方式，然後根據需要解說的視頻內容拍攝手語解說。接著，科研人員從拍攝的視頻中摳出人像，做成960x1080解析度、彩色視頻，然後疊加到黑色背景，接著通過分析音頻將手語解說與視頻內容同步。

關於AR手語解說員的製作，這組科研人員總結出了一些經驗：

AR手語解說員的頭部應該與電視一樣高；

半身解說員的底邊應該與電視屏幕底邊對齊，就像是位於電視柜上一樣；

全身AR手語解說員的腳不能穿過房間地面；

解說員休息的時候目光需要水平直視電視，而解說的時候應該直面觀眾；

AR解說員應該與電視稍微重疊。

左1列：傳統手語解說；左2列：半身AR解說；右1：全身AR解說

實驗調查

為了了解公眾對於這種手語解說方式的反饋，這些科研人員邀請到23名實驗參與者（11名英國人，12名德國人）來體驗並對比三種同步手語解說：內嵌在視頻中的傳統手語解說、半身AR手語解說和全身AR手語解說。

參與者們觀看的電視節目是自然歷史紀錄片，佩戴的AR頭顯是微軟HoloLens。

在體驗過後，參與者應科研人員要求填寫了調查問卷，表達對這些不同解說體驗的反饋。在11名英國參與者對3種手語解說方式的好感都差不多，而12名德國參與者中有一半喜歡傳統手語解說方式，而喜歡全身AR解說員的只有1人。

在「HoloLens是否改變了你看電視習慣」問題上，8名參與者表示它帶來了積極的改變，3名參與者表示帶來了糟糕的體驗。當然，也有人稱沒有帶來任何改變。

在經過了解之後，原來參與者們認為戴AR頭顯看電視並不舒服，除了外形厚重外，一些參與者表示沒辦法同時佩戴眼鏡，而且戴助聽器也不方便。

3名英國參與者表示願意接受每天願意在家裡戴HoloLens看電影，而還有兩名參與者表示想像不到戴HoloLens看完整部電影。還有一名參與者表示：戴HoloLens時間超長了，脖子會難受。有些人表示希望能在HoloLens上添加緩衝墊，不過這一點已經在Hololens 2中得到了解決（加入了泡沫墊）。

而且HoloLens的視場角也不夠大，沒法同時裝下電視和AR手語解說員。另外，參與者們還認為AR解說員的位置還可以繼續優化，並且希望這項技術可以與他們正在使用的設備集成。

一名英國體驗者稱：我一直很期待能看到全息影像，但我不希望通過頭戴的設備看，更希望它是通過外部設備投影的。

不過，不是所有的不舒適都是因為技術或者身體局限。

比如，一位英國參與者表示：戴上這種頭顯很顯眼，看到的人就會知道你聽力有障礙，我不希望將這一點展示出來。

AR頭顯的外形的確很重要，這也是未來AR的發展方向。目前支持空間計算和立體顯示的兩大主流AR頭顯為Magic Leap、HoloLens，它們的體積還比較大、比較沉重。不過隨著光學方案、定位追蹤技術的成熟，更輕薄的消費級AR眼鏡也會逐漸普及。

當然，儘管有這些限制，參與者依然支持通過新型技術解決看電視問題的概念，等未來硬體技術繼續發展後，他們會願意接受同步的AR手語解說員體驗。

考慮到23人實驗的規模較小，而且每個人的反饋也不同，並沒有一致的意見，但是參與者們紛紛表達了自己的想法。另一位英國參與者表示：AR解說員看起來足夠清晰，看起來距離你更近，感覺就像是帶了私人手語解說員一樣，我差點都想請她喝茶了。

總結

總之，AR在電視解說上依然存在一定優勢：支持內容訂製，可滿足不同觀眾的不同需求，而且與傳統內嵌在視頻中的視頻解說相比，容積攝影技術拍攝的AR解說員的立體感更強。同時，參與者們還表示：用戶對於AR解說員的控制也是非常關鍵的。

而從本次實驗中，科研人員總結出了一些AR解說員需要注意的關鍵：清晰度、解說員與內容之間持續的聯繫、AR解說員與電視節目的相對位置、保持解說員與電視節目之間重疊的平衡性、避免擋住重要內容。

（END）

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！