Orko：使用多模交互方式探索分析圖可視化
現有的可視化系統往往是在桌面環境下設計交互方式，越來越多的研究者開始考慮如何在大屏幕、平板等設備上設計交互方式。一部分工作利用可穿戴設備、VR/AR等設備檢測人的手勢、肢體動作實現與大屏幕的交互，還有一部分工作將自然語言作為交互輸入方式。這項工作[1]嘗試在可視化中利用多模輸入（multimodal）的方式，將觸摸（touch）和語音輸入結合作為圖可視化的交互方式，並且分析在多模輸入環境下的用戶交互行為特點。
已有大量的相關工作使用語音或者觸摸的方式作為可視化交互的輸入方式，然而這些工作都專註於其中一種交互方式。HCI領域的研究表明，多種模式的輸入方式能夠增強用戶體驗並且提高系統的可用性。因此，這項工作嘗試探索在圖可視化中引入語音和觸摸的交互方式，分析這樣的多模式交互方式是否能夠有效完成圖可視化的任務，提高用戶體驗。
首先，作者進行了前導性調研（Pilot Study）來探索用戶面對一個圖可視化系統可能作出的語音查詢操作。圖數據是歐洲足球運動員的網路，節點表示球員，並且有所在球隊、國家、年齡、收入等屬性，如果兩個球員在一個球隊或者同一個國家，那麼會在他們對應的節點之間連邊。數據中共有552個節點，6772條邊。作者搜集了用戶面對這個的數據做出的語音查詢操作並且進行了分類，如圖1所示。
圖1 用戶不同類型的自然語言輸入
對於「Find Ronaldo」這樣的輸入，系統能夠明確的解析並且做出響應，定義為顯示的輸入（Explicit）；而對於「Are any of these players right footed」這樣的輸入，系統必須依賴之前的輸入或者當前系統的狀態才能做出響應，定義為Follow-up & Contextual輸入；對於「How are France and Italy connected」類輸入，其問題很寬泛，可以做出多種不同的響應，被定義為High-level輸入，對這類輸入的響應需要更深度的自然語言理解技術，超過了這項工作的研究範疇，所以在設計系統時只針對前兩種輸入做出響應。同時，對於相同的目的，用戶可以採取不同的輸入方式，比如查找和Ronaldo有連接的球員，用戶可以輸入「Show nodes connected to Ronaldo」, 「Show Ronaldo』s connections」, 「Find Players linked to Ronaldo」等。如何理解用戶的輸入成為系統的設計的一大挑戰。
如圖2為系統的交互界面，包含A）輸入框，可以通過鍵盤或者語音的方式輸入查詢；B）網路視圖，展現圖布局；C）交互圖標，可以點擊清除選擇，固定節點或者重新布局；D）細節視圖，顯示當前選擇節點的信息；E）總覽視圖，展現所選節點的屬性分布；F）過濾框，提供對屬性值的過濾功能；系統界面顯示在大屏幕上，用戶可以通過手勢觸摸選擇節點、過濾等。
圖2 Orko系統交互界面
為了理解用戶的語音輸入，系統的框架如圖3所示。其中Query Parser為核心部分，用來理解用戶的自然語言輸入。開始前，系統依據之前調研的輸入語音對系統進行訓練，Grammar Parser可以識別用戶輸入中交互操作，比如輸入「Show Connections of Ronaldo」，Grammar Parser會識別其中的「Show Connections」，而把針對目標「Ronaldo」傳遞給Lexicon-based Parser。Lexicon-based Parser也負責對Follow-up & Contextual輸入做出響應。
圖3 Orko系統框架
系統支持語音和觸摸兩種輸入方式，當用戶面對一個任務，他可以只用其中一種交互方式或者同時使用兩種交互方式。比如對於任務「Find connections of a set of top goal scoring players for England」，用戶只用觸摸的方式，先通過過濾組件依據國家和進球數過濾，然後點擊過濾的節點展現他們的連接；也可以直接輸入語音「Show connections of English players with more than 20 goals」；還可以同時使用兩種輸入方式，
為了評估系統的可用性以及用戶的交互行為方式，作者進行了評估實驗。一共有6位參與者，10項關於歐洲球員網路的任務（比如找到一個巴薩中場球員，再找到至少兩位和他有連接的非巴薩中場球員），參與者需要在30分鐘內完成任務，然後填寫反饋意見。
圖4 參與者完成任務使用的交互方式
圖4為總結了6為參與者完成任務時使用的交互方式。表中每一行代表一個任務，每一大列代表一個參與者。S代表語音輸入方式，T代表觸摸輸入方式，ST代表在一個交互過程中先使用語音然後使用觸摸，TS代表先使用觸摸然後使用語音。表中的數字代表用戶在完成任務時使用該交互方式的次數。從上圖中可以得到以下發現：
最後的問卷中，參與者對系統的易用性，語音輸入方式，語音和觸摸輸入結合的交互方式都做出了很高的評價。
總的來說，這項工作了結合了自然語音輸入和觸摸的交互方式幫助用戶完成圖可視化中的任務，並且評估了兩種輸入方式結合的效果，為後續工作開展提供了參考，比如可視化的交互設計可以更多考慮語音輸入的方式，減少用戶的交互負擔。
文獻：
[1] Arjun Srinivasan and John Stasko. IEEE Transactions on Visualization and Computer Graphics (InfoVis』17), 24(1):511-521, 2018.
北京大學可視化/可視分析博客(http://vis.pku.edu.cn/blog/)
我們在這裡和大家共享對可視化與可視分析研究領域的理解，一同探討可視化研究的進展，觀察和評論最新的可視化技術和應用。我們關心可視化與可視分析核心的成就，也關注相關領域的發展。歡迎關注！
TAG:可視分析 |