實時互動場景應用指數級增長，背後的RTC技術發展到哪裡了？

策劃編輯：Sharon

隨著 5G 的逐步落地，幾乎每個人都相信，隨時可用、高清、流暢的音視頻通話即將到來。同時，我們看到，實時互動技術催生的「爆款」、風口和實用場景增長迅猛，比如之前的狼人殺、視頻社交、互動連麥直播，過去一年還有在線抓娃娃、HQ 直播答題、連麥小遊戲，同時還有金融、可穿戴、機器人、電商等行業應用場景。

但是，你知道這背後實時互動技術到底發展到了什麼階段，正在攻克哪些技術上的難關呢？ 從音視頻角度來看，決定音視頻通話質量的，一個是網路，另一個是編解碼。本文將從這兩個角度對技術發展趨勢進行詳細剖析和解讀，並將對實時互動技術催生的創新場景角度進行介紹。

1

軟體定義網路提升跨網實時傳輸質量

網路面臨的主要問題一個是基礎建設，另一個是跨網通信，帶寬提升、5G 落地可以幫我們解決基礎設施建設的問題，但跨網通信仍然是一個問題。

這裡的跨網通信障礙在行業人士眼裡指的是「四跨」，是指跨國、跨運營商、跨地域、跨時段的網路傳輸質量存在波動的問題。互聯網從業者則提出一種覆蓋網路（overlay network）技術來解決這個問題，其最重要的實現就是 VoIP。近年來，隨著直播的火熱，實時音視頻對網路低延遲的要求又提升了一個層次，隨之而來的是 SD-RTN?解決方案，它通過 SDN+UDP 技術，能夠顯著的降低延遲，減少丟包，進而改善通信質量。這方面最新的進展則是融合 SD-RTN?，以共享方式搭建 SD-RTN?，可以降低建設 SD-RTN?的成本。

聲網的 SD-RTN?就是當前最新實時網路技術的一個代表，從官網的性能測試數據可以看到，它在跨國、跨洲等情況下比傳統 P2P 網路延遲降低了 50% 左右。

2

下一代編解碼標準仍處戰國時代

在編解碼方面，我們請教了聲網 Agora 首席科學家鐘聲老師，他分別在美國博通公司、海信集團晶元公司、聲網公司等主要從事圖像處理、圖像壓縮、模式識別和計算機視覺演算法以及晶元架構設計的研究，在美國和中國擁有多項專利，並且曾是標準組織 MPEG/JVT (H.264) 與 INCITS 主要成員，可以說是編解碼方面的權威。

今年上半年，在音視頻編解碼領域發生了一件大事，就是 AOM 聯盟發布了 AV1 標準的 1.0 版，其執行董事兼創始董事會成員 Gabe Frost 表示，桌面瀏覽器會在今年就開始支持 AV1，到 2020 年幾乎所有新型硬體都會支持 AV1. 這對 HEVC/H.265 編解碼形成了強勁的挑戰。

鐘聲表示，AV1 視頻編碼比 H.265 標準能夠進一步降低 30% 左右的碼率，但其編碼複雜性也高出幾十倍甚至更多。可以預測其會先在 on-demand 的視頻收看中應用，比如 NetFlix、Youtube、Amazon 等可能最先推出 AV1 格式的高清、超高清電影，而且接收端也要有相應的晶元解碼支持。AV1 在 RTC 中的應用也會依賴於晶元對 AV1 編解碼的支持，尤其是高效的編碼器複雜度較高。NetFlix、Youtube、Amazon、Apple 等公司的大力推進很可能會促使晶元公司也加快其主流手機、電視、PC 機晶元對 AV1 編解碼的支持。

下一代的編解碼標準仍然處在戰國時代，其中大部分標準首要考慮的就是對 RTC 流媒體播放的支持，特別是抗丟包的支持。鐘聲介紹說，聲網也自研了新一代音頻編碼演算法 Agora SOLO?，主要是為了增強在實時互聯網上傳輸音頻信號時對網路丟包的對抗能力而設計的。公共互聯網通常會因傳輸線路擁堵、延時過大等原因導致數據丟失，SOLO?的音頻壓縮編碼演算法是針對網路的這個特性來設計的。他們測試的結果表明其能達到對抗 70% 的抗丟包率。適用基於互聯網的實時音視頻通信、直播等應用。

3

RTC 快速發展的本質是實時互動需求逐漸強烈

將網路和編解碼、音視頻採集等等整合起來的代表技術就是 WebRTC，近年來，隨著實時互動需求和技術的發展，RTC 成為 WebRTC 技術的延伸和補充。RTC 在網路、編解碼和音視頻採集領域都有重要的技術突破。另外，上半年斯坦福大學的實驗室還發布了將網路和編解碼整合起來的新一代通信技術 Satisfy，在這方面未來我們仍然有提升的空間。

在聲網 Agora 創始人 &CEO 趙斌看來，RTC 技術快速發展的本質是人類對「實時」與「互動」的需求逐漸強烈。伴隨著多個垂直領域的場景創新和深度應用，RTC 將成為全球最受關注的實用技術之一。RTC 已經在很多行業領域持續輸出爆款，比如直播、社交、遊戲、教育等，以社交為例，聲網支撐了全球 80% 的社交直播平台。對於 RTC 技術催生的各類應用場景的發展情況，趙斌也進行了介紹。

「吃雞」的語音對講到直播連麥、直播答題組隊開黑，狼人殺，再到最近有望成為風口的後狼人殺產品「劇本殺」，都是已經被市場印證過的實時通信的應用場景。「休閑類小遊戲」、「競技類遊戲」的社交性需求都很強，需要實時語音增強社交屬性，進而提升玩家的遊戲時長和用戶粘性。

同時，遊戲、社交、直播正在發生更大的融合，並且出現了很多新的場景，比如對戰連麥小遊戲、互動視頻電商等獨特品類。

而當下火熱的人工智慧也可以和實時音視頻結合起來，未來幾年互聯網實時視頻傳輸會有十倍以上的增長，人工智慧可以用來提升用戶對音視頻內容消費的體驗。機器學習如何有效地幫助達到極低延時、極高流暢度、極高畫質以及高效的運維服務值得深入的研究。這也是聲網目前最關注的研究方向。

4

結束語

2018 RTC 實時互聯網大會即將開始，據趙斌介紹，此次大會上會公布 RTC 和 AI 結合的一些技術進步，也會在編解碼方面有更多的技術上的突破。如果你想了解以上技術細節，還想了解更多嘉賓精彩分享，快來

點擊閱讀原文或者掃描下方二維碼

預定專屬大會門票，您將會聽到來自 Google、聲網、WebRTC、Twitch、新浪微博、華為、騰訊、Cocos、陌陌、花椒直播、VIPKID、Bilibili、滬江、招商銀行等知名互聯網公司的技術領袖、音視頻技術大咖、產品創新專家，以及來自亞洲各地區的 2500 名開發者，將共同與您交流分享。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！

本站內容充實豐富，博大精深，小編精選每日熱門資訊，隨時更新，點擊「搶先收到最新資訊」瀏覽吧！

請您繼續閱讀更多來自 InfoQ 的精彩文章: