AI大規模介入綜藝節目製作，剪輯師的好日子終於來了

還記得北京春晚的神剪輯嗎，剪輯師真的不容易。

撰文 | 太浪

要談AI 娛樂領域，優（酷）愛（奇藝）騰（訊視頻）是避不過的三個山頭。

其中，愛奇藝是三家中對外講述AI技術最多的。

十天前，愛奇藝官宣，其會員數量突破1億，中國視頻付費市場正式進入「億級」會員時代。愛奇藝還稱，1億會員規模背後，是內容創新、技術創新、生態構建等多方面的綜合作用。

技術創新方面，不得不提AI。愛奇藝首席技術官（CTO）劉文峰曾在5月份的愛奇藝世界大會上介紹了AI在愛奇藝整個運營流程中的應用，他稱，「AI發揮的作用無孔不入，已經貫穿視頻內容的創作、生產、理解、分發、播放到變現以及客服整個流程中。」這建立在AI理解用戶和理解內容的基礎之上。

在理解用戶方面，愛奇藝準備充分。每位愛奇藝的用戶都有畫像，用戶在愛奇藝上的每一次觀影行為、搜索行為、互動行為都在為其用戶畫像提供源源不斷的數據，並使它越來越精準。

2017年爆火的《中國有嘻哈》（現《中國新說唱》）便是愛奇藝通過大數據看用戶行為、AI分析之後決定做的節目。選吳亦凡、鄧紫棋當評委，也是機器和演算法在對愛奇藝站內每一個喜歡嘻哈的用戶行為進行分析，萃取、提煉出「這些人中，粉男性藝人的，粉吳亦凡比較多；粉女性藝人的，粉鄧紫棋比較多」的關鍵信息後給出的結果。

內容方面，綜藝節目一直是內容行業的一個重要分支、能否持續輸出高質量、好口碑的綜藝節目，決定了視頻平台能否掌握未來綜藝行業的話語權。《奇葩說》後，自製綜藝成為愛奇藝一直堅持的一個內容方向。愛奇藝甚至開發了基於AI技術的大型節目製作系統——愛創媒資系統，輔助大型節目的製作。目前，該系統已經應用於《中國新說唱》《我是唱作人》等綜藝中。

1 行業痛點：工作任務龐大、製作周期短

綜藝節目的製作在流程上分為前期策劃、中期拍攝、後期製作和包裝三個主要部分。

業內普遍認為，前期與後期對節目品質的貢獻「五五開」，甚至有「三分靠拍、七分靠剪」的說法，後期環節成了節目能否成功的關鍵。

綜藝節目的後期製作，包括剪輯、節目包裝、花字製作、音樂音效編輯、調色、合成等一系列精細化生產流程。

但傳統的影視節目製作工藝是全程靠手工進行後期製作。「工作任務龐大、製作周期短」，綜藝節目的後期製作對素材進行上載、轉碼，對時間碼、挑素材的工作量和時效性要求比影視劇更高，使得後期製作人員在機房熬夜、吃住在機房成為「家常便飯」。

影視圈也是個「吃青春飯」的行業，一項影視行業熬夜現狀調查顯示，30歲以下的人佔比高達79%；天天熬夜的人佔了35.64%；因為加班而熬夜的佔比68.32%。

比如，拍攝《青春有你》時，將近100個訓練生、6位導師，每個人都要有鏡頭，上百台機器要記錄每個訓練生的學習生活，拍攝其中一期時，設備一天就生產了3000個小時的素材，最終要剪成2個多小時的節目導出傳輸，而製作時間只有一周左右。

愛奇藝2014年就開始布局AI，積累了多年的AI技術能力，怎麼幫後期製作人員做一些事情？懷著這樣的心情，愛奇藝技術產品團隊的技術人員進入節目組，去了解綜藝節目的拍攝、製作流程，尋找後期製作人員的痛點，並發掘AI的應用場景。

他們發現，實際在整個後期製作過程中，包含大量操作簡單、重複性高且繁重的基礎性、非原創性工作，比如合板、去除廢片、識別精彩鏡頭、配字幕。

合板，指將多個不同機位的視頻素材內容對齊到同一時間線，是後期剪輯的基礎。

不同機位的攝像機間可能會有時間差。一秒等於24/25幀，攝像機之間的時間軸差一秒，就千差萬別。比如，XX時XX刻，某位嘉賓說了一句話，有兩台攝影機同時在拍、同時收聲。將兩個機位的視頻素材合起來後，如果不能精確到幀進行對齊，就會造成重音、混音。因此，需要人工以幀為單位，將不同素材對齊時間軸。

而且，在完成合板之前，無法進行下一步。剪輯師只能等所有素材合完板，有了主體的時間線後，才能接手。進入剪輯環節後，根據主體的時間線挑選素材，cut（剪）出毛片。

由於拍攝過程中可能存在攝影機開機、但是沒摘鏡頭蓋或失焦等問題，導致黑屏鏡頭、模糊鏡頭等無用素材（也稱「廢片」）的產生，因此，在精細剪輯之前，需要先去掉這些廢片。

進入精細剪輯環節後。便是編劇綜合現場觀察以及後期拍攝片子的內容，開始思考如何組織劇情，然後和剪輯人員溝通，最終剪出一個完整的片子來。

而在編織劇情的過程中，若是想要某位嘉賓做了某個動作/表情的特寫鏡頭，需要在好幾百個小時的素材中尋找，花費大量人力成本。

精彩鏡頭：吳亦凡、潘瑋柏比心

對編劇而言，了解素材內容也是剪輯的基礎。因此，需要通過扒詞，將視頻素材里的所有內容（包括對各位評委、選手的採訪）轉化成文本。

而傳統製作流程中的扒詞要經過人工聽聲音-手動敲字幕文字-校對這一複雜流程。而且，在《中國新說唱》這樣的綜藝節目中，選手語速較快，且中英文交雜，人工未必能一次就聽清選手演唱的歌詞；評委和選手間夾雜中英文的小聲交流，也會給人工聽打字幕帶來挑戰。

若是人工扒詞，1小時的視頻，需要消耗2到5小時的時間；人工唱詞（包含人工聽聲音-手動敲字幕文字-校對-字幕機打點），1小時的視頻，需要耗費7-10小時才能完成。

而且，並不是所有的剪輯成果一遍就能過關，製片人或導演會進行審核，思路不對或者不達標，則需要不斷返工、重剪，直到趨近完美狀態。

2 AI的用武之地

「一期節目拍兩三天。但是他們後期剪輯要剪10天，10天必須要出一期節目。相對來說，拍的時間還是很緊張的。」編劇、剪輯師們也想花更多的時間在創作上，而不是花大量時間來做這些基礎的、比較影響他們創作效率的事情。

於是，愛奇藝技術產品團隊便開發出基於AI的愛創媒資系統，通過AI技術幫助後期製作進行海量的視頻和音頻素材入庫、整理及標註，實現素材的快速分類，並建立內容標籤，進而輔助信號採集、DIT管理、精準合板、唱詞、剪輯及發布。愛創媒資系統還斬獲2018年度中國計算機學會(CCF)的「2018年CCF科學技術獎科技進步傑出獎」。

愛奇藝高級總監李順龍和孫斌為我重點講述了愛創媒資系統在合板、剪輯、扒詞/唱詞三個環節中的AI應用。

愛奇藝稱，新進播出的《中國新說唱》（第二季）的拍攝過程中，每天有60台以上的機位同時進行拍攝，最長一天錄製了近18個小時，有40T的拍攝素材需要合板。用傳統的人工進行合板，大概需要6個人同時合板、用時1到1.5天才能完成。

而愛創媒資系統在1小時內即可完成所有素材的合板，且合板精度能達到95%0幀差，5%有1-2幀偏差，節省工作時間1.5天，合板人力成本節約100%。

怎麼辦到的？通過時間碼或聲紋將素材對齊。時間碼（time code）是攝像機在記錄圖像信號的時候，針對每一幅圖像記錄的唯一的時間編碼，一種應用於流的數字信號，該信號為視頻中的每個幀都分配一個數字，用以表示小時、分鐘、秒鐘和幀數。現在所有的數碼攝像機都具有時間碼功能。

使用時間碼合板，將多個不同機位的視頻素材內容對齊到同一時間線

但也會出現兩台攝像機之間時間完全對不上的狀況。比如，有些被重置過的拍攝機器會變成出廠時間。

打板也是將素材對齊的一種方式，常用於棚拍綜藝。但在真人秀這種有多個場景的節目中，無法做到在所有的攝像機前進行打板，因此，合板工具是一個需求。

打板，「action」，創造一個方便後制人員把聲音與畫面同步起來的同步點

「每個人的聲音都是獨特的，像指紋一樣。」因此，愛奇藝將聲紋作為音視頻中識別人物的一種方法，利用聲紋識別，快速在大量原始素材中定位某些人說話的所有片段，實現精準合板。

此外，愛奇藝利用聲紋識別 ASR（語音識別） 語音分割技術的組合，自動將音頻轉換為帶有說話人的文字內容，後續只需人工負責校對，使得扒詞/唱詞環節的工作效率提升80%。

（語音分割：必須考慮語境、語法和語義，在一定程度上與文本分割中的一些問題重疊，因為在一些語言中，書寫字元之間沒有空格存在，如中文和日語，而其他語音中的字元間的天然分割（如空格）直接指明了分割的位置。）

愛奇藝還研發了基於AI的廢片識別服務，利用深度學習模型篩除大量廢片；以及實現了素材的多維度複合檢索，在人臉識別、表情識別、手勢識別、動作識別技術的幫助下，剪輯人員可以快速檢索人物、時間段、表情/手勢等信息，進而找到所需要的素材。

比如，在某個選手演唱時，編劇想找吳亦凡大笑的表情來編織劇情，只需要在「愛創媒資系統」中輸入「吳亦凡」 「大笑」的關鍵片語合，就能馬上檢索、定位所有吳亦凡大笑的視頻片段，進而直接從中挑選出部分片段作為節目的一部分。

據悉，愛奇藝創建的智能明星庫中已經收錄了100多萬明星藝人，目前支持2萬多明星的識別。表情識別方面，愛奇藝AI目前可識別笑、微笑、大笑、中立笑、哭、中立哭、生氣、驚訝八種表情。

3 其他家AI技術在綜藝節目後期製作中的應用

AI在媒資管理系統中的應用並非愛奇藝一家孤例。

因為在媒體資產管理（MAM）系統中給素材做標記是後期製作中一項極其重要且有效的任務，但相當乏味。而AI可以輕鬆執行這項任務，而且可能比任何人都更加多樣化，速度也比任何人類快得多。

如果分析和標記一整天的視頻只需要幾分鐘，而不是幾個小時，同時提供比人類嘗試更有價值的深度信息，那麼效率和生產力都會顯著提高。

共享媒體工作流協作解決方案開發商 ELEMENTS 和人工智慧解決方案提供商 Veritone 就達成了一項新的協作。新的聯盟允許 ELEMENTS Media Library 的客戶利用 Veritone 的人工智慧技術（包括語音到文本的轉錄、人臉識別、翻譯、物體識別、內容審核、標誌識別和光學字元識別）自動提取和分析元數據。

通過集成Veritone的aiWARE平台，ELEMENTS的媒資管理除了管理、共享和給媒體資產做標記外，還將能夠利用認知引擎和功能強大的應用程序進行自動監控，進而分析、剖析和檢索視頻和音頻素材。

並且，新AI功能將由ELEMENTS Media Library用戶直接通過Adobe Premiere訪問;因此，編輯器可以在不使用單獨瀏覽器的情況下，直接從Premiere工作站搜索其媒體素材，從而充分利用各種優勢。

除了愛奇藝，我也將「AI在綜藝節目後期製作中有哪些應用」的問題拋給了優酷，相較於愛奇藝用AI提高後期工作人員的工作效率，優酷更傾向於用AI提高收視效果。

優酷告訴機器之心：在內容製作環節，通過內容理解AI，優酷實現了對視頻中各個片段的理解，同時也會提供智能分析，反哺內容創作，指導後期的剪輯與內容優化。

以《這就是街舞》（第一季）為例，通過AI收視率曲線分析，能輕鬆獲取到觀影用戶的喜好，比如在第五期各隊齊舞環節，每個齊舞的收視高低就一目了然，節目組則會根據曲線的走勢不斷調整優化剪輯，提升收視效果。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！