雷鋒網 AI 科技評論消息，12 月 28 日，騰訊社交網絡事業群（SNG）主辦的 TSAIC 大會于深圳舉行，據雷鋒網了解，這次旨在連接學術與工業界的會議，采取定向邀請的方式，吸引了 150 名海內外的學者前來交流。

本次會議上，騰訊集團高級執行副總裁、SNG 總裁湯道生與量子實驗室杰出科學家張勝譽、優圖實驗室杰出科學家賈佳亞、音視頻實驗室杰出科學家劉杉出席了本次大會。

作為騰訊 SNG 布局 AI 的「三駕馬車」之一，音視頻實驗室于今年 5 月推出了自研的圖片格式 TPG，這一技術的文件大小在同等質量的前提下，所產生的文件大小明顯小于主流圖片格式。

而于今年 11 月剛剛加入騰訊音視頻實驗室的劉杉博士，在會上做了題為《視頻編解碼國際標準》的主題演講。通過分享視頻編解碼領域的核心技術和歷史變遷，劉杉分享了她作為多次擔任標準組織技術分組與專家小組的主席和聯席主席的心得體會與技術探討。與此同時，劉杉認為，目前所處的階段應該被視為下一代視頻編解碼標準制定的一個起點，而非終點。她也表示，在視頻編解碼方面，騰訊會持續進行技術研究和標準布局，為用戶帶來更好的體驗。

在圓桌討論環節中，劉杉用「開放/自由」這兩個詞表達了她在加入騰訊后的初印象，認為騰訊給予了實驗室團隊非常多的研究空間，而平時長駐硅谷、如今是第三次來到深圳的她，也坦言深圳的天氣給她留下了非常良好的印象，并歡迎有志之士加入騰訊，與她一同在位于硅谷的研究中心開拓創新。

劉杉，本科畢業于清華大學電子工程系，碩士和博士畢業于美國南加州大學電機工程系，現任音視頻實驗室杰出科學家。劉杉加入騰訊之前，曾任華為美國多媒體實驗室主任兼視頻標準首席科學家和全球項目負責人；在此之前擔任聯發科美國視頻和視覺技術開發部主任。

在聯發科任職期間，組建聯發科美國多媒體標準團隊并幫助公司實現了在視頻編解碼和系統等標準領域從零到一的突破。作為主要發明人和聯合發明人的 50 余篇技術提案被 ITU-T H.265 | ISO / IEC HEVC, MPEG-DASH, OMAF, MMT 等國際標準采納。于 2013 年榮獲聯發科最高榮譽研發金獎以表彰在標準領域對公司的貢獻。

在此之前還曾擔任 MERL 主任研究員、IBM 客座研究員、索尼資深算法工程師等職。她曾多次擔任標準組織技術分組與專家小組的主席和聯席主席，并多次在國際頂級學術會議擔任領域主席、論文評審委員或做邀請報告。發表了超過 30 篇專業期刊和會議論文，是超過 200 個美國和全球專利申請的發明人，其中許多發明已被授權并成為標準基本專利或被內置于多款通信和多媒體產品中。是 ITU-T H.265 | ISO / IEC HEVC V4（定稿版本）七位主編之一。

以下是劉杉演講全文，雷鋒網 AI 科技評論做了不改動原意的整理與編輯。

非常高興也非常榮幸來到這里跟大家做一個分享。我今天分享的主題是「視頻編解碼國際標準」。

在分享之前，我簡單介紹一下我自己。跟剛才兩位嘉賓的背景稍稍不一樣，我是來自工業界的博士，之前在一些公司工作過，做過研究、也做過產品。如果在座有同學想了解博士在工業界的心路歷程，歡迎大家找我分享。

這些年我的工作的內容主要在視頻編解碼和傳輸，也包括前處理，后處理和一些比較寬泛的多媒體相關項目。近幾年我們聚焦在視頻編解碼的標準制定，也是今天我要跟大家分享的一個內容。我是剛剛加入騰訊的音視頻實驗室。

言歸正傳，今天分享的主題主要包括兩個部分，一個部分是視頻編解碼，另外一部分是其標準化。最后我想花一點時間介紹一下音視頻實驗室現有的一些研究成果和場景。

我認為知道為什么要做一件事對任何一個項目來說都是至關重要的。之所以要做視頻壓縮這件事，因為視頻的數據量是非常非常大的，大到什么程度呢？舉個簡單的例子，有一部兩個小時的電影，HD 格式，每秒 60 幀，現場有沒有視頻編解碼背景的同學可以告訴大家，這個電影如果不壓縮文件會是多大？

（某位現場嘉賓：「50G?！梗?/p>

我們大家一起來做一個快速算術，1980×1080 像素每幀，60 幀每秒, 2 小時就是 120 分鐘，如果不壓縮是大約 2.7TB。那就是說你花大概一百美金買一個移動硬盤可以裝這樣一部 HD 電影。那如果我們說價格低要求用 SD 格式, 30fps, 如果不壓縮也需要大約 224GB。你的手提電腦大概可以裝兩部這樣不壓縮的電影。同樣，如果不壓縮，我們需要傳輸的帶寬是很大的，HD 60fps 的視頻內容如果不壓縮需要大約 3Gbps 的帶寬傳輸。SD 30fps 的視頻內容也需要大約 250Mbps 的帶寬。

我花了一分鐘的時間來做這個數學，是要說明，視頻壓縮這件事情不是重要的，而是必要的。一件事情如果是必要的，我們就要去做。

什么是視頻？

為了做視頻壓縮，我們首先要了解什么是視頻。簡單講，視頻是一組圖片，但是它不是一組隨機的圖片，而是有運動關系的圖片，我們做視頻就要抓住兩個點：運動關系和圖片。

基于這兩個基本點，視頻壓縮技術可以大體分為兩類：一類是針對圖片壓縮的，比如 chroma sub-sampling、 transform、quantization、 熵編碼等；另外一類是針對運動關系的，比如運動估計、運動補償和一些相關技術。

下面我們一起對這些基本技術做一個快速簡單回顧。第一個是 chroma sub-sampling。我們把圖片從 RGB 轉換到 YUV 然后對色度做一個 sub-sampling，從 YUV444 到 YUV420. 這件事對博士來說完全沒有什么技術含量，但是我們立刻可以節省一半的數據帶寬。

下面這個有一點技術含量了，是 transform。Transform 是把信息從空域轉移到頻域，以達到 decorrelation, energy compaction 的目的。我們在視頻編解碼里面最常用的是 DCT，最近的標準里面也開始引入了 DST。還有其他的一些還在探討之中。

Transform 之后是 quantization。（PPT）右上角是一個舉例的 quantization matrix，左下角是一個舉例的 coefficient matrix，我們用 coefficients 除以 quantization 系數就得到右下角這個 quantized coefficient matrix。我們做壓縮的看到這個會很興奮，因為我們看到很多很多的 0，然后我們會用一個遍歷，比如 zig-zag, 來調整這些數字的順序?？吹秸{整后的數據我們會更加高興了，因為有更多連續的 0，這是為下一步做準備。下一步是 Entropy Coding，是一種無損壓縮方式，可以把文件壓縮的更小。

剛才快速分享了幾種針對圖像壓縮的技術。

我們再回到剛才講的什么是視頻，視頻就是運動關系和圖片。圖片方面我們已經講了，下面我們要看一下運動關系這部分。這里有一個簡單的例子。這是一個視頻里面的三幀，我們可以看到它們之間有很明顯的相關性。視頻時域壓縮技術就是要找到相鄰或相近圖片的相關性從而去除時域上的冗余度。為了更好的利用圖片之間的時域相關性，我們引入運動補償。而我們真正在做視頻編解碼的時候，不像很多領域那樣做的會去做 object detection、segmentation 等等，在主流的視頻編解碼解決方案或標準里面我們還是用塊狀的方式，所以對于運動補償方面有很多相關技術，比如說預測單元的劃分，運動矢量本身的預測和編解碼等等。我們真正在標準制定的時候，關于運動補償的這一大塊，通常都是劃分成很多個技術分組來具體討論它相關的各個技術子級和細節。

有了這些主要的圖片壓縮和處理運動關系的技術模塊，我們就可以得到一個簡單的視頻編碼器示意圖和一個簡單的視頻解碼器的示意圖。

剛才給大家看的是最簡單的 video codec block diagram，大概是 MPEG-2 之前的編解碼器狀態。經過這二三十年的演變和進化，現在 video codec 已經變得復雜了很多，有更多模塊，也有更多技術細節。這是近期 HEVC/H.265 的 Video Encoder，待會兒我會再詳細講這個標準。

花了幾分鐘時間，在座各位已經是視頻編解碼的專家了，我們可以進入下一個內容，視頻壓縮標準。

視頻壓縮標準

在討論視頻壓縮標準的一開始，我們仍然要問 Why? 為什么要做這件事。道理也很簡單，壓縮過的視頻是不可讀的 binarized bitstream, 從某種角度講，壓縮如同加密，如果沒有一個大家都公認的協議或者密碼本這樣的東西，Apple 壓縮的視頻內容就沒有辦法被 Orange 解壓縮。所以為了讓世界上任何以某個廠家、產品或 App 壓縮的視頻內容可以被任何其他人解壓縮和播放，我們就需要全世界人民都接受的標準。

標準，尤其是國際標準，就不是一個人、兩個人都說了算的東西，它需要有標準組織根據嚴格的流程來制定。有兩個歷史比較悠久的國際標準組織，其中第一個是 ITU，在它下面有一個工作組是 VCEG，負責研究視頻編解碼的技術和制定標準；第二個標準組織是 ISO/IEC JTC 1, 在他下面有一個工作組是 MPEG，負責是在 ISO/IEC 下面研發視頻編解碼的技術和制定相關標準。

大約兩年前一些公司聯合發起了一個新的標準組織 AOM，致力于制定不收費的視頻編解碼標準。還有一個標準組織，我覺得也是非常重要的：AVS，是我們國內的標準組織。近些年 AVS 做得越來越好、越來越強大，現在是完全不可忽視的一個力量。

我們來梳理一下時間線。早在 1984 年 ITU 已經制定了第一個標準 H.120，因為比較早，可能現在周圍熟悉它的人不多；到 1990 年推出了 H.261，這個已經是被大家廣泛使用的；1993 年 ISO/IEC 推出了 MPEG-1 Part2，VCD 用的就是這個格式；1995 年出了 H.262/MPEG-2 Part 2，這個標準是 ISO/IEC 和 ITU 兩個組織共同制定的。

我不知道在座多少同學用過 DVD？DVD 這個格式我們小時候用了很久，DVD 這個格式就是用了 MPEG-2，數字電視廣播在很長時間里也是用的 MPEG-2 Part2，直到今天很多數字電視廣播還在用 MPEG-2。到 2003 年有了 H.264/AVC，像 Blu-ray、HD-DVD 這些格式都是用這個標準，很多新的電視節目也都是開使用 H.264，還有 OTT。又過了大概十來年，我們推出了 H.265/HEVC 標準。

無論是從 MPGE-2 到 H.264 還是從 H.264 到 H.265，我們通常認為的每兩代重要標準都做到了壓縮率翻倍。

HEVC，怎么在前一代標準的基礎上做到加倍壓縮？

下面花一點時間講一下 HEVC。HEVC 在 2007 年左右開始預研，到 2010 年初 CfP, 之后經歷了兩三年全世界的公司、大學、研究機構一起努力，在 2013 年出臺了 Version1，包括 main、main10、main still picture profiles。2014 年出版了 Version2, 包括 RExt, SHVC, Multiview。2015 年出版了 Version，加入 3D。2016 年出了 Version4，也是 HEVC 的最后一個版本，包括之前的所有內容并加入 Screen Content Coding。

制定標準是一個蠻艱苦的過程，不過努力的工作一般來說回報都是不錯的，HEVC 今年獲得了第 69 屆的艾美工程獎，我也非常榮幸受邀參加了這個盛會。必須指出的是，雖然參加艾美獎活動的人只有十幾個，但是這套標準的制定積累了上千個工程師和科學家、研發人員的努力。

那我們一起來看一下 HEVC 是怎么在前一代標準的基礎上做到加倍壓縮的。這里是一個 H.264 的 Block Diagram，H.265 在此基礎上對每個模塊都做了很多改進，引入了新的技術甚至是新的模塊。由于今天時間有限不太會講的很具體，因為每一個技術又是一個新的講座。

首先關于編碼和預測單元的劃分。做過 264 的同學都知道，H.264 里面用的是 macroblock 的單元結構。在 265 里面我們用了更大、更多種、更靈活的單元劃分方式，并且它是遞歸的。在 Inter Prediction 方面，我們也做了不少新技術，包括更多形狀和大小的預測單元、Merge mode、AMVP, 新的 DCT based 插值濾波器，等等。在幀內預測方面，對比 264 里面 9 個 luma intra modes, 4 個 chroma intra modes, 265 用了 35 個預測模式對 luma, 其中包含 33 個方向性預測模式和 DC mode、 Planar mode。為了更有效的壓縮，35 個預測模式的壓縮方法也比 264 做了更新。在 transform 方面，除了變換模塊可以更大，變換模式也在 DCT 之上引入 DST，并且是根據預測模式進行切換。同時掃描方式也更靈活, 引入水平掃描、垂直掃描, 并根據預測模式進行切換。在環路濾波器方面，除了對 deblocking filter 進行改進還引入了一個新的環路濾波器 SAO。還有很多技術，今天因為時間關系只能浮光掠影地講一下。有興趣的同學歡迎線下找我討論技術細節。

我們來做一個 265 和 264 壓縮效率的比較。我們可以看到在所有的測試序列和測試條件下，平均來說 265 比 264 的壓縮效率提升了 35-40%, BD-rate。如果單單把 HD 測試序列拿出來看，265 比 264 的壓縮效率提升可以到 40-45%。我們做視頻、視覺或者圖像的同學都知道，數據是一回事，主觀感受也是非常重要的。我們也請了專門的人做主觀測試，結果是對于 HD 測試序列 265 比 264 可以提升 67%，對于 SD 測試序列 265 比 264 仍然可以提升 49%。這些數據都顯示 265 對比 264 達到了一個壓縮翻倍的目標。

做標準的人是永遠不會停下來的，標準這個事情是一代一代可以一直做下去的。對于下一代標準（還沒有正式名字，暫時稱「266」）的預研大概在 2013 年、2014 年很多公司就開始了，2015 年 10 月的時候，ISO/IEC、ITU 這兩個相愛相殺這么多年的組織決定一起來做下一代標準，成立了 JVET。又經過了兩年時間的共同研究，在今年十月標準組織發了正式的 CfP，明年初全球的公司、學校、科研人員又會帶著他們的解決方案來一起討論，在未來兩三年時間里面我們又會很努力的工作，爭取在 2020 年底完成下一代標準的制定。

剛才講我們對「H.266」已經做了很多預言，這張圖展示的是現在已經公開的一些編解碼工具，把這些工具放在一起，我們看到對于 4K 和 2K 的情況，我們已經有 35% 的 coding gain。這給了我們一定的信心可以努力去做出下一個壓縮翻倍的標準。需要指出的是，這是一個起點，不是一個終點，在未來兩三年里面，我們會進一步把 coding gain 的數值增大，把編解碼復雜度降低，帶給大家更好的體驗。

這大概就是我今天分享的關于視頻編解碼和國際標準的浮光掠影的簡單介紹。

騰訊音視頻實驗室現有成果和場景

下面我用簡單一兩分鐘時間介紹一下我們音視頻實驗室的一些其他成果和場景，也讓大家感受一下我們實驗室除了做充滿數據的編解碼之外還有一些可能更有趣的工作。

比如降噪，比如低照度處理，比如視頻超分，等等。因為我們要落地產品，所以我們的算法實質性要求很高。比如說這個任意目標跟蹤組件，它可以跟蹤一個移動很快的物體，當物體旋轉、顏色有改變，或者是被部分遮擋住的時候也不會丟失。在 iPhone 7+ 上測試是每秒一百幀的速度。我們的 TPG 組件提供了一套完整的圖像壓縮解決方案，被用于 QQ 空間，QQ 瀏覽器，騰訊手機管家，騰訊新聞，騰訊體育，天天快報等多款公司產品。

另外我們實驗室在語音方面也有很強的技術積累，一些成果比如語回聲抵消、降噪、變聲、3D 音效等等，歡迎同學們下午到我們音視頻實驗室分論壇進行深度技術交流和體驗 demo.

我們也在探索跟 AI 相關的課題，AI 語音降噪和分離，包括 AI 的語音美化。我們不僅只美化樣子，還要美化聲音，這是全方位的美化。還有 AI 輔助的音視頻的質量評估，流控，DL 輔助視頻編解碼等等。

以上是今天一個簡單的分享，非常感謝大家。

更多精彩資訊敬請關注雷鋒網 (公眾號：雷鋒網) AI 科技評論。

雷鋒網版權文章，未經授權禁止轉載。詳情見。