正在閱讀﹕ 深度解讀數碼科技“AI重塑視頻內容”新途徑

深度解讀數碼科技“AI重塑視頻內容”新途徑

2018-12-03 16:16來源﹕光明網

調查問題加載中﹐請稍候。
若長時間無響應﹐請刷新本頁面

  2018年11月29日下午﹐第六屆中國網絡視聽大會規模最大的分論壇--“更清晰更美麗更安全--AI重塑視頻內容新時代發展論壇”成功召開。論壇由光明網﹑國家廣播電視總局廣播科學研究院﹑數碼視訊科技集團共同主辦﹐吸引了業界300余名行業專家﹐共同探討AI與4K這兩大內容新時代的行業焦點方向。

  作為論壇主辦方之一﹐數碼視訊科技集團由融媒體事業部總經理王雪發表了緊扣論壇主題的演講﹐從4K的內容﹑應用﹑產業化生態等多個角度出發﹐剖析問題並闡述了新時代AI對於4K產業的服務和賦能﹐層層遞進﹐提出了三個核心點﹕應用於內容修復和4K重建的“AI視頻算法族”﹑應用於4K視頻傳輸的動態壓縮﹑無損傳輸和終端場景重構的“AI傳輸應用解決方案”﹑應用於建立水印信任體系和司法效力的“水印信息認證中心”。以下﹐復盤並解讀在大會提出的這三點“乾貨”內容。

  一﹑如何解決4K內容少的問題

深度解讀數碼科技“AI重塑視頻內容”新途徑

圖一AI服務4K內容﹐解決供需矛盾

  AI視頻算法族是數碼科技提出的一系列用於提昇視頻品質的AI算法﹐其中﹐最典型的超分辨率﹑增強﹑還原﹑修復這四種AI算法﹐可以從客觀指標和主觀觀感兩個方面﹐提昇視頻的質量。適用於老片翻新﹑高清轉4K﹑偽4K增強至4K等方面。以下這個應用實例﹐就是AI視頻算法族的一個實際應用場景﹐最終將老電影重建為4K內容﹐主﹑客觀指標均達到央視4K標準。

深度解讀數碼科技“AI重塑視頻內容”新途徑

  圖二AI視頻算法族的應用實例﹕《13朵玫瑰》4K化

  1.超分辨率算法

  將低分辨率視頻重構成高分辨率視頻。相比于很多企業理解的“上變換”﹐AI超分辨率處理使用了深度學習技術﹐可通過特徵提取﹐特徵維度變換﹐非線性鏈接﹐映射﹐反卷積放大等過程﹐並經過神經網絡處理﹐可以讓視頻在提昇分辨率的同時﹐獲得與分辨率同等級的畫質。而上變換僅僅是通過像素的簡單複製與漸變﹐來填充因為分辨率拉伸而出現的畫面空缺。需要特別強調一下的是﹐基於深度學習的特性﹐針對不同類型的內容﹐分別建立了不同的AI超分算法庫﹐如旅遊﹑動漫﹑運動等﹐讓超分算法在各自專精的視頻領域成熟和精進。

深度解讀數碼科技“AI重塑視頻內容”新途徑

圖三AI超分的實例《聖斗士星矢》

  2.AI視頻增強算法

  從主觀和客觀指標兩個方面﹐對內容進行二次提昇的增強算法﹐如去噪﹐通過噪點捕捉及填充技術﹐進行全圖去噪﹐讓畫面更清晰﹔色域變換﹐將BT/709映射為BT.2020﹐使圖像色彩更豐富﹔智能插幀﹐將25/30幀的節目變為50/60幀﹐使畫面更流暢﹔動態轉換﹕將SDR變換為HDR﹔讓畫面對比更強烈等等。通過種種技術的結合使用﹐提昇內容質量﹐也提昇了內容價值。

深度解讀數碼科技“AI重塑視頻內容”新途徑

圖四AI視頻增強的實例《生命禮讚》

  3.視頻還原

  對一些因為過爆﹑編碼錯誤等導致畫面失真的視頻﹐通過AI識別和分析﹐智能還原色彩﹑景深等﹐對失真畫面進行逆向修復。對於老舊視頻的翻新具有很好的效果。

深度解讀數碼科技“AI重塑視頻內容”新途徑

  圖五AI視頻還原的實例《三國演義》

  4.視頻修復

  對於視頻中的毛刺﹐馬賽克等缺失畫面信息﹐深度訓練後的AI修復算法通過比歲周圍像素信息﹐基於圖像特徵數據﹐生成所缺失部分內容。從而達到畫面的完整﹐清晰﹐流暢。如果視頻增強﹑視頻還原等技術屬於“錦上添花”﹐那麼視頻修復就絕對稱得上“無中生有”。不過視頻修復的效果與算法的成熟程度(不同的聯想與生成策略)﹐學習訓練的數據量(需要大量數據訓練才能獲得比較良好的畫面特徵感知效果)﹐還有畫面本身細節變化的豐富性具備強相關性﹐所以﹐還有不斷的優化﹑進步空間。

深度解讀數碼科技“AI重塑視頻內容”新途徑

  圖六AI修復的實例《北京一隅》

  二﹑如何解決4K內容傳輸和應用的問題

深度解讀數碼科技“AI重塑視頻內容”新途徑

圖七AI服務傳輸與應用

  實際上﹐4K內容的大碼率一直是它的阿克琉斯之踵﹐制約了它更廣泛的應用。雖然從H.264/AVS+到H.265/AVS2﹐編碼格式的不斷提昇一次次試圖解決圖像碼率的問題﹐但是高壓縮率帶來的不祗是更低的節目帶寬﹐同時還有不可避免的圖像質量損失。這個章節的內容﹐是從內容端到傳輸鏈路再到終端﹐結合AI技術﹐提出兼顧圖像質量和視頻碼率壓縮之間的平衡點的解決方案。

  1.AI動態壓縮的前端視頻深度壓縮技術

  AI動態區域壓縮是其中一個解決方案。方案的核心思想﹐是在前端通過對畫面中運動目標的監測﹐動態地﹑分區域地調整同一個畫面中不同部分的壓縮碼率。快速運動部分的信息量大﹐就採用相對高的壓縮率﹔慢速運動或者靜止部分的信息量小﹐就採用相對低的壓縮率。然後根據畫面的不斷變化﹐持續調整多種壓縮率的比例和區域﹐某種程度上其原理就相當於單個節目的統計復用。

  通過這種方式﹐在盡量保證4K內容質量的前提下﹐達到最大的圖像壓縮率﹐盡可能地降低傳輸帶寬﹐從一個側面上解決4K節目傳輸難的問題。

深度解讀數碼科技“AI重塑視頻內容”新途徑

圖八AI服務前端視頻壓縮﹕基於運動目標檢測的深度壓縮視頻編碼

  2.AI淺壓縮的4K無損傳輸技術

  4K現場直播是4K內容的一大重要來源﹐尤其是大型活動的現場直播﹐比如演唱會或者體育比賽﹐這些因為其內容特殊性﹐是最先展開4K化嘗試的。不過因為4K內容編輯的複雜性遠超高清﹐所以目前現場編輯的方式成本過高﹐效率也不能讓人滿意﹐內容傳輸到後端進行編輯是目前的主流方式。為了提高內容效果﹐編輯的素材越清晰﹐效果越好。而這又提出了4K的超高碼率與現有傳輸系統不匹配的問題﹐好的內容傳不回來﹐或者傳回來質量達不到4K﹐做不出好的4K節目。

深度解讀數碼科技“AI重塑視頻內容”新途徑

圖九4K現場直播場景

  對此﹐前面提到的AI視頻動態壓縮是一個解決方案方式﹐那是在前端去解決。這裡﹐基於AI淺壓縮技術的4K無損傳輸是另一個解決方案﹐是在傳輸環節想辦法。

  如果是在質量優先的指導思路下﹐就需要盡可能地把現場素材完整的傳回去﹐盡量不在前端進行有損畫面信息的劇烈圖像壓縮。因此這裡提出了基於AI視頻特徵策略以及SMPTEST2110﹐2059-1/-2﹐2022-6等淺壓縮標準的基帶化IP傳輸方案﹐可以把現場採集到的基帶信號在盡量不損失畫面信息﹐或者損失那些易恢復的﹐人眼難以察覺的的畫面信息前提下﹐由基帶信號轉化為適合遠距離傳輸的IP信號﹐通過光纖等方式傳回後方編輯中心。實際上這種方式的雛形﹐國外同行在之前的法國歐洲杯就已經開始了嘗試﹐緊靠淺壓縮標準進行轉化就可以取得很好的效果。而在AI視頻特徵策略的輔助下﹐可以達到同質量下更大的壓縮力度﹐或者同帶寬下更完好的視頻信息保留。

深度解讀數碼科技“AI重塑視頻內容”新途徑

  圖十AI服務4K無損傳輸﹕基於淺壓縮的4K無損傳輸

  3.AI終端場景重構

  事實上﹐很多情況下﹐拿到的內容或者傳輸鏈路都不受控制﹐質量達不到要求。這個時候就需要更加靈活的視頻質量保障方案﹐在終端嘗試解決問題。為此﹐基於視頻場景識別的4K內容場景重構技術﹐可以把低質量內容消滅在最後一環。

  簡單來說﹐就是現場採集設備簡陋不要緊﹐傳輸網絡狹窄也沒關係﹐祗要把畫面中的關鍵信息傳回來﹐配合AI圖像場景重構技術﹐通過一系列的修復﹐超分等技術處理﹐可以把素材恢復到高清或4K級別﹐這樣進行編輯製作後﹐也可以得到4K級別的內容。這種方式能極大地擴展4K內容的來源﹐同時也可以輻射到監控﹐探測等傳統專業視頻領域﹐打破這些領域裡已有採集終端與傳輸鏈路對4K節目的制約。

  同樣﹐因為AI場景重構策略是基於深度學習技術的﹐所以根據不同的專業領域﹐需要建立不同的算法庫去進行訓練提昇﹐最後恢復的效果會越來越專業﹐越來越好。

深度解讀數碼科技“AI重塑視頻內容”新途徑

圖十一AI終端場景重構

  4.AI視頻服務于應用

  上述三種傳輸方案﹐都是基於對視頻內容特徵和關鍵信息的識別﹐通過AI算法﹐進行相關訓練和分析﹑處理。在這裡﹐額外引申兩種比較常見的﹐基於對視頻AI識別和分析的應用。

  1﹑基於人臉識別的場景疊加﹕通過AI算法﹐可以更加精細化的掌握人臉特徵﹑環境特徵﹐然後匹配更優化的場景解決方案﹐比如試妝﹔2﹑基於人臉的視頻信息識別﹕通過深度學習技術﹐可以更精准掌握一段視頻中的關鍵信息或者特定信息﹐進而配合應用系統﹐做更為精確的操作﹐如關鍵人物識別﹑敏感信息識別等。

深度解讀數碼科技“AI重塑視頻內容”新途徑

圖十二AI服務視頻應用

  三﹑如何保障4K內容生態的安全和健康發展

深度解讀數碼科技“AI重塑視頻內容”新途徑

圖十三4K生態健康發展的保障

  4K內容的稀缺性和高價值﹐事實上﹐會加速內容安全行業的進一步發展。市場上常見的兩種內容安全管理技術--DRM和數字水印﹐正是從對內容盜版﹑盜播﹑盜用的“防守”和“反擊”兩個層面進行保障。DRM﹐一套成熟的加﹑解密和授權體系﹐從技術和商業化兩個層面上﹐目前都已逐步成熟﹑完善。ChinaDRM的標準化﹐解決了技術壁壘﹐CDTA認證﹐規範了第三方認證的商業模式。而數字水印技術﹐目前在國內還處於各廠家獨立發展的階段﹐未形成商業體系。

深度解讀數碼科技“AI重塑視頻內容”新途徑

圖十四數字水印

  數字水印﹐一種在多媒體文件內嵌入數字信息的技術。通過“加水印”和“水印鑒定”兩個步驟﹐可以快速比對並確定視頻的來源﹐是一種有效的“盜版溯源”的方案。尤其在4K時代﹐內容的稀缺性從根本上反映出“盜版溯源”的商業價值。一個對盜版源有效的司法鑒定和追溯﹐帶來的價值是巨大的。但在當下﹐數字水印的公司既是選手又是裁判﹐“加水印”和“鑒定水印”處於“自說自話”的狀態﹐缺乏第三方監管與法律認證﹐無司法效力。

  參考國外成熟的市場和DRM的成功案例﹐一個可靠的第三方水印信息認證平臺﹐能夠最大化數字水印的法律效力﹑打通水印的信任鏈條。

  第三方水印信息認證中心﹐是規範水印標準的平臺﹐也是對所加注的水印信息進行一次簽名的平臺。通過平臺“簽名”﹐認證企業“解簽”的模式﹐保證了水印信息的客觀﹑有效。

深度解讀數碼科技“AI重塑視頻內容”新途徑

  圖十五第三方水印信息認證中心--最大化水印的效能

  四﹑“AI”視頻戰略

深度解讀數碼科技“AI重塑視頻內容”新途徑

圖十六AI視頻戰略

  “視頻”是數碼科技產品﹑技術﹑市場的核心聚焦點﹐是企業的“DNA”。“AI”視頻戰略是圍繞“視頻”核心定位﹐面向超高清時代更廣泛的視頻應用前景和市場﹐在自主算法﹑產品﹑平臺的基礎上﹐提出的讓視頻“更清晰﹑更安全﹑更暢通﹑更美麗﹑更輕鬆”的戰略方向﹐以此為抓手﹐進一步更好地服務于廣電﹑政府﹑內容製作發行﹑教育﹑金融等行業領域。

(劉煉)

[責編﹕楊帆]

閱讀剩餘全文(

相關閱讀

您此時的心情

新聞表情排行 /
  • 開心
     
    0
  • 難過
     
    0
  • 點讚
     
    0
  • 飄過
     
    0

視覺焦點

  • 走進西藏民主改革60周年特展

  • 京都縱火案已致33人死亡

獨家策劃

推薦閱讀
7月18日﹐玉溪市澄江縣撫仙湖之聲合唱團在表演合唱《回家》。7月18日﹐第六屆中國聶耳音樂(合唱)周玉溪分會場“聶耳杯”合唱展演頒獎晚會在雲南省玉溪市聶耳音樂廳舉行﹐來自全國16個省區市的20支合唱團決出了本次展演一﹑二﹑三等獎和優秀指揮獎﹑優秀鋼琴伴奏獎﹑優秀合唱新作品獎。
2019-07-19 14:59
當日﹐為期4天的2019中國國際消費電子博覽會在山東青島開幕。當日﹐為期4天的2019中國國際消費電子博覽會在山東青島開幕。當日﹐為期4天的2019中國國際消費電子博覽會在山東青島開幕。
2019-07-19 14:57
7月17日﹐在蘇丹法希爾超級營地﹐聯合國和非洲聯盟駐達爾富爾聯合特派團(聯非達團)副聯合特別代表安妮塔‧奇奇‧格貝女士為中國第二批赴蘇丹達爾富爾維和直升機分隊官兵授勛。聯非達團17日在蘇丹法希爾超級營地內為中國第二批赴蘇丹達爾富爾維和直升機分隊全體140名官兵授予和平榮譽勛章。
2019-07-19 08:47
當日﹐美國伊利諾伊州中部地區聯邦法院法官詹姆斯‧沙迪德宣佈﹐2017年綁架和謀殺中國訪問學者章瑩穎的布倫特‧克里斯滕森被判處終身監禁且不得假釋。新華社記者 汪平 攝  7月18日﹐在美國伊利諾伊州皮奧里亞﹐克里斯滕森的辯護律師羅伯特‧塔克抵達聯邦法院。
2019-07-19 08:40
在永州市零陵區富家橋鎮漁池頭村﹐救援人員轉移受災群眾(7月14日無人機拍攝)。新華社發(陳思汗 攝)  在衡陽市衡東縣霞流鎮受災群眾安置點﹐霞流鎮衛生院工作人員為災區群眾服務(7月11日攝)。
2019-07-19 08:36
在山丹馬場﹐幾匹種公馬在馬圈內休息(7月17日無人機拍攝)。盛夏七月﹐位於甘肅省河西走廊中部﹑祁連山北麓的山丹馬場綠草如茵﹐成群的駿馬在馬圈和草原休息吃草﹐十分壯觀。盛夏七月﹐位於甘肅省河西走廊中部﹑祁連山北麓的山丹馬場綠草如茵﹐成群的駿馬在馬圈和草原休息吃草﹐十分壯觀。
2019-07-19 08:36
近期﹐大熊貓姐弟思嘉和佑佑在黑龍江省亞布力滑雪旅遊度假區的中國亞布力熊貓館“定居”已滿三年。據介紹﹐大熊貓思嘉和佑佑于2016年7月從位於四川的中國大熊貓保護研究中心北上來到黑龍江。
2019-07-19 08:35
這是7月18日在日本“京都動畫”東京辦公室所在的建築物前拍攝的一束民眾留下表示哀悼的花。據日本媒體18日晚援引京都市消防局的消息報道﹐當天發生的京都動漫工作室縱火案已導致33人死亡﹐另有36人受傷。
2019-07-19 08:34
隨著氣溫逐日昇高﹐北京動物園啟動了動物防暑降溫措施﹐飼養部門結合動物習性採取24小時恆溫空調﹑冰塊降溫﹑自動噴淋系統﹑模擬戶外水池﹑高水分水果﹑青飼料降溫等數十項降溫和飲食措施﹐讓動物舒適安全度過“三伏天”。
2019-07-19 08:30
7月17日﹐空中俯瞰南麂島上一家臨海的小木屋特色民宿(無人機拍攝)。新華社記者 徐昱 攝  7月17日﹐空中俯瞰南麂島上一家臨海的懸崖民宿酒店(無人機拍攝)。
2019-07-19 08:17
這是7月17日無人機拍攝的重慶市酉陽縣南腰界鎮。新華社記者 劉潺 攝  這是7月17日拍攝的重慶市酉陽縣南腰界鎮紅三軍司令部舊址內陳列的紅三軍使用過的印章。
2019-07-19 08:15
7月18日﹐2019上海國際友好城市青少年夏令營的開營儀式上﹐營員代表(右)揮舞營旗。新華社記者 劉穎 攝  7月18日﹐2019上海國際友好城市青少年夏令營的開營儀式上舉行燈光秀。
2019-07-19 08:12
新華社記者 陳誠 攝  7月18日﹐在南非約翰內斯堡﹐學生們參加曼德拉國際日紀念活動。新華社記者 陳誠 攝  7月18日﹐在南非約翰內斯堡﹐志願者和公益組織工作人員用食品罐頭製成畫作﹐紀念曼德拉國際日。
2019-07-19 08:10
7月17日﹐在法國巴黎塞納河畔﹐一名女子騎車經過沙灘節的一處飲品店。新華社記者 高靜 攝  7月17日﹐在法國巴黎塞納河畔﹐一個小男孩在沙灘節設置的躺椅上休息。新華社記者 高靜 攝  7月17日﹐在法國巴黎塞納河畔﹐人們在沙灘節設置的躺椅上休息。
2019-07-19 08:08
當日﹐美國伊利諾伊州中部地區聯邦法院法官詹姆斯‧沙迪德宣佈﹐2017年綁架和謀殺中國訪問學者章瑩穎的布倫特‧克里斯滕森被判處終身監禁且不得假釋。新華社記者 汪平 攝  7月18日﹐在美國伊利諾伊州皮奧里亞﹐克里斯滕森的辯護律師羅伯特‧塔克抵達聯邦法院。
2019-07-19 08:03
加載更多