近日，抖音與火山引擎超清修復了“Beyond1991生命接觸演唱會精選”“別了家駒十五演唱會精選”兩場演唱會。修復后的效果立竿見影，無論是在畫面還是音質上都有了質的提升，讓人眼前一亮，不少網友看后歡呼“爺青回”。這究竟是如何做到的，以后老舊音像資料都可一鍵翻新嗎？
超清修復，幾代人的青春記憶被喚醒
據(jù)了解，為了提升觀看和聽感體驗，再現(xiàn)Beyond經典之作，火山引擎對其從畫質和音質兩個方面進行了修復。“我們的目標是從畫面整體清晰度、人像五官復原度、色彩亮度、流暢度、美觀度等方面對畫質進行提升。”火山引擎相關負責人介紹。
修復后，人物面部的胡須、毛孔清晰可見，給觀眾帶來更佳視覺感受。正如有網友觀后感稱，“超清修復后，看到了黃家駒細微的表情和眼中的光。”在畫質上，視頻分辨率從不足540p提升到接近4K水平，幀率從25fps提升到60fps。
在音質修復方面，火山引擎音頻技術團隊通過音頻降噪、音頻超分和響度算法，消除噪聲提升音質，解決響度、噪聲干擾、帶寬不足等問題。修復后在保留音樂和人聲的前提下，抑制了周圍噪聲，原始音頻的高頻部分還得到了拓展和增強。
實際上，超清修復不只是提升了音畫清晰度，修復的還是影像背后的記憶，幾代歌迷因為Beyond隔空產生的共鳴和火花。例如，這次參與畫質修復技術團隊都是90年后出生的，他們?yōu)榇烁械脚d奮和驕傲。
北京大學法學院副教授江溯也是資深Beyond歌迷，他表示，Beyond的歌伴隨自己走過漫長歲月——到城里讀大學，考上研究生以及讀博士、出國學習，最終成為法學學者，甚至記不清自己打開多少次這場熟悉的演唱會視頻。
在7月3日的“Beyond超清修復演唱會官宣”直播中，無數(shù)網友在屏幕上打出，“看哭了。”“在漫長的黑夜，beyond無數(shù)次給我力量。”“當年陪我看DVD的朋友，你現(xiàn)在在哪里。”“80后報到、90后報到、00后報到……”這場直播最終以1.4億人次觀看的成績落幕。
如何做到的，背后用了哪些“黑科技”？
一般來說，老舊音像作品畫面模糊不清、受損嚴重；受限于原來的拍攝設備和環(huán)境，底噪較大，影片存在大量的過曝與死黑場景；上個時代的視頻編碼器壓縮效率低，會導致壓縮噪聲和紋理丟失，等等。
所以說對這種老舊作品的修復，難度可想而知。那么火山引擎究竟怎樣做到的呢？尤其市面上做老舊音像作品修復的企業(yè)也不少，火山引擎有什么不一樣嗎？一個顯著區(qū)別是，一些企業(yè)普通的畫質修復算法對人臉處理不夠精細，可能是一個“模板”處理所有視角，而火山引擎自研了自適應人像增強算法。
據(jù)介紹，本次Beyond演唱會人臉有不同大小(近景/中景/遠景)、不同姿態(tài)(側臉/俯視/仰視)的場景，如何調節(jié)不同大小、姿態(tài)的人像修復效果而且跟背景不會造成明顯差異，成了本次修復的一個難點。
“針對演唱會場景中多角度的人臉，包括正臉，側臉，俯視，仰視，還有一些被樂器/話筒遮擋的人臉，火山引擎自研的自適應人像增強算法在各種極端場景下都有較好的修復效果，穩(wěn)定性強。”火山引擎多媒體實驗室研究員趙世杰表示。
趙世杰進一步表示，基于深度學習模型，自適應人像增強算法在消除人臉整體的模糊和壓縮損傷的同時，進一步對人臉關鍵的五官重建，對眼睛、嘴巴、耳朵、皮膚甚至發(fā)絲都進行了細節(jié)重建和紋理添加，使得人臉清晰度更高更真實。
火山引擎音頻技術團隊研究員舒曉峰表示，火山引擎音頻降噪算法針對音樂場景和人聲場景實現(xiàn)了一個兼容的AI降噪算法，可以保留人說話/唱歌/音樂的同時，抑制其他的噪聲。
除了算法上的優(yōu)勢，在應用場景上，火山引擎也具備得天獨厚的條件。抖音、西瓜視頻等業(yè)務每天都會收到用戶海量的投稿，這里面既有 UGC，也有PUGC的，有專業(yè)的視頻，也有業(yè)余的拍攝，質量參差不齊，這些投稿都會經過火山引擎的自動優(yōu)化處理，對清晰度、色彩、瑕疵、失真等做自動的修復。“總結來說，我們擁有一個非常豐富的應用場景去優(yōu)化迭代算法。”火山引擎相關負責人介紹。
AI修復，會成為老舊音像作品修復“救星”？
據(jù)介紹，本次抖音直播超清修復的Beyond演唱會中，還應用了火山引擎畫質全鏈路端到端解決方案。該解決方案主要包括服務端分析系統(tǒng)、服務端視頻處理系統(tǒng)，客戶端解碼后處理系統(tǒng)。
一個完整的視頻消費鏈路包括了上傳、轉碼、傳輸、消費等，火山引擎在其中的多個環(huán)節(jié)中對視頻內容進行畫質、碼率、體驗的優(yōu)化。
以服務端視頻處理系統(tǒng)為例，它可根據(jù)上一環(huán)節(jié)輸出的最優(yōu)策略進行處理，組合多種算法模塊包括超分、降噪、HDR、編碼前處理、采樣等，該過程先獲取視頻畫質的上限，然后從碼率出發(fā)進行編碼預處理。
值得注意的是，這樣的技術除了應用在抖音中，也會對外開放。“修復經驗以及相關技術能力可以便捷地應用到其他的場景或者行業(yè)中。”趙世杰指出，目前這些技術能力均已通過火山引擎視頻云、音頻技術產品開放給外部。
修復不僅僅應用在演唱會、短視頻等領域，2021年10月，西瓜視頻及火山引擎推出“經典視頻4K修復計劃”，計劃通過技術手段，一年內修復百部經典動畫片，目前已完成71部。
修復經典是傳承，也是用數(shù)字技術最大化還原作品，帶來視聽新感受。“未來，我們會聯(lián)合火山引擎修復更多經典影像，讓經典煥發(fā)新生。”抖音相關負責人表示。