近幾年，深度計(jì)算的應(yīng)用可以說(shuō)是越來(lái)越廣泛了。

(資料圖)

舉個(gè)例子，過(guò)去幾年時(shí)間，國(guó)內(nèi)就有科研人員鼓搗著，用 AI 建立機(jī)器學(xué)習(xí)模型，對(duì)疫情可能擴(kuò)散的范圍和趨勢(shì)進(jìn)行預(yù)警，甚至還有科研人員通過(guò)訓(xùn)練 AI 深度學(xué)習(xí)，檢測(cè)病毒感染情況。

到了電腦領(lǐng)域，深度學(xué)習(xí)帶來(lái)的最大變化，可能就是英偉達(dá)隨著RTX 20系Turing架構(gòu)GPU引入的NVIDIA DLSS技術(shù)了。

通過(guò)預(yù)先訓(xùn)練好的AI模型，DLSS技術(shù)允許用戶在渲染一個(gè)較低分辨率的畫面的基礎(chǔ)上，結(jié)合深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)模型將其上采樣到設(shè)定的高分辨率，通過(guò)降低顯卡硬性負(fù)載的方式來(lái)提升游戲幀數(shù)。這樣就能在保證用戶畫面體驗(yàn)的情況下，讓游戲更加流暢地運(yùn)行。

（圖源：英偉達(dá)）

到了這里，有些思維活絡(luò)的讀者可能已經(jīng)想到了。DLSS技術(shù)本質(zhì)上是一個(gè)提升幀數(shù)+畫質(zhì)的技術(shù)，如果我們不將它應(yīng)用到游戲上面，而是通過(guò)現(xiàn)有模型對(duì)低分辨率視頻本身進(jìn)行超采樣呢？

那就是我們今天要聊的主角——RTX視頻超分辨率技術(shù)。

在線視頻之殤

事實(shí)上，應(yīng)該有不少人擁有著和小雷同樣的感受，那就是對(duì)于視頻畫質(zhì)的感知及要求明顯比過(guò)去高了不少。

以前只要手里端著臺(tái)手機(jī)，似乎480P、720P視頻都覺得清晰無(wú)比，而現(xiàn)在即便視頻網(wǎng)站普及了1080P、1440P甚至4K畫質(zhì)，但是肉眼看上去的感覺似乎總是讓人覺得差點(diǎn)意思。

（圖源：?jiǎn)袅▎袅ˊ犬山玉姬）

為什么在線視頻網(wǎng)站的分辨率提升了，但是實(shí)際畫質(zhì)卻變差了？

罪魁禍?zhǔn)?，在于視頻碼率。無(wú)論是視頻上傳時(shí)的標(biāo)準(zhǔn)化轉(zhuǎn)碼，還是對(duì)原始視頻進(jìn)行統(tǒng)一存儲(chǔ)、管理直到最后分發(fā)到用戶的設(shè)備上，這一整套流程的成本是十分昂貴的。

現(xiàn)如今，幾乎所有視頻平臺(tái)都面臨著嚴(yán)峻的營(yíng)收問(wèn)題，為了開源節(jié)流，他們選擇用壓縮碼率的方式來(lái)節(jié)約算力、帶寬與成本。盡管這樣可以維持視頻的分辨率，但是因?yàn)榇a率降低，最終呈現(xiàn)出來(lái)的視頻上不可避免地存在一些肉眼可見的偽影、殘像或噪點(diǎn)，這就是信息丟失。

盡管這些信息丟失大概率不會(huì)影響觀眾去完整理解視頻，但它們必然會(huì)影響到用戶的觀看體驗(yàn)。在2K、4K顯示器開始普及的當(dāng)下，人們的在線視頻體驗(yàn)反而一天不如一天，可謂是當(dāng)今視頻平臺(tái)的一大原罪。

（圖源：知乎@犬山玉姬）

沒想到，英偉達(dá)成為了第一個(gè)看不下去的。

在CES 2023 GeForce Beyond直播中，英偉達(dá)宣布了新的RTX視頻超分辨率（RTX Video Super Resolution）技術(shù)。

根據(jù)官方介紹，該技術(shù)原理和DLSS類似，可以利用深度學(xué)習(xí)和神經(jīng)網(wǎng)絡(luò)AI技術(shù)移除視頻壓縮的塊效應(yīng)并提高視頻分辨率，從而改善通過(guò)瀏覽器觀看的任何視頻的質(zhì)量，讓人們能夠在高分辨率顯示器上以原生分辨率觀看在線內(nèi)容。

（圖源：英偉達(dá)）

當(dāng)然，類似的技術(shù)其實(shí)并不是第一次出現(xiàn)，例如anime4k、waifu2x等算法在超分辨率方面已經(jīng)非常成熟，只可惜這些功能大多只能對(duì)本地視頻處理，而我們正在經(jīng)歷的卻是一個(gè)毋庸置疑的流媒體時(shí)代。

（Waifu2x技術(shù)展示）

作為對(duì)比，視頻超分辨率技術(shù)最大的應(yīng)用場(chǎng)景，正是流媒體領(lǐng)域，也就是我們平時(shí)在各種視頻平臺(tái)觀看的直播與視頻。根據(jù)官方介紹，無(wú)論是通過(guò)斗魚，虎牙，嗶哩嗶哩等平臺(tái)觀看您喜愛的主播的直播，還是觀看視頻主發(fā)布的視頻內(nèi)容，都能借助視頻超分辨率技術(shù)來(lái)獲取更高分辨率且高清的畫面。

對(duì)于狂熱的視頻愛好者而言，這無(wú)疑是喜事一樁。

畫質(zhì)的救世主？

問(wèn)題來(lái)了，技術(shù)有了，什么時(shí)候才能用上呢？

終于，在2月28日這天，英偉達(dá)正式發(fā)布了531.18 WHQL驅(qū)動(dòng)程序，該驅(qū)動(dòng)不但為支持DLSS 3的最新游戲提供最佳優(yōu)化體驗(yàn)，同時(shí)還實(shí)裝了用戶期待已久的視頻超分辨率技術(shù)。

（圖源：英偉達(dá)）

要想用上視頻超分辨率技術(shù)，我們需要準(zhǔn)備兩樣?xùn)|西。首先，是一張RTX 30/RTX 40系顯卡，目前僅有全新兩代顯卡才能使用視頻超分辨率技術(shù)，而RTX 20系顯卡支持將隨時(shí)間更新。

其次，則是v110版本或者以上的Chorme瀏覽器。目前只有Chorme瀏覽器加入了視頻超分辨率技術(shù)的支持，英偉達(dá)表示，未來(lái)使用Chormium內(nèi)核的Edge瀏覽器等第三方瀏覽器都會(huì)加入支持。

接下來(lái)就簡(jiǎn)單了，我們將驅(qū)動(dòng)更新到 531.18 WHQL 版本，并在英偉達(dá)控制面板中打開視頻超分辨率選項(xiàng)，就可以在最新版Chrome瀏覽器中看到效果。

目前視頻超分辨率共有4檔可調(diào)，其中第1檔性能要求最低，但畫面提升就沒有那么顯著；第4檔性能要求最高，但畫面效果也最好。英偉達(dá)表示，所有RTX 30/40顯卡都可以開啟第1檔質(zhì)量模式，但是只有70級(jí)及以上的高端顯卡才能播放第4檔內(nèi)容，用戶可以綜合自己的需求選擇。

我們先來(lái)看看英偉達(dá)提供的官方示例，這是一段在城堡上空盤旋的無(wú)人機(jī)航拍風(fēng)景視頻。

如圖所示，在開啟視頻超分辨率技術(shù)之后，原視頻中因?yàn)樾畔G失而缺少立體感的墻體變得十分清晰，每塊磚頭的縫隙都清晰可見，周圍的樹葉也從糊成一塊變得區(qū)分明顯，畫面細(xì)節(jié)感強(qiáng)了不止一個(gè)檔次。

（左：原圖，右：VSR，圖源：英偉達(dá)）

接下來(lái)測(cè)試流媒體內(nèi)容，為了盡最大可能展示超分辨率技術(shù)的性能，我們將畫面原生分辨率設(shè)置到360P，超分辨率設(shè)置為4檔，也就是它能夠接受的最低原生分辨率來(lái)展示效果。

首先是開箱視頻，如圖所示，在開啟視頻超分辨率技術(shù)后，刀身的圖像質(zhì)量有了顯著提高，不但有效抑制了噪點(diǎn)和鋸齒的產(chǎn)生，就連刀上面刻下的署名也變得清晰許多。

（左：VSR，右：原圖，圖源：youtube）

再來(lái)看看在相對(duì)復(fù)雜的游戲視頻中的表現(xiàn)，在這份APEX的游戲錄像中，視頻超分辨率技術(shù)讓槍身上的殘彈提示和靶子上面的圖案都清晰了不少，但是高速移動(dòng)時(shí)的殘影顯然無(wú)法處理。

（左：VSR，右：原圖，圖源：youtube）

考慮到整體輸入畫面只有360P，這樣的表現(xiàn)還是非常驚艷的。

當(dāng)然，開啟顯卡超分辨率功能，自然會(huì)存在功耗的提升。根據(jù)外媒tomshardware測(cè)試，顯卡功耗會(huì)隨著超分辨率擋位的上升而提升，在1檔的情況下會(huì)增加4W左右的待機(jī)功耗，4檔的情況下所需功耗則會(huì)翻倍。整體來(lái)說(shuō)，功耗增加情況并不明顯，但是存在功耗異常增加的情況，希望后續(xù)能夠修復(fù)。

（圖源：tomshardware）

普及仍需時(shí)日

最后，英偉達(dá)的視頻超分辨率技術(shù)有用嗎？

答案是有用的，經(jīng)過(guò)我們實(shí)際測(cè)試，在開啟視頻超分辨率技術(shù)后，碼率不足的視頻畫質(zhì)明顯提升了一個(gè)檔次，不僅銳度、亮度都有了顯著提升，而且很多視頻上傳過(guò)程之中所丟失的細(xì)節(jié)也會(huì)得到補(bǔ)充，原本的模糊感幾乎都不見了。

（圖源：英偉達(dá)）

但是，這并不意味著視頻超分辨率就是萬(wàn)能的。從目前測(cè)試的表現(xiàn)來(lái)看，這項(xiàng)技術(shù)可以讓畫面變得更清晰，但是并不能夠顯著提升視頻畫質(zhì)，而且對(duì)于動(dòng)態(tài)效果顯著的畫面也會(huì)出現(xiàn)失靈的情況。換言之，如果你的想法跟我一致，希望利用這項(xiàng)技術(shù)重看油管虛擬主播的打槍錄播的話，那體驗(yàn)其實(shí)并不會(huì)很好。

不僅如此，受到英偉達(dá)產(chǎn)品戰(zhàn)略的影響，目前視頻超分辨率技術(shù)僅支持RTX 40系列和RTX 30系列GPU，而這兩個(gè)系列的GPU在市面上的占比僅有不到20%。換言之，目前超過(guò)80%的用戶都無(wú)法享受到該功能，即便理論上RTX 20系顯卡也能在未來(lái)通過(guò)驅(qū)動(dòng)更新支持這一功能亦是如此。

好消息是，除了高貴的RTX 30、40系顯卡，根據(jù)Chorme更新的代碼顯示，其實(shí)英特爾的顯卡同樣支持這項(xiàng)功能。如果你擁有英特爾的核顯/獨(dú)顯，特別是Iris架構(gòu)的核顯，那么不妨馬上更新Chrome瀏覽器試試，說(shuō)不定就能省下一張RTX 30系列顯卡的價(jià)錢。

至于AMD ，目前是無(wú)緣了。

關(guān)鍵詞：