瀏覽單個文章
tdanny
Major Member
 
tdanny的大頭照
 

加入日期: Mar 2012
文章: 239
DLSS 3.0 的光流補幀與VR 上的非同步空間扭曲

老黃於GDC 的發佈會中, 介紹DLSS 3.0 支援光流補幀讓CPU-bound 的微軟模擬飛行的幀率翻倍,
覺得很神奇, 不過腦中首先冒出的想法有幾個:
1. latency 會不會爆高, 適合realtime的遊戲情境嗎?
2. 用光流法來補幀(frame), 根本是補出動態模糊吧?
3. 為啥有點似曾相識的感覺?

參考Digital Foundry 的測試 , DLSS 3.0 的補幀確實增加 latency,
但也許是因為有專用硬件(體?)之故, 似乎還能接受?

後來熊熊想到,
在多年以前, 相關VR 產業就因為硬件不夠力, 搞出一堆Spacewarp 技術?
比較近期的就是 Virtual Desktop 的SSW (Synchronous Spacewarp) 和Meta (前Oculus)的 Mobile ASW ,
這兩個都是使用高通芯(晶?)片 Snapdragon XR2 提供的硬件 motion prediction 功能做補幀,
當時的案例也是在 VR 環境下讓微軟模擬飛行的幀率翻倍, 難怪我一直覺得似曾相識 XD
而且極度看重latency 的VR應用下也適用 ...

反過來說, DLSS 3.0 的這個功能,
其實FSR 或 XeSS 也可以用其他通用硬件/算法的方式來實現, 還有很多現成的東西可以抄XD
不是說只有AI或ML 可以搞

突然冒出一個想法 ...
如果用RTX 4090 開DLSS 3.0, 在VR 中開啟 Modile ASW 遊玩微軟模擬飛行, 不知道會不會加速四倍
     
      
舊 2022-10-08, 06:41 PM #1
回應時引用此文章
tdanny離線中