PlayStation已為一種幀生成技術申請專利,該技術可在下一遊戲幀渲染之前進行預測。
根據該專利(透過Patentlyze),PlayStation正在探索一種基於AI的幀生成方法,使用自編碼器模型預測即將到來的幀。該系統分析先前的幀、指示物體運動的運動向量以及最近的使用者輸入,以預測下一幀應該是什麼樣子。該模型由兩個神經網路組成,即編碼器和解碼器。編碼器將現有幀轉換為稱為影象嵌入的緊湊表示,其中捕獲重要的視覺資訊。解碼器隨後利用這些資訊生成一個合成幀,可在下一個真實幀準備好之前顯示。

這種方法不同於傳統的幀生成,傳統幀生成通常需要兩個已渲染的幀來在它們之間生成額外的幀。等待後續幀可能會在遊戲中引入額外的輸入延遲。索尼互動娛樂提出的技術改用幀外推法,基於已有資訊預測未來幀。在圖形硬體渲染下一個真實幀的同時顯示預測幀,這項技術可能有助於保持更流暢的遊戲體驗,而無需等待完整渲染過程。

雖然在兩個已知影象之間預測中間幀相對簡單,但在不完全知道接下來會發生什麼的情況下預測未來幀則構成了更大的挑戰。突然的鏡頭移動、意外的玩家動作以及新出現的物體都可能導致視覺不準確。該專利的插圖展示了這一侷限,顯示了預測幀與實際幀之間的差異。索尼互動娛樂還描述了一種更簡單的非AI備用方案,即沿運動方向移動畫素塊。
今年早些時候,在接受Digital Foundry採訪時,PlayStation架構師馬克·塞爾尼提到,FSR幀生成是索尼互動娛樂與AMD共同開發的,他期待未來更詳細地討論這一技術。如果該專利被整合到PlayStation主機的技術中,它可能會比現有技術提供更低的延遲。