PlayStation已为一种帧生成技术申请专利,该技术可在下一游戏帧渲染之前进行预测。
根据该专利(通过Patentlyze),PlayStation正在探索一种基于AI的帧生成方法,使用自编码器模型预测即将到来的帧。该系统分析先前的帧、指示物体运动的运动矢量以及最近的用户输入,以预测下一帧应该是什么样子。该模型由两个神经网络组成,即编码器和解码器。编码器将现有帧转换为称为图像嵌入的紧凑表示,其中捕获重要的视觉信息。解码器随后利用这些信息生成一个合成帧,可在下一个真实帧准备好之前显示。

这种方法不同于传统的帧生成,传统帧生成通常需要两个已渲染的帧来在它们之间生成额外的帧。等待后续帧可能会在游戏中引入额外的输入延迟。索尼互动娱乐提出的技术改用帧外推法,基于已有信息预测未来帧。在图形硬件渲染下一个真实帧的同时显示预测帧,这项技术可能有助于保持更流畅的游戏体验,而无需等待完整渲染过程。

虽然在两个已知图像之间预测中间帧相对简单,但在不完全知道接下来会发生什么的情况下预测未来帧则构成了更大的挑战。突然的镜头移动、意外的玩家动作以及新出现的物体都可能导致视觉不准确。该专利的插图展示了这一局限,显示了预测帧与实际帧之间的差异。索尼互动娱乐还描述了一种更简单的非AI备用方案,即沿运动方向移动像素块。
今年早些时候,在接受Digital Foundry采访时,PlayStation架构师马克·塞尔尼提到,FSR帧生成是索尼互动娱乐与AMD共同开发的,他期待未来更详细地讨论这一技术。如果该专利被整合到PlayStation主机的技术中,它可能会比现有技术提供更低的延迟。