Sony запатентовала генерацию кадров, использующую данные с контроллера

В интернете была замечена патентная заявка от Sony на технологию Generation Super Sampling, описывающую генерацию искусственных кадров на основе искусственного интеллекта, но она отличается от конкурентных решений: для предсказания следующего кадра система использует не только уже отрисованное изображение и векторы движения, но и, при желании, данные с контроллера.

Обычная генерация кадров дожидается двух готовых кадров и вставляет промежуточный между ними, из-за чего растёт задержка. Sony предлагает иной подход: нейросеть, построенная на связке энкодера и декодера, берёт предыдущий кадр и предсказывает следующий ещё до того, как графический процессор закончит его отрисовку. Сгенерированное изображение выводится на экран, пока видеокарта занята настоящим кадром.

Нажатия кнопок контроллера дают нейросети больше сведений о том, что собирается сделать игрок, а векторы движения показывают, куда смещаются объекты на сцене. Описание не ограничивается одним следующим кадром: допускается предсказание сразу нескольких, то есть возможна и многокадровая генерация. Кроме того, в заявке упомянут и алгоритмический способ генерации, не задействующий возможности ИИ.