Qualcomm выпустила Adreno Neural Fusion SDK с ИИ-масштабированием и генерацией кадров

Qualcomm открыла разработчикам доступ к Adreno Neural Fusion SDK, который добавляет в мобильные игры масштабирование изображения и генерацию кадров на основе искусственного интеллекта. Сама технология Adreno Neural Fusion была представлена в начале сентября, а теперь компания выкладывает инструменты для её внедрения, в том числе с примерами и документацией на GitHub.

Работа технологии строится на двух алгоритмах, которые выполняются на графическом процессоре Adreno. Первый отвечает за масштабирование: игра рендерит кадр в половинном разрешении, а алгоритм восстанавливает его до родного разрешения. Для этого ему нужны цветовой буфер и буфер глубины, векторы движения и значение смещения для текущего кадра. Второй алгоритм создаёт промежуточные кадры: в первой версии SDK на каждый опорный кадр приходится один сгенерированный, то есть частота кадров вырастает вдвое, однако растёт и задержка, о чём компания говорит прямо.

По заявлению Qualcomm, основная проблема современных мобильных игр заключается в том, что рост разрешения неизбежно приводит к перегреву. Меньшее количество пикселей для расчёта снижает нагрузку на графический процессор, а ИИ должен сохранить детализацию и чёткость в движении. Работает всё это на новых блоках Adreno Matrix Cores, при этом компания обещает снижение энергопотребления до 40% по сравнению с прежней технологией Snapdragon Game Super Resolution.