Polaroid на максималках: NVIDIA продемонстрировала нейросеть Instant NeRF

75 лет назад компания Polaroid начала свой жизненный путь. Она получила свою популярность благодаря фотоаппаратам с возможностью мгновенной печати снимков, что по сей день является весьма интересной технологией. NVIDIA решила своеобразно отпраздновать 75-летие компании и поделилась с общественностью своей нейросетью Instant NeRF (Neural Radiance Field).

Данная нейросеть необходима для создания трехмерного изображения из двумерных изображений. Проще говоря, позволяет из нескольких настоящих фотографий сделать полноценную виртуальную сцену, причем процесс создания длится всего несколько секунд, на что делается большой акцент в представленном видеоматериале.

В основе NVIDIA Instant NeRF лежит нейросеть NeRF, которую компания успешно доработала. Первая версия создавала трехмерные сцены за несколько минут, при этом её обучение занимало очень много времени. Для обучения модернизированной версии Instant NeRF требуется всего несколько минут, а создание сцены, как говорилось выше, занимает несколько секунд. Столь существенного результата удалось достичь за счет ускорения процесса тензорными ядрами.

«Если традиционные 3D-представления, такие как полигональные сетки, похожи на векторные изображения, NeRF подобна растровым изображениям: она плотно фиксирует то, как свет исходит от объекта или внутри сцены. В этом смысле Instant NeRF может быть важна для 3D так же, как цифровые камеры и сжатие JPEG для 2D-фотографии, значительно повышая скорость, простоту и доступность 3D-съемки», – Дэвид Любке (David Luebke), вице-президент NVIDIA по графическим исследованиям.