Disney Research создали технологию подбора звука под изображение

Специалисты из Disney Research представили новую технологию, позволяющую при наличии визуального изображения предмета подобрать к нему аудиоряд. Эту технологию можно назвать разновидностью (или частью) «компьютерного зрения», если верить авторам проекта, способного не только распознать объект, но и дополнить изображение звуковой дорожкой.

Для этой цели используется своеобразный ИИ, обученный большим архивом видеозаписей, на которых был представлен центральный объект для распознавания. К сожалению, пока технология не отличается высокой точностью – система все еще путает объекты и может присвоить им не тот звук.

Впрочем, авторы проекта считают, что в будущем их разработка значительно упростит задачу создания видео и сможет помочь малозрячим людям.