Nvidia открыла код системы машинного обучения, синтезирующей пейзажи по наброскам

Компания Nvidia опубликовалаисходные тексты системы машинного обучения SPADE (GauGAN), синтезирующая реалистичные пейзажи на основе грубых набросков. Мы уже писалиновость о том, что GauGAN продемонстрировали на конференции GTC 2019 (GPU Technology Conference) в прошлом месяце, однако код опубликовали 12 апреля. Наработки открыты под свободной лицензией CC BY-NC-SA 4.0 (Creative Commons Attribution-NonCommercial-ShareAlike 4.0), допускающей использование только в некоммерческих целях. Код написан на языке Python с применением фреймворка PyTorch.

Характер генерируемых объектов пейзажа задаётся при помощи цветовых меток. Например, голубая заливка преобразуется в небо, синяя в лужи, тёмно-зелёная в деревья, светло-зелёная в траву, светло-коричневая в камни, тёмно-коричневая в горы, серая в снег, коричневая линия преобразуется в дорогу, а синяя линия в реку.

Дополнительно на основе выбора эталонных изображений определяется общий стиль композиции и время суток. Система учитывает картинку в целом, например, если пользователь изобразил рядом с деревом реку, то прорисуется отражение этого дерева на поверхности воды.

Объекты синтезируются генеративно-состязательной нейронной сетью (GAN), которая на основе схематичной сегментированной карты создаёт реалистичные изображения, заимствуя детали из модели, предварительно обученной на нескольких миллионах фотоснимков. Для достижения реалистичности применяются двеконкурирующие друг с другом нейронных сети: генератор и дискриминатор.

Генератор формирует изображения на основе смешивания элементов реальных фотографий, а дискриминатор выявляет возможные отклонения от реальных изображений. В итоге формируется обратная связь, на основе которой генератор компонует более качественные образцы до тех пор, пока дискриминатор не перестанет отличать от настоящих.

Предлагаемый инструмент для создания виртуальных миров может оказаться полезным широкому кругу специалистов, от архитекторов и планировщиков городской среды до разработчиков игр и ландшафтных дизайнеров.