На GTC 2022 исследовательская группа NVIDIA представила впечатляющую технологию Instant NeRF, которая может превращать 2D-фотографии в 3D-сцены за считанные секунды. Для этого исследователи использовали возможности ИИ, в частности, через так называемые поля нейронного излучения. NeRF используют нейронные сети для реконструкции сцены из изображений, предсказывая цвет света, излучаемого в любом направлении. NVIDIA утверждает, что Instant NeRF является самой быстрой технологией в своем роде, позволяя в некоторых случаях мультипликативное ускорение более чем в 1000 раз, так что рендеринг в 1080p происходит всего за миллисекунды.

Как обсуждал главный научный сотрудник Томас Мюллер в выступлении на GDC 2022 под названием «Мгновенные примитивы нейронной графики», этот сложный эффект является результатом трех основных улучшений: реализации алгоритма рендеринга/обучения для конкретной задачи на графическом процессоре, в котором используется мелкозернистый графический процессор; возможности управления потоком намного быстрее, чем плотные тензоры; полностью объединенная реализация небольшой нейронной сети, которая работает быстрее, чем процедуры умножения матриц общего назначения; наконец, NVIDIA разработала метод, называемый кодированием хэш-сетки с несколькими разрешениями, который не зависит от задачи и обеспечивает лучший компромисс между скоростью и качеством, чем ранее существовавшая работа.

Неудивительно, что модель Instant NeRF была разработана с помощью набора инструментов CUDA и библиотеки нейронных сетей Tiny CUDA. Вы можете глубже погрузиться в исследование и даже получить доступ к его коду на этой странице; по словам NVIDIA, нейронная сеть достаточно легкая, чтобы легко работать на одном графическом процессоре, особенно, если он оснащен тензорными ядрами.

Дэвид Любке, вице-президент NVIDIA по графическим исследованиям, заявил:
Если традиционные 3D-представления, такие как полигональные сетки, похожи на векторные изображения, то NeRF подобны растровым изображениям: они плотно фиксируют то, как свет исходит от объекта или внутри сцены. В этом смысле Instant NeRF может быть так же важен для 3D, как цифровые камеры и сжатие JPEG для 2D-фотографии, значительно повышая скорость, простоту и доступность 3D-съемки и обмена.

Применений для технологии Instant NeRF может быть много: от быстрого сканирования реальной среды или людей, чтобы создатели игр могли затем использовать цифровое сканирование в своих проектах, до обучения беспилотных автомобилей или роботов понимать форму и размер реальных объектов.