Render Diffusion

Подробнее о этой нейросети

Нейросеть RenderDiffusion является первой моделью диффузии для 3D-генерации и прогнозирования, которая может быть обучена только с помощью монокулярной 2D-надзора. В основе нашего метода лежит новая архитектура подавления шума изображения, которая генерирует и отображает промежуточное трехмерное представление сцены на каждом шаге подавления шума. Это обеспечивает сильную структуру в индуктивном процессе диффузии, что дает нам согласованное трехмерное представление, требуя только 2D-надзор. Полученное трехмерное представление может быть отображено с любой точки зрения. Мы оценили RenderDiffusion на наборах данных ShapeNet и Clevr и показали конкурентоспособную производительность для генерации трехмерных сцен и прогнозирования трехмерных сцен по изображениям 2D. Кроме того, наш подход на основе диффузии позволяет нам использовать заливку 2D для редактирования 3D-сцен. Мы считаем, что наша работа обещает обеспечить полноценную 3D-генерацию в масштабе при обучении на массовых коллекциях изображений, таким образом, обойдя необходимость в больших 3D-модельных коллекциях для надзора.