Prezentatsia

Пример 3D-модели человека

3D-сканирование человека активным сканером

Установка для 3D-сканирования актёра в реальном времени

Пример ретопологии

Почему же нейросети быстрее?
Легче распараллеливаются
Возможен их запуск на графических ускорителях
Во время предсказывания не используются итеративные методы оптимизации

Способы представления 3D-модели
В виде тензора её вершин
В виде проекции её на UV карту

Представление 3D-модели через UV-карту

Визуализация свёрточного слоя

Визуализация слоя MaxPooling

График сигмоиды

График функции ReLU

График функции LeakyReLU

Прочие слои
Полносвязный
BatchNormalization
Dropout

Структура нейросети с ПС декодером
Входное изображение 240x320
Свёрт. 3 × 3, 1 → 64, шаг 2 × 2, ReLU
Свёрт. 3 × 3, 64 → 64, шаг 1 × 1, ReLU
Свёрт. 3 × 3, 64 → 96, шаг 2 × 2, ReLU
Свёрт. 3 × 3, 96 → 96, шаг 1 × 1, ReLU
Свёрт. 3 × 3, 96 → 144, шаг 2 × 2, ReLU
Свёрт. 3 × 3, 144 → 144, шаг 1 × 1, ReLU
Свёрт. 3 × 3, 144 → 216, шаг 2 × 2, ReLU
Свёрт. 3 × 3, 216 → 216, шаг 1 × 1, ReLU
Свёрт. 3 × 3, 216 → 324, шаг 2 × 2, ReLU
Свёрт. 3 × 3, 324 → 324, шаг 1 × 1, ReLU
Свёрт. 3 × 3, 324 → 486, шаг 2 × 2, ReLU
Свёрт. 3 × 3, 486 → 486, шаг 1 × 1, ReLU
Dropout, p = 0.2
Полносвязный 9720 → 160, линейная
Полносвязный 160 → 60000, линейная

Архитектура DecoMR

Пример IUV карты

Выводы
Получение высококачественных 3D-моделей очень востребовано
Стандартные способы (активный и пассивный) слишком медленные
Для ускорения можно использовать нейронные сети
Нейронная сеть с ПС декодером простая в обучении и быстрая
DecoMR устанавливает связь между изображением и 3D-моделью