Полностью локальная генерация объемных VR-миров прямо внутри Unity в реальном времени.Интересный проект от подписчика Олега (@heilagr_s)
Для получения честного 6DOF (с возможностью наклоняться и заглядывать за объекты) реализован пайплайн генерации глубины и инпейнтинга окклюзий на лету.
Как это работает:1.
Генерация (Text-to-Image): – Используется stable-diffusion.cpp через C# биндинги прямо в движке.
– Включен Circular Padding на уровне инференса. Это дает идеальный бесшовный стык краев без пост-процессинга.
– Модель: Z-Image-Turbo + 360° LoRA.
2.
Карта глубины: – Генерируется через Depth Anything V2 с помощью Unity Sentis.
3.
Волюметрика и слои: – Сцена нарезается на 5 слоев на основе гистограммы глубины. Это создает эффект 2.5D, но при разделении слоев за передними объектами образуются пустоты.
4.
Инпейнтинг: – Пустоты на задних планах заполняются через LaMa (также с помощью Unity Sentis). Инпейнтится и цвет, и глубина.
5.
Рендеринг: – Кастомный Raymarching шейдер. Каждый слой имеет свою карту глубины.
Такой подход дает корректный параллакс без резиновых растяжений текстур, свойственных обычному дисплейсменту.
https://www.reddit.com/r/StableDiffusion/comments/1qde674/
@cgevent
