AR/VR Engineer

2022-08-30 14:07:29 Обновление Lens Studio 4.28

Face Occlusion — если пользователь помещает объект перед своим лицом поверх маски, например руку или волосы, модель окклюзии скроет эту часть его лица, создавая более реалистичный опыт.

Отслеживание двух рук — это обновление расширяет текущее 3D-отслеживание рук, добавляя возможность отслеживать две руки одновременно. Фича актуальна для очков Spectacles.

Вопрос/ответ с VoiceML — с помощью этой фичи креаторы могут создавать интерактивные линзы вопросов и ответов. Пользователи Snapchat смогут задавать до 15 вопросов за один сеанс.

Spatial Persistence — возможность привязки линз к физическому местоположению.

Также Snapchat выпустили обновление своего приложения, и добавили возможность использования фронтальной и задней камеры одновременно с поддержкой AR линз.

AR/VR Designer Открыть/Комментировать

2022-08-30 12:39:06 Full Body VR Tracking Shoes

Компания Surplex готовится выпустить пару обуви для отслеживания всего тела в виртуальной реальности.

Каждый ботинок оснащен 240 гибкими датчиками давления и гироскопом. При использовании в тандеме с разработанным компанией алгоритмом обувь способна точно отслеживать ваши движения и переводить их в виртуальную реальность. Surplex обещает 6 часов автономной работы без подзарядки и простой процесс настройки.

Сайт проекта:
https://comingsoon.higizmos.com/surplex

Coming soon on Kickstarter.

AR/VR Designer Открыть/Комментировать

2022-08-16 13:32:59 PsyGan AR | World Scale AI Projection Mapping with Spark AR

Очень классный эксперимент от Шона Саймона.

В ходе эксперимента автор отсканировал с помощью LiDAR разные ракурсы реального пространства, запек их в Cinema4D, запроцессил с помощью VQGAN + CLIP и перенес в дополненную реальность с помощью Spark AR.

Больше информации о процессе в публикации автора.

AR/VR Designer Открыть/Комментировать

2022-08-14 14:36:08 echo3D: Облачные инструменты разработки для 3D, AR и VR-контента

Возможно кто-то из вас занимался разработкой AR/VR приложений и помнит сложности в работе с динамическим контентом? Приходилось писать и поднимать свой сервер, реализовывать логику управления контентом и зачастую она могла быть кастомной под решение определенных задач. Конечно, на это уходило дополнительное время, все это нужно где-то развернуть, а после еще и поддерживать. Ну или приложения по 2 гб, куда уже зашит весь контент и их никто не будет никогда качать?

Команда echo3D разрабатывает систему управления 3D-контентом (CMS), сеть доставки 3D контента ( собственный CDN ), а также масштабируемую инфраструктуру BaaS ( Backend as a Service ), которая позволяет разработчикам создавать серверную часть приложения 3D/AR/VR/Metaverse за считанные минуты.

Их кросс-платформенная система поддерживает почти любой клиентский 3D/AR/VR SDK, среди них Oculus SDK, ARCore, ARKit, Vuforia, WebXR, AR.js, Unity-based SDK, MagicLeap и многое другое. Используя подобные системы разработчики значительно экономят время на создании и обслуживании бэкэнда приложения.

Помимо этого echo3D умеет переобразовывать и сжимать 3D-модели, работать с анимированным контентом, а также предосталяет доступ к аналитике.

В общем и целом, звучит как очень полезный и перспективный продукт, но время покажет.

Также недавно команда получила инвестиции в размере 5,5 миллионов долларов во главе с Qualcomm Ventures.

Сайт проекта:
https://www.echo3d.co

AR/VR Designer Открыть/Комментировать

2022-08-01 12:27:16 All On Board!

All On Board! — платформа, позволяющая играть в настольные игры в виртуальной реальности для устройств, совместимых с Meta Quest и SteamVR.

Разработчики обещают поддержку всех популярных настольных игр. Также будет встроенный nocode редактор для создания собственных настольных игр и изменения существующих.

Если вдруг у вас или у ваших друзей нет VR устройства, то можно будет подключиться к комнате через "All On Board! Guest Mode App". У игроков, использующих гостевой режим, не будет настраиваемых аватаров. Однако они по-прежнему смогут взаимодействовать с другими игроками через голосовой чат, взаимодействовать с игровыми элементами, видеть доску на столе и аватары других VR игроков.

Поддержать проект можно на Kickstarter: https://www.kickstarter.com/projects/thegamekitchen/all-on-board

Напомним, ранее мы рассказывали про проект Tilt Five — AR очки со специальной доской для совместной игры в настольные игры. По результатам кикстартера ребята собрали 1.767.301$ и уже в этом месяце бейкеры получать свои девайсы.

AR/VR Designer Открыть/Комментировать

2022-07-28 13:57:02 Новый подход к 3D реконструкции лица от Microsoft

Во время European Conference on Computer Vision в 2022 году группа исследователей из Microsoft продемонстрировала новый метод реконструкции человеческих лиц в 3D. Метод, предложенный командой, способен точно предсказать в десять раз больше ключевых точек, включая точки для глаз и зубов.

По их словам этот подход также очень эффективен и работает в реалтайме на маломощных ноутбуках с одним процессором со скоростью более 150 fps.

Страница проекта:
https://microsoft.github.io/DenseLandmarks/

AR/VR Designer Открыть/Комментировать

2022-07-27 12:14:18 Реалистичный Deepfake Киану Ривз

Автор Not Face Video Studio создал цифровую версию актера Киану Ривза, которую практически невозможно отличить от реального человека.

Для создания дипфейка автор использовал инструмент Unreal MetaHuman, а также недавно выпущенную функцию Mesh to MetaHuman, которая позволяет легко превращать импортированный меш в трехмерного персонажа. Затем 3D-модель была доработана с помощью DeepFaceLab, приложения для создания дипфейков, это дало возможность добиться офигительного сходства с актером.

AR/VR Designer Открыть/Комментировать

2022-07-25 13:39:41 Процедурный генератор дорог для Blender

Blender артист Bbbn19 опубликовал генератор на основе геометрических нодов, который позволяет преобразовывать кривые линии в дороги.

Кривые можно размещать вручную или рисовать с помощью "curve draw tool". Дороги настраиваются и могут быть отредактированы на вкладке модификатора.

Купить плагин можно за $4+ на Gumroad: https://bbbn19.gumroad.com/l/vhjmqh

Процедурные генераторы значительно экономят время на создании окружения и на рынке уже достаточно много решений, во всех направлениях. Вот например Buildify 1.0, очень мощный ( еще и бесплатный ) генератор зданий. Или Geometry Nodes Tree, генераторов деревьев с возможностью создания реалтайм анимации роста.

В общем советую заглянуть в соответствующие разделы на Blender Market, Unreal Marketplace или Unity Asset Store, там много подобных решений

AR/VR Designer Открыть/Комментировать

2022-07-23 13:50:21 Новая нейронная сеть от NVIDIA для генерации 2D-изображений и их преобразования в 3D-объекты

Нейронка работает только с лицами людей и котов, результаты очень качественные и артефакты почти незаметны. На видео демонстрация синтеза изображений и рендеринга сцен в реальном времени.

Котики прям вообще крутые

Страница проекта: https://nvlabs.github.io/eg3d/

Код проекта: https://github.com/NVlabs/eg3d

AR/VR Designer Открыть/Комментировать

2022-07-16 14:34:44 Shopify разрабатывают AR приложение для примерки мебели

Для сканирования реального помещения Shopify планирует использовать Room Plan API. В целом никакого ноу-хау и собственных технологических прорывов, но тем не менее это третий крупный ретейлер, который планирует использовать AR в таких целях.

Напомним, ранее мы рассказывали про AR приложение IKEA Kreativ от Ikea и AR приложение от Walmart. Приложение IKEA Kreativ выглядит намного перспективнее и продуманнее с точки зрения UX. Ikea действительно постарались и несколько лет проводили активные ресерчи вместе с командой талантливых специалистов из Space10. Но конкуренция это отлично, и у Shopify есть хороший шанс выкатить крутой продукт.

Больше контента о будущем продукте в твиттере Russ Maschmeyer, продакт лида Shopify.

AR/VR Designer Открыть/Комментировать