AR/VR Engineer

2021-11-17 12:36:08 Тактильные перчатки от Meta Reality Labs

Команда Reality Labs предоставила демку со своей реализацией тактильных перчаток для применения в виртуальной реальности. Они использовала решения из областей мягкой робототехники и микрофлюидики - технологий, обычно используемых в протезах конечностей и диагностических устройствах.

Для управления этими мягкими приводами они создают высокоскоростной микрожидкостный процессор - крошечный микрожидкостный чип на перчатке, который управляет воздушным потоком и перемещает приводы, сообщая клапанам, когда и как далеко открываться или закрываться.

В основном вся перчатка собирается руками инженеров, только некоторые базовые процессы автоматические. Производство перчаток в больших масштабах требует изобретения новых производственных процессов, так что на рынке мы их увидим не скоро.

Больше информации в блоге Tech Facebook.

А видео с процессором вы найдете в комментариях, выглядит эпично

AR/VR Designer Открыть/Комментировать

2021-11-11 23:19:44 8th Wall запустили Reality Engine

На волне хайпа многие компании пытаются так или иначе подтянуться в метаверс. 8th Wall тоже не остались в стороне и запустили Reality Engine - движок, который автоматически адаптирует WebAR опыт под разные устройства, включая смартфоны, планшеты, компьютеры и AR/VR/MR гарнитуры.

На самом деле это очень большой апдейт, который включает в себя следующий фичи:

- Кроссплатформенный интерфейс - интерфейс Web AR приложений будет автоматически подстраиваться под устройство пользователя.

- Кроссплатформенный Input System - с любого устройства пользователь сможет управлять AR опытом, как с помощью VR контроллеров, так и жестов, компьютерной мыши или же касаний экрана.

- Адаптивная среда - теперь контент будет отображаться в разной среде, в зависимости от устройства, то есть в AR, либо просто в 3D.

Пока что Reality Engine оптимизирован для смартфонов и планшетов на iOS и Android, PC, Microsoft HoloLens и Meta Quest.

Больше информации о релизе в блоге 8th Wall.

AR/VR Designer Открыть/Комментировать

2021-11-08 11:12:16 Snap Spectacles x Nike

Nike экспериментирует с AR опытом для бега в очках дополненной реальности Spectacles от Snap.

Некоторые эффекты выглядят действительно иммерсивно и трекинг достаточно стабильный.

AR/VR Designer Открыть/Комментировать

2021-11-02 13:06:41 Продолжаем песню "не виаром единым".
Никакой виар-шмиар не может передать тактильных ощущений.
Но у Meta AI уже есть ответы на эти вопросы.
Точнее протоколы о намерениях.

Лаборатория Meta AI, известная ранее как Facebook AI, сделала пост, в котором команда поделилась своими последними достижениями в обучении роботов восприятию, пониманию и взаимодействию с помощью прикосновений. По словам команды, тактильное восприятие, развивающаяся область робототехники, которая направлена на понимание и воспроизведение прикосновений на уровне человека в физическом мире, имеет важное значение для повышения эффективности взаимодействия роботов с окружающим миром.

Сдается мне роботы тут не на первом месте. Точнее привычные нам роботы.
Новые нормальные роботы будут окружать нас в реальном мире и трогать нас нужным образом, пока мы ныряем в метаверс, чтобы дать нам "полноту ощущений".

У Meta AI пока три технологии в разработке:

Digit: Недорогой, компактный тактильный датчик с высоким разрешением, предназначенный для "тонких" тактильных операций на "кончиках пальцев" робота. У него нет датчиков давления, он полагается только на свои камеры и алгоритмы компьютерного зрение.

ReSkin: Сенсорная “оболочка”, тонкая притом, грубо говоря искусственная кожа, которая учит роботов высокочастотному тактильному восприятию на больших поверхностях.
TACTO: Симулятор для тактильных датчиков, позволяющий ускорить платформу для экспериментов и поддерживать исследования ML даже при отсутствии аппаратного обеспечения.

А вообще, я уже не первый год твержу, что пора делать умную одежду. Там и датчиков можно вшить сколько надо, и данные снимать тоннами (и почище чем с браслетов), но и трогаться пользователя тоже можно, формируя нужные сигналы.

Сегодня вечером на стриме поговорим подробнее.
https://ai.facebook.com/blog/teaching-robots-to-perceive-understand-and-interact-through-touch Открыть/Комментировать

2021-10-29 15:03:52 Project Nazare

Следующий анонс от Meta, это Project Nazare, потребительские AR очки.

Говоря о Project Nazare, генеральный директор Meta Марк Цукерберг назвал эти очки «первыми полноценными очками дополненной реальности», но также указал, что они все еще находятся в стадии разработки:

«Чтобы получить ожидаемый внешний вид и функционал, необходимо проделать большую техническую работу. Мы должны разместить голографические дисплеи, проекторы, аккумуляторы, радиоприемники, нестандартные силиконовые чипы, камеры, динамики, датчики, чтобы отображать мир вокруг вас и многое другое, в очки толщиной около 5 мм. Так что у нас еще есть над чем поработать с Project Nazare, но мы уже добиваемся значительных успехов ».

Дата выхода устройства неизвестна.

AR/VR Designer Открыть/Комментировать

2021-10-29 11:50:07 Project Cambria

Помимо новостей о смене названия компании, Facebook Meta сделали множество различных анонсов, о которых мы кратко расскажем сегодня.

На очереди Project Cambria, устройство смешанной реальности ( Mixed Reality ). Марк Цукерберг описал ее как новую линейку продуктов, отдельную от линейки Quest - «совершенно новый продвинутый и высококачественный продукт, который будет находиться в более высоком ценовом диапазоне.».

Возможно Cambria будет включать ожидаемую фичу с отслеживанием глаз и лиц для управления аватарами в виртуальной реальности.

Устройство выйдет на рынок в 2022 году.

AR/VR Designer Открыть/Комментировать

2021-10-28 21:28:44 Слухи подтвердились

Facebook меняет название компании на Meta.

Об этом они сообщили на конференции Facebook Connect.

AR/VR Designer Открыть/Комментировать

2021-10-28 11:45:15 Marvel Studios’ Eternals: AR Story

К запуску фильма "Вечные" ( "Eternals" ) Marvel выпустили AR приложение. По сути это небольшой приквел к фильму, в котором один из героев ( "Sprite" ) проведет вам экскурсию по вселенной, и познакомит с героями и миром ожидаемого фильма.

Уже доступно в AppStore

AR/VR Designer Открыть/Комментировать

2021-10-25 12:46:29 Leak: Oculus Quest Pro

Промо видео с Oculus Pro, которые были размещены на сайте Oculus и найдены пользователем твиттера @Basti564, отображают возможный дизайн и функционал устройства. Все слитые видео вы найдете в комментариях.

Основной акцент сделан на многопользовательский опыт ( Metaverse хэллоу! ), на нескольких видео мы можем заметить совместную работу или совместный игровой опыт. На одном из видео изображена имитация реальных движений тела и лица цифровым аватаром, об этой фиче уже ранее ходили слухи, и выглядит она многообещающе.

Дизайн устройства очень похож на тот, который я недавно опубликовал в этом посте. Также на одном видео можно заметить измененный дизайн самого контроллера, который больше похож на контроллер от Oculus Go и не имеет колец, как Oculus Quest Touch.

Никаких комментариев со стороны команды Oculus об этой утечке пока не поступало. Вероятно карты будут раскрыты на конференции Connect 2021, которая пройдет 28-го октября.

AR/VR Designer Открыть/Комментировать

2021-10-24 20:36:07 Дубликатор людей
#LensStudio #Snapchat

Наконец завершил проект, который начал еще очень давно: https://lens.snapchat.com/2b6e883aa5bf4effaf2a09b792847720

Как вы наверняка знаете, в Снепчате есть 3D body reconstruction — алгоритм, который строит трехмерную репрезентацию тела пользователя в реальном времени. Короче, как фейсмеш, только для тела и не очень точно.

В общем, я придумал способ это дело немного стабилизировать и извлекать из него проекцию текстуры так, чтобы ее можно было потом натягивать на других людей.

Итог по ссылке выше. Можно отсканировать человека и натянуть его на другого (с головой или без). Самое веселое, что можно сканить не только живого человека - подойдет даже фотка. Открыть/Комментировать