CGIT_Vines

2021-02-01 21:36:07 https://vimeo.com/507126722

Если кто помнит, был у меня лет 5 назад проект со шмотками https://vimeo.com/150124407 с тех пор я все хотел попробовать перенести это на реальных людей - то есть чтобы шмотки виртуальные, а модель живая. Из-за завала по "Ложной слепоте" и коммерческих проектов все это шло крайне неторопливо, но вот наконец-то есть какие-то результаты, которые не стыдно показывать.

Так как мокап на улице был мне не по карману с моим обычным $0 бюджетом, то пришлось импровизировать. Технически тут съемка с трех камер, потом треккинг положения суставов для каждой из них нейронкой OpenPose. Но она дает относительно нормальный трекинг только в 2d, в пространстве кадра, этого недостаточно ни для стабильного восстановления движения в 3д, не тем более для симуляции взаимодействия тела и одежды. Так что потом у меня работает сетап из примерно бесконечного количества нод в Houdini, который делает триангуляцию всего уже в 3д, чистит результат и привязывает риг. Сами шмотки пока в Marvelous, но я сейчас в процессе создания более веселых вещей на vellum. Забавно, что еще одну нейронную штуку получилось использовать - маски персонажа в композе генерятся вот этой штукой - https://github.com/ZHKKKe/MODNet

Model: Jasmine LaRae
DP: Tatiana Stolpovskaya Открыть/Комментировать

2021-01-31 20:24:04 При создании открытых миров, наполненных большим количеством персонажей, проблемной частью становится озвучка диалогов, как в играх Bethesda: Fallout, TES и так далее.

Энтузиасты придумали систему синтеза речи на основе машинного обучения, использующую голоса персонажей из игр Bethesda.

Среди опций есть возможность настраивать тембр голоса и протяженность отдельных слов.

При желании можно забрать на
Git и прикрутить самостоятельно. Открыть/Комментировать

2021-01-30 23:08:01 3nfinite - компания, которая занимается созданием волюметрического видео.
Ловко жонглируя описанием, ребята продают обычный лайтфилд с проработанной фотограмметрией около того места, где вы физически находитесь в видео.

Таким образом, создается дополнительное ощущение того, что видео, которое вы смотрите, полностью трехмерное. Самое интересное - что на риг из камер, на которое все это снимается, можно было бы купить пару однушек в Мск.

https://www.3nfinite.com/ Открыть/Комментировать

2021-01-29 11:53:45 А вот это прям очень приятно, и качество просто на высоте.

Digital Domain разработала систему, условно, нейро-клинапа: в данном случае удаление маски с лица. Видимо, настолько сильно пандемия повлияла на киноиндустрию, что нужно этот процесс как-то автоматизировать.

Первым этапом сеть обучается убирать маску, вторым - полученный клинплейт анимируется другой сеткой через датасет с набором аудио.

Говорят, участие клинаперов почти минимальное.



Открыть/Комментировать

2021-01-28 22:00:58 Ещё одна девушка от Hossein Diba с экрана загрузки Vice City.

Иногда спрашивают, не скан ли это - нет, не скан, он просто так круто скульптит) Открыть/Комментировать

2021-01-27 23:03:25 Ultraleap поделилась новой системой трекинга: те, кто сталкивался с текущими системами, знают, что окклюзии (например, перекрытие рук) приводят к потере трекинга, но в данной версии этого не происходит.

Плюс к этому появляется трек предплечий - наконец-то избавимся от "ладошек Каспера".

Когда сам не успеваешь смотреть все новости, помогают знакомые. Спасибо, Dan!

Сорс новости Открыть/Комментировать

2021-01-27 22:48:49 Честное слово, на сегодня последний пост про мозги)

Абстрактная, т.е. не привязанная к какому-либо реальному процессу, визуализация работы нейронов и распространения импульса в нашем мозгу.

Собрано на Cinema 4D и Java.

http://nxxcxx.github.io/Neural-Network/

Страница проекта Открыть/Комментировать

2021-01-27 14:01:07 В общем-то, вот пример того, что сейчас умеют консьюмерские неинвазивные устройства с интерфейсом Brain-Computer.

По сути, то, о чем я говорил, - у вас есть области, на которых вы можете концентрироваться, а на эти области уже вешаются определенные действия (например, движения мышкой). Проблема в том, что неинвазивные методы могут концентрироваться на очень больших и простых областях возбуждения коры, + считыванию мешает кость - она дает очень много паразитных шумов и глушит сигнал.

Вот почему лучше проковырять дырочку (как у Neuralink) и напрямую подключить несколько электродов к разным участкам вашего разумного желе.



Открыть/Комментировать

2021-01-27 00:12:28 Наверняка некоторые уже читали интервью Гейба на счёт нейроинтерфейсов. Давайте снимем жирный толстый слой фантазии и романтики, хотя я всегда был за нее.

Первая проблема:
Нейроинтерфейсы, именно неинвазивные, сейчас где-то на этапе протерозоя. Т.е. можно отслеживать области, возбуждающиеся при определенных действиях, и назначать на них определенные условия выполнения, двигать курсором мышки, в последнее время научились применять интерфейсы для управления ручными протезами, на этом пока все.

Ожидать каких-либо инноваций можно от крупных игроков просто потому, что область супер-сырая, рынка нет, и все деньги будут улетать в трубу.

Именно поэтому я больше верю в Facebook и Neuralink (первый не инвазивный, второй - инвазивный). Если что-то интересное появится, то только от них, а не от Valve.

Вторая проблема: если мы говорим об устройствах, то для взаимодействия железа и условного сознания нужен логичный, простой и понятный "бридж", т.е. язык, на котором вы будете общаться с железом. И это пока не работает так, как вы это себе представляете: типа включи 3 сезон, 8 серию “Игры Престолов”, - сейчас это гораздо более примитивная связь, зачастую в которой обучается не устройство, а вы. Вы учитесь говорить с железом, и этот путь гораздо более сложный, чем преодоление морской болезни в VR.

Но, конечно, экраны становятся всё ближе, и на горизонте 40-50 лет мы так или иначе придем к брейндансам и бесконечным оргазмам, так что запаситесь здоровьем, чтобы не пропустить.


https://www.tvnz.co.nz/one-news/new-zealand/gabe-newell-says-brain-computer-interface-tech-allow-video-games-far-beyond-human-meat-peripherals-can-comprehend Открыть/Комментировать

2021-01-26 20:43:45 Ребята задают жару. Дай бог им найти инвестора/издателя.

С помощью скейлинга костей, разных моделей и симуляций в UE они планируют реализовать трансформации в реальном времени.


Открыть/Комментировать