​​Google представила нейросеть 4D-Net, объединяющую данные с у | NeuroHive - Нейронные сети, Machine Learning, AI, Data science

​​Google представила нейросеть 4D-Net, объединяющую данные с установленных в автомобиле лидара и камеры. Модель позволяет повысить безопасность беспилотных автомобилей и быстродействие установленных в них алгоритмов потокового анализа сцен.

Количество точек, трехмерные координаты которых регистрирует лидар, зависит от удаленности объекта – чем дальше он находится от лидара, тем меньше точек его поверхности будут записаны. В то же время камера обеспечивает равномерную плотность данных, что позволяет осуществлять сегмантическую сегментацию для распознавания объектов. Модель Google объединяет облака точек и RGB-изображения в последовательные моменты времени, формируя четырехмерную карту сцены.

В 4D-Net используется поиск архитектуры нейросети для обучения связей между двумя типами данных: каждый слой признаков входных данных одного датчика комбинируется со слоями признаков данных второго датчика. Нейросеть превзошла предыдущие state-of-the-art модели в бенчмарке Waymo Open Dataset. Также за счет комбинации мультимодальных данных 4D-Net улучшает точность распознавания удаленных объектов, которые потенциально могут привести к аварии.

Источник: https://openaccess.thecvf.com/content/ICCV2021/papers/Piergiovanni_4D-Net_for_Learned_Multi-Modal_Alignment_ICCV_2021_paper.pdf

#StateoftheArt