Робопёси Spot научился говорить
Ребята из Boston Dynamics, которые создают всем известных роботов, прикрутили ChatGPT к своему робопёсику. Это дало роботу возможность докладывать о результатах выполненных миссий и отвечать на любые вопросы о ходе выполнения задания на человеческом языке.
Например, миссией пса могла быть пройти по локации и проверить некоторые датчики.
ChatGPT на вход получает огромный json файл с конфигурацией миссии и данными, собранными во время выполнения. И бот отвечает на любые вопросы пользователя используя инфу из json. Т.к. данных много, вместить весь файл в контекст ChatGPT не получится (пока... я тут писал про попытки вместить до 1млн токенов). Поэтому файл разбивается на маленькие куски, для каждого из которых считается эмбединг. Во время инференса: по заданному вопросу быстро ищутся наиболее релевантные куски, используя расстояния между эмбедингами и отправляются
в контекст GPT, чтобы выдать наиболее точный ответ.
Для озвучки пёсика взяли text2speech API от Гугла.
