Тут для нейронки CLIP от OpenAI нашли необычное применение — поиск кадров в видео на ютубеCLIP — это та самая нейронка, которую OpenAI презентовали в начале года. Она способна распознавать изображения по развёрнутому описанию, а не только по отдельным словам. И теперь с её помощью можно отыскать что угодно даже на видео.
Особенно круто, что CLIP умеет распознавать даже абстрактные запросы. Например, по запросу «waiting at the red light» она выдаст вот такие кадры, а ещё составит карту совпадений по времени (3 скриншот).
У проекта открытые исходники и даже есть Colab для тестов: https://tprg.ru/r4SK
#нейросети
