Энтузиасты показали работу алгоритма
Visually Indicated Sounds — он умеет синтезировать звук в зависимости от ситуации.
На вход подается видео без звука, а алгоритм, на основе своей модели, создает подходящий для ситуации звуковой эффект.
Пока только опубликовали пример работы и документацию, ждем исходный код.