Stable Diffusion научили визуализировать мысли Ученые из университета в японском городе Осака использовали нейросеть, чтобы восстановить изображение по снимкам, сделанным с помощью функциональной магнитно-резонансной томографии (фМРТ) . Нечто похожее мы уже видели у Meta*.
Кроме SD исследователи использовали еще 2 обученные ими ИИ-модели. Одна из них отвечала за сопоставление с изображением информации с фМРТ-снимка, полученной из части мозга, которая отвечает за распознавание визуальной информации . Другая модель получала информацию со снимка той части мозга, которая отвечает за «расшифровку» визуальной информации в смысловую. Эту информацию ИИ затем сопоставлял с текстовыми описаниями изображений .
Потом информацию, полученную двумя ИИ-моделями, переносили в SD, которая генерировала изображения. По оценке исследователей, точность визуализации составляет около 80% . Ее можно оценить по скриншоту выше, где крайнее изображение слева — это картинка, которую видел человек во время томографии, а крайнее справа — результат работы алгоритмов.
Практического смысла в эксперименте пока нет: исследователи использовали снимки, полученные всего от четырех человек, и в каждом случае ИИ приходилось настраивать по-разному. Можно представить сколько времени уйдет на такой эксперимент с сотнями или тысячами участников .
* — запрещенная на территории РФ организация
