Интересное исследование провели в университете Пердью (США): обучили свёрточную нейронную сеть распознавать образы, которые видит человек, по данным магнитно-резонансной томографии.
Троим женщинам в течение нескольких часов показывали видеоролики, на которых были запечатлены люди, животные, природа. Нейросеть видела данные МРТ и реальную картинку — образы, которые являлись в ключевыми. Затем была поставлена следующая задача: имея на входе только параметры деятельности мозга, попытаться определить, какие видеоролики показывают человеку (данные от МРТ обновлялись каждые две секунды). И нейросеть справилась с заданием!
Главная сложность в такой работе заключается в том, что нам неизвестны области мозга, «отвечающие» за те или иные образы. Например, если человек видит анимацию проезжающего перед зданием автомобиля, обработкой образов автомобиля и здания могут заниматься совершенно разные мозговые области. Однако, несмотря на подобные преграды, исследователям удалось добиться хорошего процента распознанных образов.
Пожалуй, это первая столь успешная попытка «расшифровать» информацию, обрабатываемую мозгом, настолько точно — на уровне образов из видеороликов. Да ещё и практически в режиме реального времени. Кто знает, возможно в будущем нейросети смогут качественно визуализировать наши сны? Может быть когда-нибудь вы сможете запечатлевать важные мгновения не просто через объектив фотоаппарата, а напрямую — из мозга?
Да, я люблю повторять эту фразу: мы на пороге больших открытий!
(источник: https://academic.oup.com/cercor/article/doi/10.1093/cercor/bhx268/4560155)
