ИИ научился читать мысли по данным томографии Ученые из Техасского университета в Остине представили «семантический декодер» — систему, которая использует языковую модель для анализа снимков МРТ и «расшифровки» мыслей. В отличие от прошлых аналогичных проектов, она не требует снимать данные об активности нейронов с помощью электродов, которые приходится имплантировать в мозг. Декодеру достаточно снимков, сделанных обычным томографом.
Функциональная магнитно-резонансная томография (фМРТ) позволяет определять активность нейронов головного мозга по усилению тока крови, который необходим для снабжения их кислородом. Томограф получает высококачественные снимки с высоким разрешением, однако с частотой лишь около десяти секунд. За это время — вслух или мысленно — человек успевает произнести около 20 слов. Именно поэтому для интерпретации данных фМРТ потребовалось привлечь крупномасштабную языковую модель-трансформер, подобную знаменитым системам Bard от Google или ChatGPT от OpenAI.
Александр Хат (Alexander Huth) и его коллеги обучали нейросеть на данных фМРТ трех добровольцев, активность мозга которых отслеживали по 16 часов, во время чтения аудиокниг. В результате модель смогла определять нейронные паттерны, активирующиеся в ответ на разные последовательности слов, а не каждое слово по отдельности. Иначе говоря, «семантический декодер» реконструирует скорее общий смысл мыслей, а не точное содержание, слово за словом.
Популярная механика
