2022-07-13 15:50:04
Мозг человека и обученная нейросеть GPT2-XL (1.5 млрд параметров), если заглянуть им внутрь, вплоть до слоев и нейронов, обрабатывают один и тот же текст схожим образом. Об этом нам сообщают в свежей работе авторы из Принстона, Нью-Йорка и Google Research.
Это не первый результат такого рода, и исследования на эту тему будут множится: мозг человека и DLMs богаты разными данными, и сопоставлять их можно по-всякому. В этот раз показали, что послойные преобразования текста в GPT2-XL соответствуют временной последовательности обработки в языковых областях мозга людей, которые слушали тот же текст (им снимали ЭКоГ). Как пишут авторы, «учитывая явные архитектурные различия на уровне схем между DLM и мозгом, сходство их внутренних вычислительных последовательностей может показаться удивительным».
Полагаю, такие сопоставления станут отдельным направлением исследований. Если оно окажется плодотворным — т.е. если между DLMs и мозгом действительно есть глубокие интересные гомологии — это и повлияет на разработку архитектур нейросетей, и прольет дополнительный свет на работу мозга человека. Впрочем, понравится это не всем.
1.1K views12:50
М
