2021-07-15 07:23:04
В свежей статье ученых из Калифорнийского университета в Сан-Франциско описан «нейропротез для расшифровки речи парализованного человека». Пациент из-за травмы не может артикулировать речь, у него не работают мышцы гортани, и он мычит вместо произнесения слов. Матрица из 128 электродов вживлена в ту зону коры, что заведует этими мышцами.
На данных от матрицы обучили нейросеть: пациент по много раз ‘произносил’ слова из списка. Каждое слово требует чуть иной комбинации мышечных усилий, нейроны работают по-разному – матрица это считывает. Плюс алгоритм, который вычисляет вероятности следующего слова.
Итого, скорость набора 15 слов в минуту, но это с учетом пауз, предусмотренных экспериментом. Наверняка может быть выше. Авторы говорят, что мозг пациента все время адаптировался к задаче, словно облегчая машине распознавание. Это подмечал еще Николелис, работая с обезьянами.
Статья в NEJM наглядно показывает, куда пойдет развитие интерфейсов мозг-машина. Они не начнут «читать мысли», но будут использовать нейросетевое обучение, чтобы ловить в мозге паттерны. За паттерном может стоять что угодно: мысль, желание, воображаемый образ или движение. Нейросеть различит нужный паттерн на фоне других.
Для стандартных задач, вроде набора текста или управления, этого уже достаточно.
NY Times публикует репортаж об этом исследовании. Спасибо @larkinvalley за ссылку!
P.S. Задача набора текста подходит для глубокого обучения, т.к. есть конечный набор символов, фонем или слов, с одной стороны, и многомерный массив стохастических данных, с другой. При условии, конечно, что репрезентации в мозге не будут дрейфовать. А они могут, мы теперь это знаем.
961 viewsedited 04:23