Нейрокомпьютерные слова
Успехи инженерной нейробиологии обнадёживают. С помощью нейрокомпьютерных алгоритмов неврологическим пациентам вернули внятную речь.
Автор: биолог Кирилл Стасевич, «Наука и жизнь».
Когда мы хотим сделать шаг, или сжать руку, или сказать что-нибудь, что при этом происходит в мозге? Двигательные зоны коры полушарий формируют импульсный код движения и посылают его в соответствующие мышцы. Конечно, движению предшествует намерение, а в случае речи, устной и письменной, намерение ещё облекается в осмысленные слова с определённым синтаксисом. Но, так или иначе, всё равно всё заканчивается мышечными усилиями. И если расшифровать импульсы, идущие к мышцам, то можно, например, вернуть подвижность и речь парализованным людям.
Эту задачу выполняют нейрокомпьютерные интерфейсы — устройства, считывающие импульсы из мозга и преобразующие их в электронную команду для какой-нибудь машины. Два года назад писали, что парализованные люди смогли пообщаться с окружающими с помощью нейрокомпьютерной печатной машинки: человек представлял, как пишут ту или иную букву, а алгоритм превращал нейронные импульсы в настоящие буквы.
https://www.nkj.ru/news/41408/
В тех экспериментах использовали не только двигательные импульсы для пишущей руки, но и чисто речевые сигналы, которые возникали в языковой области мозга, когда человек думал об определённой букве.
В двух статьях, недавно опубликованных в Nature, нейрокомпьютерный интерфейс расшифровывает из мозга уже не буквы, а целые слова. Для считывания мозговых импульсов сотрудники Калифорнийского университета в Сан-Франциско и Стэнфордского университета использовали разные методы. В одном случае это была электрокортикография.
https://www.nature.com/articles/s41586-023-06443-4
От обычной электроэнцефалографии она отличается тем, что электроды регистрируют волны мозга не с поверхности головы, а прямо с поверхности мозговых полушарий, и воспринимаемый сигнал получается более качественным. В эксперименте участвовала женщина, которая много лет назад перенесла инсульт ствола мозга, и с тех пор её речь стала очень неразборчивой. Ей на кору мозга накладывали 253 кортикографических электрода, каждый из которых считывал суммарную активность многих тысяч нейронов. Эти нейроны лежали в сенсомоторной коре, точнее, в том участке коры, которая управляет мышцами лица и гортани.
Сигналы из живых нейросетей расшифровывала алгоритмическая нейросеть: человек пытался вслух читать какие-то слова, а алгоритм сопоставлял эти слова с сигналами к мышцам. В итоге на словарном запасе в 1024 слова пациентка-доброволец смогла говорить со скоростью 78 слов в минуту — правда, ошибка в словах составляла 25,5%. Ошибку можно было понизить, уменьшив словарный запас: если нейрокомпьютерный интерфейс оперировал всего 119 словами, он ошибался в 8,2% случаев. (Речь идёт об ошибках, которые допускает алгоритм, пытаясь по импульсам отличить одно слово от другого.) Так или иначе, исследователи отмечают большой прогресс как в количестве слов, так и в скорости и пластичности нейрокомпьютерной речи по сравнению с другими системами, также основанными на электрокортикографии.
В другом случае импульсы из мозга считывали иначе — с помощью матрицы тончайших электродов, которые погружались прямо в мозг
https://www.nature.com/articles/s41586-023-06377-x
Такие матрицы регистрируют импульсы нескольких сотен нейронов по отдельности, и сигнал от каждого нейрона идёт на обработку в компьютерную нейросеть. Матрицу из 128 электродов имплантировали женщине, которая также почти не могла членораздельно говорить, но только из-за бокового амиотрофического склероза. После обучения нейросети на 125 тысячах слов пациентка смогла заговорить со скоростью 62 слова в минуту с ошибкой в 23,8%. Так же, как и в первом случае, ошибку можно было уменьшить сокращением словарного запаса: если у нейросети было 50 слов, вероятность ошибки была 9,1%.
Стоит уточнить, что обе женщины разговаривали не в прямом смысле — слова, о которых они думали, выводились на экран. То есть здесь мы опять имеем дело с нейрокомпьютерной печатной машинкой (или клавиатурой), но только ею управляют нервные сигналы из зоны речевых мышц, а не из языковой зоны и зоны руки.
В обоих случаях у пациенток сохранялась какая-то способность управлять мышцами лица и гортани, так что тут возникает вопрос, как будут работать такие интерфейсы у полностью парализованных людей. Кроме того, в повседневном быту такие устройства сейчас вряд ли можно использовать. Во-первых, для считывания нейронных сигналов на голове у человека сидит сравнительно громоздкое устройство, от которого к тому же тянутся провода к компьютеру; во-вторых, нужно убедиться, что подобное вмешательство в мозг останется в обозримом будущем без серьёзных побочных эффектов. Пока что это лишь демонстрация того, что таким способом в принципе можно вернуть человеку членораздельную речь. Тем не менее, успехи инженерной нейробиологии позволяют надеяться, что в ближайшем будущем у нас появятся вполне удобные компактные беспроводные устройства, позволяющие достаточно бегло разговаривать тем, кто из-за травмы или болезни полностью утратил способность говорить.
https://nkj.ru/news/48566/
Иллюстрации: https://www.nature.com/articles/s41586-023-06377-x
