Инженеры из института, занимающегося исследованием высшей нервной деятельности, смогли создать систему, которая переводит мысли в понятную и узнаваемую речь. Контролируя чью-то мозговую деятельность, технология реконструирует мысли в слова. Этот научный прорыв, помноженный на мощь ИИ и синтезаторов речи открывает новую эру во взаимодействии между компьютером и мозгом. Само собой, это так же открывает новые возможности людям, которые по той или иной причине потеряли возможность говорить.
«Наши голоса помогают поддерживать связь с нашими друзьями, с семьей и с окружающим миром, поэтому потеря силы голоса из-за травмы или болезни для людей разрушительна. Однако, с сегодняшним запасом знаний у нас есть потенциальный способ восстановить эту силу. Мы показали, что при правильной технологии мысли людей могут быть расшифрованы и понятны любому слушателю», – говорит Нима Месгарани, доктор философии и одна из авторов исследования, проведенном в Институте психического поведения Мортимера Б. Цукермана при Колумбийском университете.
Десятилетия исследований показали, что когда люди говорят или даже воображают, что произносят слова, в их мозгу появляются характерные шаблоны активности. Четкая и узнаваемая схема сигналов также возникает, когда мы слушаем, как кто-то говорит, или воображаем, что слушает. Эксперты десятилетия пытались расшифровать эти паттерны, однако только сейчас перед ними открылось будущее, в котором мысли не могут уже больше быть скрытыми внутри мозга, а вместо этого могут быть переведены в устную речь по желанию.
Но совершить этот подвиг оказалось непросто. Ранние попытки расшифровать сигналы мозга доктора Месгарани и других были сосредоточены на простых компьютерных моделях, которые анализировали спектрограммы, которые являются визуальным представлением звуковых частот. Но из-за того, что этот подход не дал ничего похожего на понятную речь, команда доктора Месгарани вместо этого обратилась к вокодеру, компьютерному алгоритму, который может синтезировать речь после обучения по записи разговоров людей.
«Это та же технология, которая используется Amazon Echo и Apple Siri для устного ответа на наши вопросы», – сказала доктор Месгарани, которая также является адъюнкт-профессором по электротехнике в Колумбийской школе инженерии и прикладной науки Fu Foundation. Чтобы научить вокодер интерпретировать мозговую деятельность, доктор Месгарани объединилась с Ашешем Динеш Мехта, доктором медицины, доктором наук, нейрохирургом в Институте нейробиологии Northwell Health Physician Partners и соавтором сегодняшней статьи. Доктор Мехта лечит пациентов с эпилепсией, некоторые из которых должны регулярно проходить операции.
«Работая с доктором Мехтой, мы попросили пациентов, страдающих эпилепсией, уже перенесших операцию на головном мозге, выслушать предложения разных людей, в то время как мы измеряли закономерности их мозговой активности», – говорит доктор Месгарани. «Эти нейронные паттерны и тренировали вокодер». Затем исследователи попросили тех же пациентов прослушать динамики, произносящие цифры от 0 до 9, во время записи сигналов мозга, которые затем можно было бы пропустить через вокодер. Звук, производимый вокодером в ответ на эти сигналы, анализировался и очищался с помощью нейронных сетей типа искусственного интеллекта, который имитирует структуру нейронов в биологическом мозге.
Конечным результатом был роботизированный голос, повторяющий последовательность чисел. Чтобы проверить точность записи, доктор Месгарани и ее команда поручили людям прослушать запись и сообщить, что они услышали. «Мы обнаружили, что люди могут понимать и повторять звуки примерно в 75% случаев, что значительно превосходит любые предыдущие попытки», – говорит доктор Месгарани. Улучшение разборчивости было особенно очевидным при сравнении новых записей с более ранними попытками, основанными на спектрограмме. «Чувствительный вокодер и мощные нейронные сети представляли звуки, которые пациенты первоначально слушали с удивительной точностью».
Доктор Месгарани и ее команда планируют теперь протестировать более сложные слова и предложения. Так же они намерены выполнить те же тесты для сигналов мозга, излучаемых, когда человек говорит или воображает речь. В конечном счете, они надеются, что их система может быть частью импланта, подобного тем, которые носят некоторые пациенты с эпилепсией, которые переводят мысли владельца непосредственно в слова.
«В этом сценарии, если владелец чипа думает: «Мне нужен стакан воды», наша система может воспринимать сигналы мозга, генерируемые этой мыслью, и превращать их в синтезированную словесную речь», – говорит доктор Месгарани. «Это изменяет правила игры и любому, кто потерял способность говорить из-за травмы или болезни, технология дает новый шанс общения с окружающим миром».
