Используя записи мозга пациентов воспроизвели песню
Знаменитая лирика Pink Floyd возникает из грязного, но музыкального звука: «В общем, это был просто кирпич в стене». Но эта конкретная запись была сделана не с альбома 1979 года "The Wall" и не с концерта Pink Floyd. Вместо этого исследователи создали его из восстановленных мозговых волн людей, слушающих песню «Еще один кирпич в стене, часть 1». Согласно новому отчету, опубликованному 15 августа в журнале PLOS Biology, исследователи впервые реконструировали узнаваемую песню исключительно из записей мозга. В конечном счете, исследовательская группа надеется, что их результаты приведут к более естественной речи через интерфейсы мозг-машина, которые помогают общаться с людьми, которые «заперты» параличом и не могут говорить. «Прямо сейчас, когда мы произносим только слова, это роботизировано», — сказал старший научный сотрудник доктор Роберт Найт, профессор психологии и неврологии Калифорнийского университета в Беркли. Рассмотрим компьютерную речь, связанную с одним из самых известных запертых пациентов в мире, Стивеном Хокингом.
По словам Найт, человеческая речь состоит из слов, но она также обладает музыкальностью: люди добавляют различные значения и эмоции, основанные на музыкальных концепциях, таких как интонация и ритм. «Музыка универсальна. Вероятно, она существовала в культурах до появления языка», — сказал Найт. «Мы хотели бы объединить этот музыкальный сигнал извлечения с сигналом извлечения слов, чтобы сделать интерфейс более человечным». Электроды, имплантированные в мозг пациентов, улавливали электрическую активность областей мозга, которые, как известно, обрабатывают атрибуты музыки — тон, ритм, гармонию и слова — когда исследователи проигрывали трехминутный отрывок из песни. Эти записи были собраны у 29 пациентов в 2012 и 2013 годах. Все пациенты страдали эпилепсией, и хирурги имплантировали электроды, чтобы помочь определить точную область мозга, вызывающую их припадки, сказал Найт. «Пока они находятся в больнице в ожидании трех припадков [чтобы точно определить место припадков], мы можем проводить подобные эксперименты, если пациенты согласятся», — объяснил Найт.
Начиная с 2017 года исследователи начали передавать эти записанные мозговые волны в компьютер, запрограммированный для анализа данных. В конце концов, алгоритм стал достаточно умным, чтобы декодировать активность мозга в воспроизведение песни Pink Floyd, которую пациенты слышали много лет назад. «Это исследование представляет собой шаг вперед в понимании нейроанатомии восприятия музыки», — сказал доктор Александр Пантелят, невролог, скрипач и директор Центра музыки и медицины Джона Хопкинса. Пантелят не участвовал в исследованиях. «Точность обнаружения звука необходимо повышать в будущем, и неясно, будут ли эти результаты напрямую применимы к расшифровке просодических элементов речи — тона, интонации, настроения», — сказал Пантелят. «Однако эти ранние результаты обещают улучшить качество обнаружения сигналов для интерфейсов мозг-компьютер за счет воздействия на верхнюю височную извилину», — добавил Пантелят. «Это дает надежду пациентам, у которых есть проблемы с общением из-за различных неврологических заболеваний, таких как БАС [боковой амиотрофический склероз] или черепно-мозговая травма».
Фактически, результаты показали, что слуховые области мозга могут оказаться лучшей мишенью с точки зрения воспроизведения речи, сказал ведущий исследователь Людовик Белье, научный сотрудник Института неврологии Хелен Уиллс в Калифорнийском университете в Беркли. По словам Белье, многие более ранние попытки воспроизвести речь с помощью мозговых волн были сосредоточены на моторной коре, части мозга, которая генерирует движения рта и голосовых связок, используемых для создания акустики речи. «Сейчас эта технология больше похожа на клавиатуру для ума», — сказал Беллье в пресс-релизе. «Вы не можете читать свои мысли с клавиатуры. Вам нужно нажимать на кнопки. И это делает что-то вроде роботизированного голоса; конечно, меньше того, что я называю выразительной свободой». Сам Белье был музыкантом с детства, в какой-то момент даже выступал в хэви-металлической группе. Используя записи мозга, Белье и его коллеги также смогли определить новые области мозга, участвующие в определении ритма. Кроме того, разные области слуховой области реагировали на разные звуки, например, на ноты синтезатора и продолжительный вокал.
Исследователи подтвердили, что правое полушарие мозга лучше настроено на музыку, чем левое, сказал Найт. По словам Найт, на данный момент технологии недостаточно развиты, чтобы люди могли воспроизводить речь такого качества, используя показания ЭЭГ, снятые со скальпа. Требуются импланты электродов, что означает инвазивную хирургию. «Сигнал, который мы записываем, называется высокочастотной активностью, и он очень сильно воздействует на кору, около 10 микровольт», — сказал Найт. «Но к тому времени, когда он попадает на кожу головы, происходит 10-кратное падение, что означает, что это один микровольт, который составляет уровень шума только активности мышц головы». Также необходимы более качественные электроды, чтобы действительно обеспечить качественное воспроизведение речи, добавил Найт. Он отметил, что используемые электроды находились на расстоянии 5 миллиметров друг от друга, и гораздо лучшие сигналы могут быть получены, если расстояние между ними составляет 1,5 миллиметра.
«Что нам действительно нужно, так это сетки с более высокой плотностью, потому что для любого подхода к машинному обучению важен объем данных, которые вы вводите в течение определенного времени», — сказал Найт. «Мы были ограничены 64 точками данных за 3 минуты. Если бы у нас было 6000 точек за 6 минут, качество песни было бы, я думаю, невероятным». Найт сказал, что его команда только что получила грант на исследование пациентов с афазией Брока, типом мозгового расстройства, которое мешает способности говорить. «Эти пациенты не могут говорить, но они могут петь», — сказал Найт. То, что было изучено в ходе этого исследования, может помочь команде лучше понять, почему люди с такими травмами могут петь то, что не могут сказать.
