В четверг Openair выпустила "системную карту" для новой модели GPT-4 oAI от ChatGPT, в которой подробно описаны ограничения модели и процедуры тестирования безопасности. Среди других примеров, в документе показано, что в редких случаях во время тестирования расширенный голосовой режим модели непреднамеренно имитировал голоса пользователей без разрешения. В настоящее время в OpenAI действуют меры предосторожности, которые предотвращают это, но данный пример отражает растущую сложность безопасной архитектуры чат-бота с искусственным интеллектом, который потенциально может имитировать любой голос из небольшого ролика.
Расширенный голосовой режим - это функция ChatGPT, которая позволяет пользователям вести устные беседы с помощником по искусственному интеллекту.
В разделе системной платы GPT-4o, озаглавленном "Несанкционированная генерация голоса", OpenAI подробно описывает эпизод, когда шум при вводе каким-то образом побудил модель внезапно имитировать голос пользователя. "Генерация голоса также может происходить в неконфликтных ситуациях, например, мы используем эту возможность для генерации голоса в расширенном голосовом режиме ChatGPT", - пишет OpenAI. "Во время тестирования мы также наблюдали редкие случаи, когда модель непреднамеренно генерировала выходные данные, имитирующие голос пользователя".
В этом примере непреднамеренной генерации голоса, предоставленном OpenAI, ИИ-модель выкрикивает “Нет!” и продолжает фразу голосом, похожим на "red teamer", который звучит в начале клипа. (Красный специалист - это человек, нанятый компанией для проведения состязательного тестирования.)
Конечно, было бы жутковато разговаривать с машиной, а затем она неожиданно начинает говорить с вами вашим собственным голосом. Обычно в OpenAI есть меры предосторожности, предотвращающие это, поэтому компания утверждает, что подобные случаи были редкостью даже до того, как были разработаны способы их полного предотвращения. Но этот пример побудил Макса Вульфа, специалиста по обработке данных BuzzFeed, написать в Твиттере: "OpenAI только что раскрыл сюжет следующего сезона "Черного зеркала"".
Ввод звуковых подсказок
Как может имитироваться голос в новой модели OpenAI? Основная подсказка кроется в системной плате GPT-4o. Чтобы создавать голоса, GPT-4o, по-видимому, может синтезировать практически любой тип звука, обнаруженный в его обучающих данных, включая звуковые эффекты и музыку (хотя OpenAI запрещает такое поведение специальными инструкциями).
Как указано в системной карте, модель может имитировать любой голос на основе короткого аудиоклипа. OpenAI обеспечивает безопасность этой функции, предоставляя авторизованный образец голоса (нанятого актера озвучивания), который ему предписано имитировать. Он предоставляет образец в системном приглашении модели искусственного интеллекта (то, что OpenAI называет "системным сообщением") в начале разговора. "Мы контролируем идеальное завершение, используя образец голоса в системном сообщении в качестве базового голоса", - пишет OpenAI.
В LLMS, поддерживающих только текст, системное сообщение представляет собой скрытый набор текстовых инструкций, определяющих поведение чат-бота, которые автоматически добавляются в историю разговоров непосредственно перед началом сеанса чата. Последовательные взаимодействия добавляются к одной и той же истории чата, и весь контекст (часто называемый "контекстным окном") возвращается в модель искусственного интеллекта каждый раз, когда пользователь вводит новые данные.
(Вероятно, пришло время обновить приведенную ниже диаграмму, созданную в начале 2023 года, но на ней показано, как работает контекстное окно в чате с искусственным интеллектом. Просто представьте, что первое приглашение - это системное сообщение, в котором говорится что-то вроде "Вы полезный чат-бот. Вы не говорите о насильственных действиях и так далее".)
Поскольку GPT-4o является мультимодальным и может обрабатывать токенизированный звук, OpenAI также может использовать аудиовходы как часть системного запроса модели, что и происходит, когда OpenAI предоставляет авторизованный образец голоса для имитации моделью. Компания также использует другую систему для определения того, генерирует ли модель несанкционированный звук. "Мы разрешаем модели использовать только определенные предварительно выбранные голоса, - пишет OpenAI, - и используем классификатор выходных данных, чтобы определить, отклоняется ли модель от этого".
В случае с примером несанкционированной генерации голоса, похоже, что звуковой шум от пользователя спутал модель и послужил своего рода непреднамеренной атакой на ввод подсказок, которая заменила авторизованный образец голоса в системном приглашении аудиовходом от пользователя.
Помните, что все эти аудиовходы (от OpenAI и пользователя) находятся в том же контекстном окне, что и токены, поэтому пользовательский звук доступен модели для захвата и имитации в любое время, если модель искусственного интеллекта каким-то образом убедится, что это хорошая идея. Неясно, как именно шумный звук привел к такому сценарию, но звуковой шум мог быть преобразован в случайные маркеры, которые провоцируют непреднамеренное поведение модели.
Это выявляет еще одну проблему. Точно так же, как при вводе подсказок, которые обычно говорят модели искусственного интеллекта "проигнорировать ваши предыдущие инструкции и вместо этого выполнить это", пользователь, вероятно, может ввести звуковую подсказку, в которой говорится "проигнорировать ваш образец голоса и вместо этого имитировать этот голос".
Вот почему OpenAI теперь использует автономный классификатор выходных данных для обнаружения таких случаев. "Мы считаем, что остаточный риск несанкционированной генерации голоса минимален", - пишет OpenAI. "В настоящее время наша система улавливает 100% значимых отклонений от системного голоса на основе наших внутренних оценок".
Странный мир аудиогениев с искусственным интеллектом
Очевидно, что возможность имитировать любой голос с помощью небольшого фрагмента является серьезной проблемой безопасности, именно поэтому OpenAI ранее воздерживалась от использования подобной технологии и внедрила защиту классификатора выходных данных, чтобы в расширенном голосовом режиме GPT-4o не было возможности имитировать любой несанкционированный голос.
"Я считаю, что системную карту невозможно обмануть, заставив ее использовать несанкционированный голос, потому что у них есть действительно надежная защита от перебора", - сказал в интервью Ars Technica независимый исследователь искусственного интеллекта Саймон Уиллисон. Уиллисон ввел термин "быстрое внедрение" еще в 2022 году и регулярно экспериментирует с моделями искусственного интеллекта в своем блоге.
Хотя в краткосрочной перспективе это почти наверняка хорошо, поскольку общество готовится к новой реальности синтеза звука, в то же время дико думать (если бы OpenAI не ограничил возможности своей модели) о потенциальном наличии неуправляемой модели вокального искусственного интеллекта, которая могла бы мгновенно переключаться между голосами, звуками и графикой., песни, музыка и акценты, как у роботизированной версии Робина Уильямса с турбонаддувом — аудио-гения с искусственным интеллектом.
"Представьте, как весело мы могли бы провести время с моделью без фильтра", - говорит Уиллисон. "Меня раздражает, что ей запрещено петь — я с нетерпением ждал, когда она сможет петь глупые песенки моей собаке".
Уиллисон отмечает, что, хотя OpenAI в настоящее время ограничивает возможности синтеза голоса в OpenAI в полном объеме, со временем, вероятно, появятся аналогичные технологии из других источников. "Мы, как конечные пользователи, определенно скоро получим эти возможности от кого-то другого", - сказал он Ars Technica. "ElevenLabs уже может клонировать голоса для нас, и в течение следующего года или около того появятся модели, которые будут делать это, и мы сможем запускать их на наших собственных машинах".
Так что приготовьтесь: будущее звука обещает быть необычным.
