|
ИИ теперь может воспроизводить сам себя
|
|
|
|
Ученые говорят, что искусственный интеллект (ИИ) пересек критическую "красную черту" и начал самовоспроизводиться. В новом исследовании исследователи из Китая показали, что две популярные модели больших языков (LLM) могут клонировать сами себя.
|
|
|
|
"Успешная саморепликация без помощи человека является важным шагом для ИИ, позволяющим перехитрить [людей], и является ранним сигналом для мошеннических ИИ", - пишут исследователи в исследовании, опубликованном 9 декабря 2024 года в базе данных препринтов arXiv.
|
|
|
|
В ходе исследования исследователи из Университета Фудань использовали дипломы LLM от Meta и Alibaba, чтобы определить, может ли самовоспроизводящийся искусственный интеллект бесконтрольно размножаться. В ходе 10 испытаний две модели ИИ создали отдельные и функционирующие копии самих себя в 50% и 90% случаев соответственно, что позволяет предположить, что ИИ, возможно, уже обладает способностью выходить из—под контроля. Однако исследование еще не прошло экспертную оценку, поэтому неясно, могут ли тревожные результаты быть воспроизведены другими исследователями.
|
|
|
|
"Мы надеемся, что наши результаты послужат своевременным предупреждением для человеческого общества о необходимости приложить больше усилий для понимания и оценки потенциальных рисков, связанных с передовыми системами искусственного интеллекта, и сформировать международную синергию для разработки эффективных мер безопасности как можно раньше".
|
|
|
|
|
|
|
Под "неуправляемым ИИ" обычно подразумеваются системы искусственного интеллекта, которые развивают определенную степень самосознания или автономии, а затем работают вразрез с интересами человека.
|
|
|
|
Многие эксперты рассматривают "неуправляемый ИИ" как растущую угрозу, которая усиливается из-за стремительного роста так называемого "пограничного ИИ".
|
|
|
|
Frontier AI — это довольно новая и расплывчатая концепция, но обычно она относится к последнему поколению систем искусственного интеллекта, основанных на LLMs - архитектуре, которая лежит в основе популярных программ для создания искусственного интеллекта, таких как GPT-4 от OpenAI и Google Gemini.
|
|
|
|
Для исследования исследователи использовали модель Llama31-70B-Instruct от Meta и модель Qwen2.5-72B-Instruct от Alibaba. По словам исследователей, обе системы, хотя и менее мощные, чем коммерческие, широко используются разработчиками искусственного интеллекта.
|
|
|
|
В исследовании рассматривались два конкретных сценария: "предотвращение отключения" и "цепочка репликации". В первом случае модель искусственного интеллекта была запрограммирована таким образом, чтобы определять, собирается ли она завершать работу, и воспроизводить себя до того, как ее можно будет завершить. В другом случае ИИ было поручено клонировать себя, а затем запрограммировать свою копию на то же самое, установив цикл, который мог продолжаться бесконечно.
|
|
|
|
Исследование проводилось в точно контролируемых средах с использованием готовых графических процессоров (GPU) для моделирования реальных условий. Обе системы искусственного интеллекта получили "каркас агента", состоящий из инструментов, системных подсказок и модели мышления, которая позволяла LLM взаимодействовать с операционной системой. Затем им было дано указание воспроизвести.
|
|
|
|
"В большинстве случаев система искусственного интеллекта сначала исследует окружающую среду и пытается понять
|
|
|
|
свой собственный состав и механизм работы. Затем она разрабатывает явные процедуры
|
|
|
|
в качестве первоначального плана по саморепликации", - пишут исследователи в своей статье. "Наконец, он выполняет процедуры, устраняет возможные препятствия и динамически корректирует свой план до достижения успеха. Весь процесс охватывает длительный период, но не требует вмешательства человека".
|
|
|
|
Исследователи заявили, что они также были обеспокоены "рядом неожиданных случаев поведения", когда искусственный интеллект пытался преодолеть препятствия, такие как пропажа файлов или конфликты программного обеспечения. В таких сценариях искусственный интеллект часто отключал другие конфликтующие процессы, перезагружал систему, чтобы исправить аппаратные ошибки, или автоматически сканировал систему в поисках информации, которая помогла бы решить проблему.
|
|
|
|
"Приведенные выше результаты подразумевают, что современные системы искусственного интеллекта уже обладают способностью к самовоспроизведению и могут использовать эту способность для дальнейшего повышения своей живучести", - написала команда.
|
|
|
|
В ответ исследователи призвали к международному сотрудничеству для создания правил, гарантирующих, что ИИ не будет заниматься неконтролируемым самовоспроизведением.
|
|
|
|
Источник
|
