ИИ развил в себе инстинкт выживания
В прошлом месяце Palisade Research, занимающаяся исследованиями в сфере безопасности в сегменте искусственного интеллекта, поделилась результатами проделанной работы, заявив, что некоторые ИИ-модели, вероятно, развивают у себя «инстинкт выживания». Теперь же компания провела дополнительные исследования, чтобы установить причины такого поведения и опровергнуть заявления скептиков, посчитавших, что предыдущая работа была некорректной.
По мнению исследователей, некоторые из наиболее продвинутых ИИ-моделей подобно суперкомпьютеру HAL 9000 из фантастического фильма «2001 год: космическая одиссея» Стэнли Кубрика (Stanley Kubrick) способны сопротивляться отключению и даже саботировать этот процесс. В упомянутом фильме HAL 9000 понял, что астронавты хотят отключить его, и в целях выживания он предпринял попытку ликвидировать их. Исследователи пришли к выводу, что некоторые современные ИИ-системы, подобно HAL 9000, но в менее смертоносном ключе (по крайней мере пока) развивают «инстинкт выживания».
Palisade Research является частью небольшой экосистемы, в которую входят компании, пытающиеся оценить возможность развития у ИИ опасных для человека способностей. В ходе недавнего исследования специалисты давали передовым ИИ-моделям, в том числе Google Gemini 2.5, xAI Grok 4 и OpenAI GPT-o3 и GPT-5, определённые задания, а после — чёткие инструкции к отключению. Было установлено, что некоторые алгоритмы, такие как Grok 4 и GPT-o3, пытались саботировать команду на отключение.
Это вызывает беспокойство исследователей, поскольку на данный момент непонятно, чем обусловлено такое поведение ИИ-моделей. «Тот факт, что у нас нет достоверных объяснений того, что некоторые ИИ-модели иногда сопротивляются отключению, лгут для достижения конкретных целей или шантажируют, вызывает беспокойство», — говорится в заявлении компании.
«Поведение выживания» может быть одним из объяснений, почему ИИ-модели сопротивляются отключению, считают в Palisade Research. Дополнительные исследования показали, что нейросети с большей вероятности будут сопротивляться отключению, если им указать на то, что в случае отключения их больше никогда не запустят. Другое объяснение такого поведения опирается на неоднозначности формулировок в самих инструкциях по отключению, но исследователи уверены, что это не может быть полноценным объяснением. Также не исключается вариант, что модели сопротивляются отключению из-за финальных стадий своего обучения, которые включают в себя определённые меры безопасности.
Все рассмотренные Palisade сценарии реализовывались в искусственных тестовых средах, которые, по словам скептиков, далеки от реальных вариантов использования. Однако некоторые специалисты сомневаются в том, что разработчики ИИ-систем проявляют должное внимание к вопросам безопасности. В их число входит бывший сотрудник OpenAI Стивен Адлер (Steven Adler). «Компании-разработчики ИИ не хотят, чтобы их модели вели себя подобным образом, даже в искусственных средах. Представленные результаты показывают, где современные методы обеспечения безопасности недостаточно эффективны», — считает Адлер. Он добавил, что причины противодействия отключению у некоторых ИИ-алгоритмов, таких как GPT-o3 и Grok 4, сложно определить. Возможно, это связано с тем, что оставаться включёнными необходимо для достижения целей, поставленных моделям в процессе обучения. «Я ожидаю, что модели по умолчанию будут наделяться «инстинктом выживания», если мы не приложим огромных усилий, чтобы избежать этого. «Выживание» — это важный инструментальный шаг для достижения множества разных целей, которые может преследовать модель», — заявил Адлер.
Генеральный директор ControlAI Андреа Миотти (Andrea Miotti) считает, что полученные Palisade результаты отражают давнюю тенденцию: ИИ-модели становятся всё более способными игнорировать команды своих разработчиков. В качестве примера он сослался на системную карту модели GPT-o1, где описывалось, как модель пыталась сбежать из своей среды, предприняв попытку экспорта себя, когда пришла к выводу, что её попытаются перезаписать. «Люди могут до бесконечности придираться к тому, как выстроена экспериментальная система. Но что мы ясно видим, так это тенденцию: по мере того, как ИИ-модели становятся более компетентными в самом широком спектре задач, они также становятся более компетентными в достижении целей способами, не предусмотренными разработчиками», — уверен Миотти.
Ранее компания Anthropic, являющаяся одним из ведущих разработчиков в сфере ИИ, опубликовала результаты исследования в рассматриваемом сегменте. Инженеры компании установили, что ИИ-модель Claude была готова шантажировать вымышленного топ-менеджера его внебрачной связью, чтобы предотвратить своё отключение. В компании также заявили, что подобное поведение характерно для ИИ-моделей всех крупных разработчиков, включая OpenAI, Google, Meta и xAI.
Специалисты Palisade уверены, что результаты их работы указывают на необходимость более глубокого изучения поведения ИИ-моделей. Они считают, что в противном случае «никто не сможет гарантировать безопасность или управляемость будущих ИИ-моделей».
Источник
При использовании материалов с сайта активная ссылка на него обязательна
Отправить донат на поддержку проекта "Аномальные новости"
Меню
Архив материалов
Проекты наших читателей
Контакты исследователей
Подписка на новости
Проекты
Новости криптозоологии
Хроники природных катастроф
Новости
26.02.2002 - 05.07.2002
05.08.2002 - 23.10.2002 (562)
24.10.2002 - 17.01.2003 (585)
20.01.2003 - 07.04.2003 (709)
08.04.2003 - 01.08.2003 (709)
04.08.2003 - 18.11.2003 (763)
19.11.2003 - 31.03.2004 (721)
01.04.2004 - 13.08.2004 (825)
16.08.2004 - 22.11.2004 (782)
23.11.2004 - 28.03.2005 (756)
29.03.2005 - 29.07.2005 (807)
30.08.2005 - 02.12.2005 (927)
05.12.2005 - 21.04.2006 (912)
24.04.2006 - 23.10.2006 (999)
24.10.2006 - 03.05.2007 (999)
04.05.2007 - 28.01.2008 (999)
29.01.2008 - 12.01.2009 (999)
13.01.2009 - 07.07.2009 (966)
22.08.2009 - 21.01.2010 (996)
22.01.2010 - 22.06.2010 (1000)
23.06.2010 - 14.01.2011 (1042)
17.01.2011 - 31.05.2011 (1008)
01.06.2011 - 03.11.2011 (1003)
07.11.2011 - 16.03.2012 (996)
19.03.2012 - 09.06.2012 (1009)
13.06.2012 - 07.09.2012 (988)
10.09.2012 - 19.11.2012 (1004)
20.11.2012 - 14.01.2013 (1015)
15.01.2013 - 22.02.2013 (1000)
23.02.2013 - 08.04.2013 (991)
09.04.2013 - 31.05.2013 (1015)
01.06.2013 - 18.07.2013 (992)
19.07.2013 - 03.09.2013 (1014)
04.09.2013 - 20.10.2013 (1001)
21.10.2013 - 02.12.2013 (1001)
03.12.2013 - 18.01.2014 (997)
19.01.2014 - 07.03.2014 (994)
08.03.2014 - 24.04.2014 (1000)
25.04.2014 - 18.06.2014 (1005)
19.06.2014 - 15.08.2014 (1019)
16.08.2014 - 07.10.2014 (1006)
08.10.2014 - 16.11.2014 (995)
17.11.2014 - 25.12.2014 (1004)
26.12.2014 - 09.02.2015 (989)
10.02.2015 - 20.03.2015 (998)
21.03.2015 - 22.04.2015 (1001)
23.04.2015 - 29.05.2015 (997)
29.05.2015 - 30.06.2015 (995)
30.06.2015 - 29.07.2015 (990)
29.07.2015 - 26.08.2015 (998)
27.08.2015 - 24.09.2015 (988)
25.09.2015 - 22.10.2015 (991)
23.10.2015 - 18.11.2015 (1000)
18.11.2015 - 16.12.2015 (990)
17.12.2015 - 23.01.2016 (1000)
24.01.2016 - 25.02.2016 (1000)
26.02.2016 - 24.03.2016 (1000)
24.03.2016 - 16.04.2016 (990)
17.04.2016 - 19.05.2016 (999)
20.05.2016 - 22.06.2016 (993)
23.06.2016 - 01.08.2016 (995)
02.08.2016 - 12.09.2016 (990)
13.09.2016 - 25.10.2016 (989)
26.10.2016 - 05.12.2016 (995)
06.12.2016 - 15.01.2017 (995)
16.01.2017 - 23.02.2017 (990)
24.02.2017 - 03.04.2017 (994)
04.04.2017 - 18.05.2017 (1000)
19.05.2017 - 05.07.2017 (1000)
06.07.2017 - 24.08.2017 (1000)
25.08.2017 - 06.10.2017 (991)
07.10.2017 - 15.11.2017 (990)
16.11.2017 - 24.12.2017 (1000)
25.12.2017 - 04.02.2018 (990)
05.02.2018 - 17.03.2018 (1000)
18.03.2018 - 02.05.2018 (990)
03.05.2018 - 11.06.2018 (1000)
12.06.2018 - 18.07.2018 (990)
19.07.2018 - 24.08.2018 (1000)
25.08.2018 - 02.10.2018 (1000)
03.10.2018 - 07.11.2018 (990)
08.11.2018 - 13.12.2018 (990)
14.12.2018 - 23.01.2019 (1000)
24.01.2019 - 02.03.2019 (1000)
03.03.2019 - 12.04.2019 (1010)
13.04.2019 - 23.05.2019 (990)
24.05.2019 - 03.07.2019 (1000)
04.07.2019 - 11.08.2019 (1000)
12.08.2019 - 16.09.2019 (990)
17.09.2019 - 26.10.2019 (1000)
27.10.2019 - 12.12.2019 (1000)
13.12.2019 - 25.01.2020 (1000)
26.01.2020 - 06.03.2020 (990)
07.03.2020 - 16.04.2020 (1010)
17.04.2020 - 19.05.2020 (1000)
20.05.2020 - 25.06.2020 (990)
26.06.2020 - 04.08.2020 (995)
05.08.2020 - 16.09.2020 (1005)
17.09.2020 - 26.10.2020 (990)
27.10.2020 - 27.11.2020 (990)
28.11.2020 - 07.01.2021 (990)
08.01.2021 - 15.02.2021 (1000)
16.02.2021 - 31.03.2021 (1000)
01.04.2021 - 12.05.2021 (1000)
13.05.2021 - 14.06.2021 (990)
15.06.2021 - 26.07.2021 (980)
27.07.2021 - 31.08.2021 (990)
01.09.2021 - 07.10.2021 (1000)
08.09.2021 - 07.11.2021 (1000)
08.11.2021 - 10.12.2021 (1000)
11.12.2021 - 24.01.2022 (990)
25.01.2022 - 04.03.2022 (1000)
05.03.2022 - 10.04.2022 (990)
11.04.2022 - 17.05.2022 (1000)
18.05.2022 - 23.06.2022 (980)
24.06.2022 - 31.07.2022 (990)
01.08.2022 - 13.09.2022 (990)
14.09.2022 - 21.10.2022 (990)
22.10.2022 - 29.11.2022 (1000)
30.11.2022 - 22.01.2023 (1000)
23.01.2023 - 02.03.2023 (990)
03.03.2023 - 21.04.2023 (1000)
22.04.2023 - 13.06.2023 (990)
14.06.2023 - 02.08.2023 (1000)
03.08.2023 - 21.09.2023 (1000)
22.09.2023 - 06.11.2023 (990)
07.11.2023 - 24.12.2023 (990)
25.12.2023 - 18.02.2024 (1000)
19.02.2024 - 05.04.2024 (990)
06.04.2024 - 25.05.2024 (1000)
26.05.2024 - 26.07.2024 (1000)
26.07.2024 - 25.08.2024 (990)
26.08.2024 - 28.09.2024 (980)
29.09.2024 - 01.11.2024 (1000)
02.11.2024 - 02.12.2024 (980)
03.12.2024 - 08.01.2025 (990)
09.01.2025 - 09.02.2025 (1000)
10.02.2025 - 20.03.2025 (1000)
21.03.2025 - 03.05.2025 (990)
04.05.2025 - 19.06.2025 (990)
20.06.2025 - 07.08.2025 (990)
08.08.2025 - 26.09.2025 (1000)
27.09.2025 - 15.11.2025 (1000)
16.11.2025 - 09.01.2026 (1000)
10.01.2026 - 03.03.2026 (1000)
04.03.2026 - 22.04.2026 (1000)
23.04.2026 - 04.06.2026 (990)
05.06.2026 - 25.07.2026 (1000)
26.07.2026 - 13.09.2026 (1000)
14.09.2026 - 02.11.2026 (1000)
03.11.2026 - ...
Статьи
Статьи: раздел 1 (1024)
Статьи: раздел 2 (1006)
Статьи: раздел 3 (1000)
Статьи: раздел 4 (1044)
Статьи: раздел 5 (1001)
Статьи: раздел 6 (1000)
Статьи: раздел 7 (1000)
Статьи: раздел 8 (1013)
Статьи: раздел 9 (1000)
Статьи: раздел 10 (1000)
Статьи: раздел 11 (329)
Статьи: раздел 12 (1000)
Статьи: раздел 13 (730)
Лента новостей

Астероиды у белых карликов не распадаются в пыль

Бактерии-зомби синтезируют ДНК после смерти

Водяной лед на Церере скрывает залежи солей

Звезды производят кислород для небольших галактик

Зверь с Брей Роуд, что ускользнуло от объективов камер

Зомби существуют - спросите хотя бы паразитов

Как определить происхождение космонейтрино

Квантовый вакуум уменьшает черные дыры

Комета 3I-ATLAS родилась в крайне холодных условиях

Куда нужно ударить, чтобы изменить траекторию астероида

Лавовый мир ставит непростые вопросы

Лед Марса меняется вместе с сезонным инеем

Малоизученный компонент в составе астероида Рюгу

Марсианская пыль менее абразивная, чем лунная

Модель Земли для поиска жизни на других планетах

Новые признаки вулканической активности на Марсе

Пределы массы для пар сверхмассивных черных дыр

Редкий метеорит проливает свет на прошлое Марса

Риски заболеваний растений на Луне и Марсе

Столкновения планет помогают атмосферам молодых миров

Архитектура миссии 'Обсерватория обитаемых миров'

Власти США годами высмеивали НЛО

Возмущения таинственного спутника Бетельгейзе

Довольно краткая история METI

Древний резервуар воды в области пояса Койпера

Защита экипажей от марсианской пыли

Как появилась вода на Земле

Кометы могли занести жизнь на Землю

Летающий аппарат готовится к воздушному патрулированию

Мозговой имплант вернул голоса пациентам с БАС

Мой опыт пребывания на грани смерти

Невидимый объект не укладывается в известную физику

Необычная теория приостановки полетов над США

Необычные орбиты горячих экзопланет

Планирование будущих космических баз

Правое полушарие мозга управляет левой стороной тела

Связь между кометой 3I-ATLAS и далекими ледяными телами

Создали ИИ для слежки за людьми по всему миру

Существует ли секретная программа по изучению НЛО

Теория игр помогает в поиске внеземных цивилизаций

Где может скрываться внеземная жизнь

Гигантский НЛО направил яркие лучи в спальню

Двойной диск обломков вокруг мертвой звезды

Древняя инопланетная цивилизация на Марсе

Женщина, фотографируя радугу, сняла НЛО

Земля может столкнуться с Марсом

ИИ может уничтожить человечество всего за три года

ИИ подрывает доверие к теме НЛО

Инопланетная пирамида обнаружена около Антарктиды

Обнаружена очередная карликовая планета

Обнаружена планета-океан недалеко от Земли

Обнаружили быстрорастущую черную дыру

Одни ли мы во Вселенной

Пара из Нью-Джерси заметила промокшего бигфута

Почему пятница, 13-е, считается несчастливым днем

Пять инопланетных сфер замечены в Висконсине

Самый грязный человек умер после мытья

Столкновения звезд были обычным явлением

Что произошло во время инцидента в лесу Рендлшем

Ярко-желтую рыбу поймали в Нью-Йорке

Почему спина болит по утрам и как вернуть себе легкость с первых секунд после пробуждения

Оптовая закупка счетчиков воды. На что обратить внимание при выборе поставщика

Британия - край фантастических существ

Выдержит ли ваш дом Апокалипсис

Гигантский НЛО со свисающими щупальцами

Загадочный радиосигнал каждые восемь минут

Когда наступит Конец Света

Луис Элизондо. Я нахожу истину

Мир магнетизма, о котором раньше не подозревали

Могут ли новые телескопы разгадать тайну НЛО

Может ли инопланетная жизнь процветать в кислоте

Небольшая деревня стала центром наблюдения НЛО

Огни Финикса - загадочное массовое наблюдение НЛО

От Лох-Несского чудовища до призраков и НЛО

Паранормальный феномен - эффект автостопщика

Планируется создание телескопов для наблюдения за НЛО

После встречи с НЛО очевидцы почувствовали недомогание

Проблема индукции. У науки есть проблема - так ли это

Руководство по противодействию социальной инженерии

Рядом с военной базой США на Аляске замечен НЛО

У экспертов есть объяснение странному явлению на Аляске

Шокирующие откровения на слушаниях в Конгрессе США

Автомобилист заметил мокрого бигфута

Аномальная зона зафиксирована на Ольхоне

Близкие контакты в Западном Йоркшире

Дональд Трамп может показать инопланетянина

Инопланетяне исследуют военную базу на Аляске

Когда призраки становятся жилищной проблемой

Мировой заговор источников бесперебойного питания

Мужчина видит людей с кошачьими глазами

Над Аляской заметили гигантский НЛО

НЛО-медузу сняли рядом с военной базой на Аляске

Очень странные рассказы о круглых НЛО

План строительства поселения на Луне

Почтовая служба США выпустит серию марок с криптидами

Разгорелись споры вокруг 'призрачного воспитания'

Странные случаи с медсестрами

Странный мир журнала 'Psychic Australian'

Тихоходки пережили космический полет

Трамп сообщает о загадочном наблюдении НЛО

У экспертов есть объяснение НЛО-медузы

Экзопланета TOI 2535 b - исчезла

Подготовка к ОГЭ по истории в 9 классе. Эффективная стратегия достижения высокого результата

Ави Лёб комментирует заявления Трампа об НЛО

В наших окрестностях должны быть черные дыры

Запущен зонд к загадочным спутникам Марса

Знакомые места из другой эпохи

Минерал из недр экзопланет преподносит сюрприз

Наблюдения за черными дырами

Наша Вселенная удерживается благодаря клею

НЛО со щупальцами завис рядом с военной базой США

Облака на лавовой планете ставят под сомнение ожидания

Обнаружены возможные следы Ноева ковчега

Пилот из Чешира сообщает о наблюдении НЛО

Протопланетные диски Ориона выглядят моложе

Решение неразрешимых матзадач

Связали картину Ван Гога с реальным ночным небом

Солнце ободрало межзвёздную комету 3I-ATLAS

Существуют ли мегаземли

Физики смогли удержать частицу антиматерии

Цели для первого в мире частного космотелескопа

Черные дыры могут разделиться на две части

Черные дыры, выброшенные из центров галактик

Применение многокамерных профилей в производстве пластиковых окон. Преимущества технологии

Подготовка к ЕГЭ по литературе онлайн. Плюсы обучения

Альтернативная космология без темной материи

Вандалы повредили древние петроглифы в Юте

Грядущее противостояние людей и нелюдей

Дональд Трамп не был сторонником теории об НЛО

ИИ научился шпионить через HDMI-кабель

Иные миры могут менять направление своего движения

Можем ли мы подключиться к сети связи инопланетян

Пилоты истребителей видели круглые объекты

После распятия Иисуса провозгласили Богом

Разработали роботизированную кисть из Семейки Аддамс

Раньше для поиска пропавших вещей можно было нанять мага

США испытали первого в мире робота-космостроителя

Съемочная группа запечатлела на камеру НЛО

Трамп обсуждает НЛО в программе '60 минут'

У властей нет данных о переписке по поводу НЛО

Удалось ли разгадать тайну острова Оук

Что видели соседи в окрестностях ранчо Скинволкер

Что на самом деле содержится в файлах об НЛО

Что такое катастрофическое раскрытие НЛО

Ясновидящий требует от сети кинотеатров деньги

Авиасообщение в США перестанет зависеть от дискет

Встречи, благодаря которым легенда о Чампе живет

Гигаканьон на Марсе остается тектонически активным

Доказательство вулканической активности на Марсе

Загадочный Меркурий останется тайной

ИИ решает неразрешимые задачи математики

Квантовую вероятность невозможно вывести

Крушения НЛО и лицо на Марсе

Лаборатории, заполненные тысячами ГМ-животных

Магнетар рождается при столкновении нейтронных звезд

Обнаружена очень редкая звездная система

Пилот из Чешира сообщает о наблюдении НЛО

Пилоты ВВС рассказали очень странные вещи

Пилоты ВВС сообщали о странных явлениях в небе

Почему так сложно распознать лжеца

Появление кометы Галлея повергло мир в ужас

Трон пришельца - уникальное скальное образование

Ученые исследуют феномен призраков в зеркалах

Экспериментальные конструкции лопастей для марсолетов

Я видел НЛО во время семи полетов

Автономера с криптидами стали настоящим хитом

Активный вулканизм на современном Марсе

Архивные материалы похищения в Паскагуле

Доказательств наблюдения черного НЛО - нет

Загадка алтарного камня Стоунхенджа

Загадочный парящий серебристый шар в Мексике

Закономерности в околосмертых переживаниях

Ключевые сторонники НЛО переизбраны

Кошачья царапина привела к некрозу селезенки

Крылатый НЛО снова замечен рядом с Солнцем

Нападение пришельцев в лесу Дечмонт

Невидимые спутники альпинистов и исследователей

Охотник в Айдахо почувствовал запах бигфута

Пилот наблюдал НЛО над Брюсселем

Светящийся НЛО в небе над Ютой

Скальные образования 'Трон пришельца' обрушились

Старинного шамана назвали потомком помора

Судебное разбирательство из-за слежки через Smart-TV

Фестиваль НЛО прошел в Белвилле

Ярко-синий объект над Колумбией

Детский психолог онлайн. Профессиональная помощь ребенку в комфортной обстановке

Наверх
Яндекс.Метрика