У ИИ DALL-E 2 есть собственный словарь
Американские исследователи обнаружили у генеративной нейросети DALL-E 2, создающей изображения по текстовому описанию, необычные особенности. Текст на ее изображениях, который кажется случайным набором символов, вероятно, вовсе не является таковым и зачастую связан с конкретными объектами и понятиями. К примеру, по запросу «Apoploe vesrreaitais» модель обычно генерирует изображения с птицами. Исследователи предположили, что DALL-E 2 в процессе обучения формирует собственное подобие словаря. Статья, пока не прошедшая рецензирование, доступна на сайте авторов. Она вызвала активное обсуждение среди сообщества исследователей машинного обучения, которые опровергли некоторые тезисы авторов и подтвердили другие.
DALL-E 2 — это новая и улучшенная версия генеративной нейросети DALL-E, представленной OpenAI в начале 2021 года. Тогда исследователи рассказали одновременно о двух похожих моделях: DALL-E и CLIP. По сути они выполняют противоположные задачи: DALL-E генерирует реалистичное изображение по его текстовому описанию, данному человеком, а CLIP генерирует текстовое описание для данного ей изображения. В обоих случаях модели обучались на огромном объеме изображений и описаний и сумели выучить качественную связь между визуальным и текстовым представлением объектов и понятий. В представленной этой весной DALL-E 2 разработчики поменяли некоторые детали реализации и сумели повысить реалистичность генерируемых ей изображений. Тем не менее у нее все еще есть заметные проблемы, одна из которых — генерация надписей. Обычно модель генерирует либо набор латинских символов в неправильном порядке, либо использует несуществующие символы или узоры.
OpenAI традиционно не предоставляет код и полную версию своих моделей, и в этот раз запустила демо-версию с доступом по запросу, в которой исследователи могут проверить работу модели, дав ей текстовое описание и получив набор изображений. Яннис Дарас (Giannis Daras) и Александрос Димакис (Alexandros Dimakis) из Техасского университета в Остине, которые получили доступ к демо-версии, обнаружили, что случайный текст на изображениях, похоже, не такой уж и случайный.
Они загружали в модель описания тех или иных сцен с указанием, что ей нужно сгенерировать текст. Например, в ответ на предложение «Два кита, разговаривающих о еде, с субтитрами» (Two whales talking about food, with subtitles.) модель сгенерировала двух китов и неразборчивый набор символов, который латинскими символами лучше всего отражается фразой «Wa ch zod ahaakes rea». Авторы обнаружили, что если загрузить в модель эту, казалось бы, бессмысленную фразу, она сгенерирует изображения с разными морепродуктами.
Аналогичным образом они обнаружили некоторые другие фразы и слова, которые устойчиво связанны с конкретными понятиями, например, по запросу «Apoploe vesrreaitais» модель чаще всего генерирует птиц. При этом в данном случае они узнали об этой фразе, попросив сгенерировать двух фермеров, разговаривающих об овощах. Кроме того, они обнаружили, что иногда модель корректно генерирует и изображения с комбинацией этих фраз. Так, они сначала выяснили, что по запросу «Contarra ccetnxniams luryca tanniounons» DALL-E 2 часто генерирует жуков и прочих насекомых, а в ответ на фразу «Apoploe vesrreaitais eating Contarra ccetnxniams luryca tanniounons» она может сгенерировать изображения птиц, которые едят жуков.
Исследователи предположили, что обнаружили у DALL-E 2 «скрытый язык» и опубликовали статью. Она вызвала бурное обсуждение в сообществе разработчиков и исследователей. Бенджамин Хиттон показал, что часть примеров, приведенных авторами, зачастую не соответствует действительности, и по-видимому, была вызвана либо совпадением, либо выискиванием удачных вариантов генерации. Так, в ответ на фразу «Contarra ccetnxniams luryca tanniounons» он чаще всего получал разных животных, а не конкретно жуков (хотя они нередко были в результатах). Более того, если добавить к этой фразе указание стиля, предполагаемая связь между понятием «жуки» и этой фразой вовсе исчезает: если попросить модель сгенерировать «Contarra ccetnxniams luryca tanniounons» в стиле рисунка, она стабильно рисует пожилых женщин, а если попросить сделать 3D-рендер, получаются рендеры ракушек, динозавров и других объектов.
В то же время и он, и еще один исследователь, подтвердили, что по фразе «Apoploe vesrreaitais» DALL-E 2 действительно стабильно генерирует именно птиц. Вероятное объяснение этому нашел пользователь твиттера BarneyFlames. Он обнаружил, что токенизатор из модели CLIP, которая используется в DALL-E 2 для превращения текста в эмбеддинг, разбивает фразу «Apoploe vesrreaitais» на токены apo, plo, e, ,ve, sr, re, ait и ais. Первые два токена встречаются в начале названий семейств птиц Apodidae и Ploceidae. Он предположил, что модель могла получить большую часть информации о птицах из научных иллюстраций. Таким образом, при генерации изображений птиц DALL-E 2 может формировать текст из токенов, которые она чаще всего встречала в описаниях фотографий птиц при обучении. После критики других исследователей авторы выложили скорректированную версию статьи, в которой помимо прочего использовали термин «скрытый словарь» вместо «скрытого языка».
Источник
При использовании материалов с сайта активная ссылка на него обязательна
Отправить донат на поддержку проекта "Аномальные новости"
Меню
Архив материалов
Проекты наших читателей
Контакты исследователей
Подписка на новости
Проекты
Новости криптозоологии
Хроники природных катастроф
Новости
26.02.2002 - 05.07.2002
05.08.2002 - 23.10.2002 (562)
24.10.2002 - 17.01.2003 (585)
20.01.2003 - 07.04.2003 (709)
08.04.2003 - 01.08.2003 (709)
04.08.2003 - 18.11.2003 (763)
19.11.2003 - 31.03.2004 (721)
01.04.2004 - 13.08.2004 (825)
16.08.2004 - 22.11.2004 (782)
23.11.2004 - 28.03.2005 (756)
29.03.2005 - 29.07.2005 (807)
30.08.2005 - 02.12.2005 (927)
05.12.2005 - 21.04.2006 (912)
24.04.2006 - 23.10.2006 (999)
24.10.2006 - 03.05.2007 (999)
04.05.2007 - 28.01.2008 (999)
29.01.2008 - 12.01.2009 (999)
13.01.2009 - 07.07.2009 (966)
22.08.2009 - 21.01.2010 (996)
22.01.2010 - 22.06.2010 (1000)
23.06.2010 - 14.01.2011 (1042)
17.01.2011 - 31.05.2011 (1008)
01.06.2011 - 03.11.2011 (1003)
07.11.2011 - 16.03.2012 (996)
19.03.2012 - 09.06.2012 (1009)
13.06.2012 - 07.09.2012 (988)
10.09.2012 - 19.11.2012 (1004)
20.11.2012 - 14.01.2013 (1015)
15.01.2013 - 22.02.2013 (1000)
23.02.2013 - 08.04.2013 (991)
09.04.2013 - 31.05.2013 (1015)
01.06.2013 - 18.07.2013 (992)
19.07.2013 - 03.09.2013 (1014)
04.09.2013 - 20.10.2013 (1001)
21.10.2013 - 02.12.2013 (1001)
03.12.2013 - 18.01.2014 (997)
19.01.2014 - 07.03.2014 (994)
08.03.2014 - 24.04.2014 (1000)
25.04.2014 - 18.06.2014 (1005)
19.06.2014 - 15.08.2014 (1019)
16.08.2014 - 07.10.2014 (1006)
08.10.2014 - 16.11.2014 (995)
17.11.2014 - 25.12.2014 (1004)
26.12.2014 - 09.02.2015 (989)
10.02.2015 - 20.03.2015 (998)
21.03.2015 - 22.04.2015 (1001)
23.04.2015 - 29.05.2015 (997)
29.05.2015 - 30.06.2015 (995)
30.06.2015 - 29.07.2015 (990)
29.07.2015 - 26.08.2015 (998)
27.08.2015 - 24.09.2015 (988)
25.09.2015 - 22.10.2015 (991)
23.10.2015 - 18.11.2015 (1000)
18.11.2015 - 16.12.2015 (990)
17.12.2015 - 23.01.2016 (1000)
24.01.2016 - 25.02.2016 (1000)
26.02.2016 - 24.03.2016 (1000)
24.03.2016 - 16.04.2016 (990)
17.04.2016 - 19.05.2016 (999)
20.05.2016 - 22.06.2016 (993)
23.06.2016 - 01.08.2016 (995)
02.08.2016 - 12.09.2016 (990)
13.09.2016 - 25.10.2016 (989)
26.10.2016 - 05.12.2016 (995)
06.12.2016 - 15.01.2017 (995)
16.01.2017 - 23.02.2017 (990)
24.02.2017 - 03.04.2017 (994)
04.04.2017 - 18.05.2017 (1000)
19.05.2017 - 05.07.2017 (1000)
06.07.2017 - 24.08.2017 (1000)
25.08.2017 - 06.10.2017 (991)
07.10.2017 - 15.11.2017 (990)
16.11.2017 - 24.12.2017 (1000)
25.12.2017 - 04.02.2018 (990)
05.02.2018 - 17.03.2018 (1000)
18.03.2018 - 02.05.2018 (990)
03.05.2018 - 11.06.2018 (1000)
12.06.2018 - 18.07.2018 (990)
19.07.2018 - 24.08.2018 (1000)
25.08.2018 - 02.10.2018 (1000)
03.10.2018 - 07.11.2018 (990)
08.11.2018 - 13.12.2018 (990)
14.12.2018 - 23.01.2019 (1000)
24.01.2019 - 02.03.2019 (1000)
03.03.2019 - 12.04.2019 (1010)
13.04.2019 - 23.05.2019 (990)
24.05.2019 - 03.07.2019 (1000)
04.07.2019 - 11.08.2019 (1000)
12.08.2019 - 16.09.2019 (990)
17.09.2019 - 26.10.2019 (1000)
27.10.2019 - 12.12.2019 (1000)
13.12.2019 - 25.01.2020 (1000)
26.01.2020 - 06.03.2020 (990)
07.03.2020 - 16.04.2020 (1010)
17.04.2020 - 19.05.2020 (1000)
20.05.2020 - 25.06.2020 (990)
26.06.2020 - 04.08.2020 (995)
05.08.2020 - 16.09.2020 (1005)
17.09.2020 - 26.10.2020 (990)
27.10.2020 - 27.11.2020 (990)
28.11.2020 - 07.01.2021 (990)
08.01.2021 - 15.02.2021 (1000)
16.02.2021 - 31.03.2021 (1000)
01.04.2021 - 12.05.2021 (1000)
13.05.2021 - 14.06.2021 (990)
15.06.2021 - 26.07.2021 (980)
27.07.2021 - 31.08.2021 (990)
01.09.2021 - 07.10.2021 (1000)
08.09.2021 - 07.11.2021 (1000)
08.11.2021 - 10.12.2021 (1000)
11.12.2021 - 24.01.2022 (990)
25.01.2022 - 04.03.2022 (1000)
05.03.2022 - 10.04.2022 (990)
11.04.2022 - 17.05.2022 (1000)
18.05.2022 - 23.06.2022 (980)
24.06.2022 - 31.07.2022 (990)
01.08.2022 - 13.09.2022 (990)
14.09.2022 - 21.10.2022 (990)
22.10.2022 - 29.11.2022 (1000)
30.11.2022 - 22.01.2023 (1000)
23.01.2023 - 02.03.2023 (990)
03.03.2023 - 21.04.2023 (1000)
22.04.2023 - 13.06.2023 (990)
14.06.2023 - 02.08.2023 (1000)
03.08.2023 - 21.09.2023 (1000)
22.09.2023 - 06.11.2023 (990)
07.11.2023 - 24.12.2023 (990)
25.12.2023 - 18.02.2024 (1000)
19.02.2024 - 05.04.2024 (990)
06.04.2024 - 25.05.2024 (1000)
26.05.2024 - 26.07.2024 (1000)
26.07.2024 - 25.08.2024 (990)
26.08.2024 - 28.09.2024 (980)
29.09.2024 - 01.11.2024 (1000)
02.11.2024 - 02.12.2024 (980)
03.12.2024 - 08.01.2025 (990)
09.01.2025 - 09.02.2025 (1000)
10.02.2025 - 20.03.2025 (1000)
21.03.2025 - 03.05.2025 (990)
04.05.2025 - 19.06.2025 (990)
20.06.2025 - 07.08.2025 (990)
08.08.2025 - 26.09.2025 (1000)
27.09.2025 - 15.11.2025 (1000)
16.11.2025 - 09.01.2026 (1000)
10.01.2026 - 03.03.2026 (1000)
04.03.2026 - 22.04.2026 (1000)
23.04.2026 - 04.06.2026 (990)
05.06.2026 - 25.07.2026 (1000)
26.07.2026 - 13.09.2026 (1000)
14.09.2026 - 02.11.2026 (1000)
03.11.2026 - ...
Статьи
Статьи: раздел 1 (1024)
Статьи: раздел 2 (1006)
Статьи: раздел 3 (1000)
Статьи: раздел 4 (1044)
Статьи: раздел 5 (1001)
Статьи: раздел 6 (1000)
Статьи: раздел 7 (1000)
Статьи: раздел 8 (1013)
Статьи: раздел 9 (1000)
Статьи: раздел 10 (1000)
Статьи: раздел 11 (329)
Статьи: раздел 12 (1000)
Статьи: раздел 13 (730)
Лента новостей

Астероиды у белых карликов не распадаются в пыль

Бактерии-зомби синтезируют ДНК после смерти

Водяной лед на Церере скрывает залежи солей

Звезды производят кислород для небольших галактик

Зверь с Брей Роуд, что ускользнуло от объективов камер

Зомби существуют - спросите хотя бы паразитов

Как определить происхождение космонейтрино

Квантовый вакуум уменьшает черные дыры

Комета 3I-ATLAS родилась в крайне холодных условиях

Куда нужно ударить, чтобы изменить траекторию астероида

Лавовый мир ставит непростые вопросы

Лед Марса меняется вместе с сезонным инеем

Малоизученный компонент в составе астероида Рюгу

Марсианская пыль менее абразивная, чем лунная

Модель Земли для поиска жизни на других планетах

Новые признаки вулканической активности на Марсе

Пределы массы для пар сверхмассивных черных дыр

Редкий метеорит проливает свет на прошлое Марса

Риски заболеваний растений на Луне и Марсе

Столкновения планет помогают атмосферам молодых миров

Архитектура миссии 'Обсерватория обитаемых миров'

Власти США годами высмеивали НЛО

Возмущения таинственного спутника Бетельгейзе

Довольно краткая история METI

Древний резервуар воды в области пояса Койпера

Защита экипажей от марсианской пыли

Как появилась вода на Земле

Кометы могли занести жизнь на Землю

Летающий аппарат готовится к воздушному патрулированию

Мозговой имплант вернул голоса пациентам с БАС

Мой опыт пребывания на грани смерти

Невидимый объект не укладывается в известную физику

Необычная теория приостановки полетов над США

Необычные орбиты горячих экзопланет

Планирование будущих космических баз

Правое полушарие мозга управляет левой стороной тела

Связь между кометой 3I-ATLAS и далекими ледяными телами

Создали ИИ для слежки за людьми по всему миру

Существует ли секретная программа по изучению НЛО

Теория игр помогает в поиске внеземных цивилизаций

Где может скрываться внеземная жизнь

Гигантский НЛО направил яркие лучи в спальню

Двойной диск обломков вокруг мертвой звезды

Древняя инопланетная цивилизация на Марсе

Женщина, фотографируя радугу, сняла НЛО

Земля может столкнуться с Марсом

ИИ может уничтожить человечество всего за три года

ИИ подрывает доверие к теме НЛО

Инопланетная пирамида обнаружена около Антарктиды

Обнаружена очередная карликовая планета

Обнаружена планета-океан недалеко от Земли

Обнаружили быстрорастущую черную дыру

Одни ли мы во Вселенной

Пара из Нью-Джерси заметила промокшего бигфута

Почему пятница, 13-е, считается несчастливым днем

Пять инопланетных сфер замечены в Висконсине

Самый грязный человек умер после мытья

Столкновения звезд были обычным явлением

Что произошло во время инцидента в лесу Рендлшем

Ярко-желтую рыбу поймали в Нью-Йорке

Почему спина болит по утрам и как вернуть себе легкость с первых секунд после пробуждения

Оптовая закупка счетчиков воды. На что обратить внимание при выборе поставщика

Британия - край фантастических существ

Выдержит ли ваш дом Апокалипсис

Гигантский НЛО со свисающими щупальцами

Загадочный радиосигнал каждые восемь минут

Когда наступит Конец Света

Луис Элизондо. Я нахожу истину

Мир магнетизма, о котором раньше не подозревали

Могут ли новые телескопы разгадать тайну НЛО

Может ли инопланетная жизнь процветать в кислоте

Небольшая деревня стала центром наблюдения НЛО

Огни Финикса - загадочное массовое наблюдение НЛО

От Лох-Несского чудовища до призраков и НЛО

Паранормальный феномен - эффект автостопщика

Планируется создание телескопов для наблюдения за НЛО

После встречи с НЛО очевидцы почувствовали недомогание

Проблема индукции. У науки есть проблема - так ли это

Руководство по противодействию социальной инженерии

Рядом с военной базой США на Аляске замечен НЛО

У экспертов есть объяснение странному явлению на Аляске

Шокирующие откровения на слушаниях в Конгрессе США

Автомобилист заметил мокрого бигфута

Аномальная зона зафиксирована на Ольхоне

Близкие контакты в Западном Йоркшире

Дональд Трамп может показать инопланетянина

Инопланетяне исследуют военную базу на Аляске

Когда призраки становятся жилищной проблемой

Мировой заговор источников бесперебойного питания

Мужчина видит людей с кошачьими глазами

Над Аляской заметили гигантский НЛО

НЛО-медузу сняли рядом с военной базой на Аляске

Очень странные рассказы о круглых НЛО

План строительства поселения на Луне

Почтовая служба США выпустит серию марок с криптидами

Разгорелись споры вокруг 'призрачного воспитания'

Странные случаи с медсестрами

Странный мир журнала 'Psychic Australian'

Тихоходки пережили космический полет

Трамп сообщает о загадочном наблюдении НЛО

У экспертов есть объяснение НЛО-медузы

Экзопланета TOI 2535 b - исчезла

Подготовка к ОГЭ по истории в 9 классе. Эффективная стратегия достижения высокого результата

Ави Лёб комментирует заявления Трампа об НЛО

В наших окрестностях должны быть черные дыры

Запущен зонд к загадочным спутникам Марса

Знакомые места из другой эпохи

Минерал из недр экзопланет преподносит сюрприз

Наблюдения за черными дырами

Наша Вселенная удерживается благодаря клею

НЛО со щупальцами завис рядом с военной базой США

Облака на лавовой планете ставят под сомнение ожидания

Обнаружены возможные следы Ноева ковчега

Пилот из Чешира сообщает о наблюдении НЛО

Протопланетные диски Ориона выглядят моложе

Решение неразрешимых матзадач

Связали картину Ван Гога с реальным ночным небом

Солнце ободрало межзвёздную комету 3I-ATLAS

Существуют ли мегаземли

Физики смогли удержать частицу антиматерии

Цели для первого в мире частного космотелескопа

Черные дыры могут разделиться на две части

Черные дыры, выброшенные из центров галактик

Применение многокамерных профилей в производстве пластиковых окон. Преимущества технологии

Подготовка к ЕГЭ по литературе онлайн. Плюсы обучения

Альтернативная космология без темной материи

Вандалы повредили древние петроглифы в Юте

Грядущее противостояние людей и нелюдей

Дональд Трамп не был сторонником теории об НЛО

ИИ научился шпионить через HDMI-кабель

Иные миры могут менять направление своего движения

Можем ли мы подключиться к сети связи инопланетян

Пилоты истребителей видели круглые объекты

После распятия Иисуса провозгласили Богом

Разработали роботизированную кисть из Семейки Аддамс

Раньше для поиска пропавших вещей можно было нанять мага

США испытали первого в мире робота-космостроителя

Съемочная группа запечатлела на камеру НЛО

Трамп обсуждает НЛО в программе '60 минут'

У властей нет данных о переписке по поводу НЛО

Удалось ли разгадать тайну острова Оук

Что видели соседи в окрестностях ранчо Скинволкер

Что на самом деле содержится в файлах об НЛО

Что такое катастрофическое раскрытие НЛО

Ясновидящий требует от сети кинотеатров деньги

Авиасообщение в США перестанет зависеть от дискет

Встречи, благодаря которым легенда о Чампе живет

Гигаканьон на Марсе остается тектонически активным

Доказательство вулканической активности на Марсе

Загадочный Меркурий останется тайной

ИИ решает неразрешимые задачи математики

Квантовую вероятность невозможно вывести

Крушения НЛО и лицо на Марсе

Лаборатории, заполненные тысячами ГМ-животных

Магнетар рождается при столкновении нейтронных звезд

Обнаружена очень редкая звездная система

Пилот из Чешира сообщает о наблюдении НЛО

Пилоты ВВС рассказали очень странные вещи

Пилоты ВВС сообщали о странных явлениях в небе

Почему так сложно распознать лжеца

Появление кометы Галлея повергло мир в ужас

Трон пришельца - уникальное скальное образование

Ученые исследуют феномен призраков в зеркалах

Экспериментальные конструкции лопастей для марсолетов

Я видел НЛО во время семи полетов

Автономера с криптидами стали настоящим хитом

Активный вулканизм на современном Марсе

Архивные материалы похищения в Паскагуле

Доказательств наблюдения черного НЛО - нет

Загадка алтарного камня Стоунхенджа

Загадочный парящий серебристый шар в Мексике

Закономерности в околосмертых переживаниях

Ключевые сторонники НЛО переизбраны

Кошачья царапина привела к некрозу селезенки

Крылатый НЛО снова замечен рядом с Солнцем

Нападение пришельцев в лесу Дечмонт

Невидимые спутники альпинистов и исследователей

Охотник в Айдахо почувствовал запах бигфута

Пилот наблюдал НЛО над Брюсселем

Светящийся НЛО в небе над Ютой

Скальные образования 'Трон пришельца' обрушились

Старинного шамана назвали потомком помора

Судебное разбирательство из-за слежки через Smart-TV

Фестиваль НЛО прошел в Белвилле

Ярко-синий объект над Колумбией

Детский психолог онлайн. Профессиональная помощь ребенку в комфортной обстановке

Наверх
Яндекс.Метрика