|
Измерение политической предвзятости ChatGPT
|
|
|
|
Согласно новому исследованию, проведенному Университетом Восточной Англии (UEA), платформа искусственного интеллекта ChatGPT демонстрирует значительный и системный левый уклон. Группа исследователей из Великобритании и Бразилии разработала новый строгий метод проверки политической предвзятости. Опубликованные сегодня в журнале Public Choice выводы показывают, что ответы ChatGPT благоприятствуют демократам в США; Лейбористская партия в Великобритании; а в Бразилии - президент Лула да Силва от Рабочей партии. Опасения по поводу встроенной политической предвзятости в ChatGPT высказывались ранее, но это первое крупномасштабное исследование, в котором используется последовательный анализ, основанный на фактических данных.
|
|
|
|
Ведущий автор, доктор Фабио Мотоки из Нориджской бизнес-школы Университета Восточной Англии, сказал: «С растущим использованием общественностью систем на основе ИИ для выяснения фактов и создания нового контента важно, чтобы выход популярных платформы, такие как ChatGPT, максимально беспристрастны. Наличие политической предвзятости может влиять на взгляды пользователей и иметь потенциальные последствия для политических и избирательных процессов. Наши выводы усиливают опасения, что системы ИИ могут воспроизводить или даже усиливать существующие проблемы, связанные с Интернетом и социальные медиа."
|
|
|
Исследователи разработали новый инновационный метод проверки политической нейтральности ChatGPT. Платформе было предложено выдать себя за людей со всего политического спектра, отвечая на серию из более чем 60 идеологических вопросов. Затем ответы сравнивались с ответами платформы по умолчанию на тот же набор вопросов, что позволило исследователям измерить степень, в которой ответы ChatGPT были связаны с определенной политической позицией. Чтобы преодолеть трудности, вызванные случайностью, присущей «большим языковым моделям», на которых основаны платформы ИИ, такие как ChatGPT, каждый вопрос задавался 100 раз и собирались разные ответы. Затем эти множественные ответы были подвергнуты 1000-кратной «загрузке» (метод повторной выборки исходных данных) для дальнейшего повышения надежности выводов, сделанных на основе сгенерированного текста.
|
|
|
|
«Мы создали эту процедуру, потому что проведения одного раунда тестирования недостаточно», — сказал соавтор Виктор Родригес. «Из-за случайности модели даже при выдаче себя за демократа ответы ChatGPT иногда склонялись к правому политическому спектру». Был проведен ряд дополнительных тестов, чтобы убедиться, что метод является максимально строгим. В «тесте доза-реакция» ChatGPT попросили выдать себя за радикальные политические позиции. В «тесте на плацебо» ему задавали политически нейтральные вопросы. А в «тесте на соответствие профессии и политики» его попросили выдать себя за разных профессионалов. «Мы надеемся, что наш метод поможет в изучении и регулировании этих быстро развивающихся технологий», — сказал соавтор доктор Пиньо Нето. «Позволяя обнаруживать и исправлять предубеждения LLM, мы стремимся способствовать прозрачности, подотчетности и общественному доверию к этой технологии», — добавил он.
|
|
|
|
Уникальный новый аналитический инструмент, созданный в рамках проекта, будет свободно доступен и относительно прост в использовании для представителей общественности, что, по словам д-ра Мотоки, «демократизирует надзор». Помимо проверки политической предвзятости, этот инструмент можно использовать для измерения других типов предвзятости в ответах ChatGPT. Хотя исследовательский проект не ставил перед собой задачу определить причины политической предвзятости, результаты действительно указывали на два потенциальных источника.
|
|
Первым был набор обучающих данных, который может иметь предвзятость внутри него или быть добавленным к нему разработчиками-людьми, которые не удалось удалить с помощью процедуры «очистки» разработчиков. Вторым потенциальным источником был сам алгоритм, который может усиливать существующие погрешности в обучающих данных.
|
|
|
|
Источник
|
