ИИ принимает экзамены у студентов-первокурсников
Как высокий рост населения влияет на валовой внутренний продукт? Студенты-экономисты хорошо знакомы с подобными экзаменационными вопросами. Поскольку вопросы задаются в виде свободного текста, они требуют не только специальных знаний, но и умения мыслить и аргументировать экономически. Однако оценка этих ответов - трудоемкая задача для университетских ассистентов: каждый ответ должен быть проверен и оценен индивидуально.
Может ли искусственный интеллект выполнять такую работу? Исследователи из Университета Пассау в области экономики и компьютерных наук исследовали этот вопрос. Их исследование было недавно опубликовано в журнале Scientific Reports. Результаты показали, что языковая модель OpenAI GPT-4 работает аналогично тестировщикам-людям при ранжировании ответов в виде открытого текста.
Краткий обзор результатов:
- Когда модель искусственного интеллекта попросили ранжировать текстовые ответы в соответствии с правильностью и полнотой — в смысле лучшего, второго по значимости или худшего ответа — GPT получила оценку, сравнимую с оценкой экзаменаторов-людей.
- Учащиеся не могут впечатлить GPT текстами, созданными с помощью искусственного интеллекта: GPT не продемонстрировал значительного предпочтения сгенерированных с помощью искусственного интеллекта или более длинных ответов.
- При оценке текстовых ответов по балльной системе модель искусственного интеллекта показала несколько худшие результаты с точки зрения качества. ГПТ, как правило, были более щедры в своих оценках, чем люди, в некоторых случаях почти на целый балл.
Исследователи приходят к выводу, что искусственный интеллект пока не может заменить человеческие маркеры. "Написание хороших типовых решений и повторная проверка должны оставаться человеческими задачами", - объясняет профессор Иоганн Граф Ламбсдорф, заведующий кафедрой экономической теории Университета Пассау, который отвечал за экспериментальный дизайн исследования вместе с Деборой Восс и Стефаном Гешвиндом.
Специалист по информатике Абдулла Аль-Зубаер запрограммировал техническую реализацию и оценку под руководством профессора Майкла Гранитцера (наука о данных). Исследователи утверждают, что экзаменационные задания должны по-прежнему тщательно контролироваться людьми. Однако искусственный интеллект, безусловно, подходит в качестве второго важного экзаменатора.
Новый метод сравнения оценки ИИ и человека
Уже проведено несколько исследований, посвященных оценке ИИ как испытуемого. Однако исследования, посвященные ИИ как экзаменатору, редки, а те немногие, что существуют, используют оценку человека в качестве достоверной основы. Команда из Пассау пошла еще дальше: она исследовала, могут ли оценки ИИ конкурировать с оценками экспертов—людей, не предполагая, что люди всегда правы.
Для эксперимента исследователи использовали текстовые ответы студентов, изучающих макроэкономику, на шесть вопросов. Команда отобрала по 50 ответов на каждый вопрос. В общей сложности 300 ответов были проанализированы обученными помощниками по коррекции. В то же время перед GPT была поставлена та же задача оценки.
Поскольку четкого "правильного" ответа на открытые вопросы не существует, неясно, виноват ли в ошибке искусственный интеллект или люди. Тем не менее, чтобы иметь возможность провести сравнение, исследовательская группа прибегла к хитрости: она использовала степень совпадения между оценками в качестве показателя близости к предполагаемой истине. Чем выше совпадение, тем ближе к истине.
Отправной точкой было соглашение между экспертами-людьми. Затем один из экспертов был заменен на GPT. Если это приводило к более высокому уровню согласия, это считалось признаком того, что оценка ИИ была лучше, чем у экспертов-людей. На самом деле, GPT удалось немного повысить оценку по отдельным вопросам.
"Мы сами были отчасти удивлены тем, насколько хорошо ИИ справился с некоторыми тестами", - говорит Восс.
Аль-Зубаер добавляет: "В ходе наших тестов качество GPT-4 оставалось в целом стабильным даже при неточных или некорректных инструкциях". По мнению команды, это показывает, что ИИ надежен и универсален, даже если он по-прежнему немного уступает в балльной оценке.
Источник
При использовании материалов с сайта активная ссылка на него обязательна
Отправить донат на поддержку проекта "Аномальные новости"
Меню
Архив материалов
Проекты наших читателей
Контакты исследователей
Подписка на новости
Проекты
Новости криптозоологии
Хроники природных катастроф
Новости
26.02.2002 - 05.07.2002
05.08.2002 - 23.10.2002 (562)
24.10.2002 - 17.01.2003 (585)
20.01.2003 - 07.04.2003 (709)
08.04.2003 - 01.08.2003 (709)
04.08.2003 - 18.11.2003 (763)
19.11.2003 - 31.03.2004 (721)
01.04.2004 - 13.08.2004 (825)
16.08.2004 - 22.11.2004 (782)
23.11.2004 - 28.03.2005 (756)
29.03.2005 - 29.07.2005 (807)
30.08.2005 - 02.12.2005 (927)
05.12.2005 - 21.04.2006 (912)
24.04.2006 - 23.10.2006 (999)
24.10.2006 - 03.05.2007 (999)
04.05.2007 - 28.01.2008 (999)
29.01.2008 - 12.01.2009 (999)
13.01.2009 - 07.07.2009 (966)
22.08.2009 - 21.01.2010 (996)
22.01.2010 - 22.06.2010 (1000)
23.06.2010 - 14.01.2011 (1042)
17.01.2011 - 31.05.2011 (1008)
01.06.2011 - 03.11.2011 (1003)
07.11.2011 - 16.03.2012 (996)
19.03.2012 - 09.06.2012 (1009)
13.06.2012 - 07.09.2012 (988)
10.09.2012 - 19.11.2012 (1004)
20.11.2012 - 14.01.2013 (1015)
15.01.2013 - 22.02.2013 (1000)
23.02.2013 - 08.04.2013 (991)
09.04.2013 - 31.05.2013 (1015)
01.06.2013 - 18.07.2013 (992)
19.07.2013 - 03.09.2013 (1014)
04.09.2013 - 20.10.2013 (1001)
21.10.2013 - 02.12.2013 (1001)
03.12.2013 - 18.01.2014 (997)
19.01.2014 - 07.03.2014 (994)
08.03.2014 - 24.04.2014 (1000)
25.04.2014 - 18.06.2014 (1005)
19.06.2014 - 15.08.2014 (1019)
16.08.2014 - 07.10.2014 (1006)
08.10.2014 - 16.11.2014 (995)
17.11.2014 - 25.12.2014 (1004)
26.12.2014 - 09.02.2015 (989)
10.02.2015 - 20.03.2015 (998)
21.03.2015 - 22.04.2015 (1001)
23.04.2015 - 29.05.2015 (997)
29.05.2015 - 30.06.2015 (995)
30.06.2015 - 29.07.2015 (990)
29.07.2015 - 26.08.2015 (998)
27.08.2015 - 24.09.2015 (988)
25.09.2015 - 22.10.2015 (991)
23.10.2015 - 18.11.2015 (1000)
18.11.2015 - 16.12.2015 (990)
17.12.2015 - 23.01.2016 (1000)
24.01.2016 - 25.02.2016 (1000)
26.02.2016 - 24.03.2016 (1000)
24.03.2016 - 16.04.2016 (990)
17.04.2016 - 19.05.2016 (999)
20.05.2016 - 22.06.2016 (993)
23.06.2016 - 01.08.2016 (995)
02.08.2016 - 12.09.2016 (990)
13.09.2016 - 25.10.2016 (989)
26.10.2016 - 05.12.2016 (995)
06.12.2016 - 15.01.2017 (995)
16.01.2017 - 23.02.2017 (990)
24.02.2017 - 03.04.2017 (994)
04.04.2017 - 18.05.2017 (1000)
19.05.2017 - 05.07.2017 (1000)
06.07.2017 - 24.08.2017 (1000)
25.08.2017 - 06.10.2017 (991)
07.10.2017 - 15.11.2017 (990)
16.11.2017 - 24.12.2017 (1000)
25.12.2017 - 04.02.2018 (990)
05.02.2018 - 17.03.2018 (1000)
18.03.2018 - 02.05.2018 (990)
03.05.2018 - 11.06.2018 (1000)
12.06.2018 - 18.07.2018 (990)
19.07.2018 - 24.08.2018 (1000)
25.08.2018 - 02.10.2018 (1000)
03.10.2018 - 07.11.2018 (990)
08.11.2018 - 13.12.2018 (990)
14.12.2018 - 23.01.2019 (1000)
24.01.2019 - 02.03.2019 (1000)
03.03.2019 - 12.04.2019 (1010)
13.04.2019 - 23.05.2019 (990)
24.05.2019 - 03.07.2019 (1000)
04.07.2019 - 11.08.2019 (1000)
12.08.2019 - 16.09.2019 (990)
17.09.2019 - 26.10.2019 (1000)
27.10.2019 - 12.12.2019 (1000)
13.12.2019 - 25.01.2020 (1000)
26.01.2020 - 06.03.2020 (990)
07.03.2020 - 16.04.2020 (1010)
17.04.2020 - 19.05.2020 (1000)
20.05.2020 - 25.06.2020 (990)
26.06.2020 - 04.08.2020 (995)
05.08.2020 - 16.09.2020 (1005)
17.09.2020 - 26.10.2020 (990)
27.10.2020 - 27.11.2020 (990)
28.11.2020 - 07.01.2021 (990)
08.01.2021 - 15.02.2021 (1000)
16.02.2021 - 31.03.2021 (1000)
01.04.2021 - 12.05.2021 (1000)
13.05.2021 - 14.06.2021 (990)
15.06.2021 - 26.07.2021 (980)
27.07.2021 - 31.08.2021 (990)
01.09.2021 - 07.10.2021 (1000)
08.09.2021 - 07.11.2021 (1000)
08.11.2021 - 10.12.2021 (1000)
11.12.2021 - 24.01.2022 (990)
25.01.2022 - 04.03.2022 (1000)
05.03.2022 - 10.04.2022 (990)
11.04.2022 - 17.05.2022 (1000)
18.05.2022 - 23.06.2022 (980)
24.06.2022 - 31.07.2022 (990)
01.08.2022 - 13.09.2022 (990)
14.09.2022 - 21.10.2022 (990)
22.10.2022 - 29.11.2022 (1000)
30.11.2022 - 22.01.2023 (1000)
23.01.2023 - 02.03.2023 (990)
03.03.2023 - 21.04.2023 (1000)
22.04.2023 - 13.06.2023 (990)
14.06.2023 - 02.08.2023 (1000)
03.08.2023 - 21.09.2023 (1000)
22.09.2023 - 06.11.2023 (990)
07.11.2023 - 24.12.2023 (990)
25.12.2023 - 18.02.2024 (1000)
19.02.2024 - 05.04.2024 (990)
06.04.2024 - 25.05.2024 (1000)
26.05.2024 - 26.07.2024 (1000)
26.07.2024 - 25.08.2024 (990)
26.08.2024 - 28.09.2024 (980)
29.09.2024 - 01.11.2024 (1000)
02.11.2024 - 02.12.2024 (980)
03.12.2024 - 08.01.2025 (990)
09.01.2025 - 09.02.2025 (1000)
10.02.2025 - 20.03.2025 (1000)
21.03.2025 - 03.05.2025 (990)
04.05.2025 - 19.06.2025 (990)
20.06.2025 - 07.08.2025 (990)
08.08.2025 - 26.09.2025 (1000)
27.09.2025 - 15.11.2025 (1000)
16.11.2025 - 09.01.2026 (1000)
10.01.2026 - 03.03.2026 (1000)
04.03.2026 - 22.04.2026 (1000)
23.04.2026 - 04.06.2026 (990)
05.06.2026 - 25.07.2026 (1000)
26.07.2026 - 13.09.2026 (1000)
14.09.2026 - 02.11.2026 (1000)
03.11.2026 - ...
Статьи
Статьи: раздел 1 (1024)
Статьи: раздел 2 (1006)
Статьи: раздел 3 (1000)
Статьи: раздел 4 (1044)
Статьи: раздел 5 (1001)
Статьи: раздел 6 (1000)
Статьи: раздел 7 (1000)
Статьи: раздел 8 (1013)
Статьи: раздел 9 (1000)
Статьи: раздел 10 (1000)
Статьи: раздел 11 (329)
Статьи: раздел 12 (1000)
Статьи: раздел 13 (730)
Лента новостей

Астероиды у белых карликов не распадаются в пыль

Бактерии-зомби синтезируют ДНК после смерти

Водяной лед на Церере скрывает залежи солей

Звезды производят кислород для небольших галактик

Зверь с Брей Роуд, что ускользнуло от объективов камер

Зомби существуют - спросите хотя бы паразитов

Как определить происхождение космонейтрино

Квантовый вакуум уменьшает черные дыры

Комета 3I-ATLAS родилась в крайне холодных условиях

Куда нужно ударить, чтобы изменить траекторию астероида

Лавовый мир ставит непростые вопросы

Лед Марса меняется вместе с сезонным инеем

Малоизученный компонент в составе астероида Рюгу

Марсианская пыль менее абразивная, чем лунная

Модель Земли для поиска жизни на других планетах

Новые признаки вулканической активности на Марсе

Пределы массы для пар сверхмассивных черных дыр

Редкий метеорит проливает свет на прошлое Марса

Риски заболеваний растений на Луне и Марсе

Столкновения планет помогают атмосферам молодых миров

Архитектура миссии 'Обсерватория обитаемых миров'

Власти США годами высмеивали НЛО

Возмущения таинственного спутника Бетельгейзе

Довольно краткая история METI

Древний резервуар воды в области пояса Койпера

Защита экипажей от марсианской пыли

Как появилась вода на Земле

Кометы могли занести жизнь на Землю

Летающий аппарат готовится к воздушному патрулированию

Мозговой имплант вернул голоса пациентам с БАС

Мой опыт пребывания на грани смерти

Невидимый объект не укладывается в известную физику

Необычная теория приостановки полетов над США

Необычные орбиты горячих экзопланет

Планирование будущих космических баз

Правое полушарие мозга управляет левой стороной тела

Связь между кометой 3I-ATLAS и далекими ледяными телами

Создали ИИ для слежки за людьми по всему миру

Существует ли секретная программа по изучению НЛО

Теория игр помогает в поиске внеземных цивилизаций

Где может скрываться внеземная жизнь

Гигантский НЛО направил яркие лучи в спальню

Двойной диск обломков вокруг мертвой звезды

Древняя инопланетная цивилизация на Марсе

Женщина, фотографируя радугу, сняла НЛО

Земля может столкнуться с Марсом

ИИ может уничтожить человечество всего за три года

ИИ подрывает доверие к теме НЛО

Инопланетная пирамида обнаружена около Антарктиды

Обнаружена очередная карликовая планета

Обнаружена планета-океан недалеко от Земли

Обнаружили быстрорастущую черную дыру

Одни ли мы во Вселенной

Пара из Нью-Джерси заметила промокшего бигфута

Почему пятница, 13-е, считается несчастливым днем

Пять инопланетных сфер замечены в Висконсине

Самый грязный человек умер после мытья

Столкновения звезд были обычным явлением

Что произошло во время инцидента в лесу Рендлшем

Ярко-желтую рыбу поймали в Нью-Йорке

Почему спина болит по утрам и как вернуть себе легкость с первых секунд после пробуждения

Оптовая закупка счетчиков воды. На что обратить внимание при выборе поставщика

Британия - край фантастических существ

Выдержит ли ваш дом Апокалипсис

Гигантский НЛО со свисающими щупальцами

Загадочный радиосигнал каждые восемь минут

Когда наступит Конец Света

Луис Элизондо. Я нахожу истину

Мир магнетизма, о котором раньше не подозревали

Могут ли новые телескопы разгадать тайну НЛО

Может ли инопланетная жизнь процветать в кислоте

Небольшая деревня стала центром наблюдения НЛО

Огни Финикса - загадочное массовое наблюдение НЛО

От Лох-Несского чудовища до призраков и НЛО

Паранормальный феномен - эффект автостопщика

Планируется создание телескопов для наблюдения за НЛО

После встречи с НЛО очевидцы почувствовали недомогание

Проблема индукции. У науки есть проблема - так ли это

Руководство по противодействию социальной инженерии

Рядом с военной базой США на Аляске замечен НЛО

У экспертов есть объяснение странному явлению на Аляске

Шокирующие откровения на слушаниях в Конгрессе США

Автомобилист заметил мокрого бигфута

Аномальная зона зафиксирована на Ольхоне

Близкие контакты в Западном Йоркшире

Дональд Трамп может показать инопланетянина

Инопланетяне исследуют военную базу на Аляске

Когда призраки становятся жилищной проблемой

Мировой заговор источников бесперебойного питания

Мужчина видит людей с кошачьими глазами

Над Аляской заметили гигантский НЛО

НЛО-медузу сняли рядом с военной базой на Аляске

Очень странные рассказы о круглых НЛО

План строительства поселения на Луне

Почтовая служба США выпустит серию марок с криптидами

Разгорелись споры вокруг 'призрачного воспитания'

Странные случаи с медсестрами

Странный мир журнала 'Psychic Australian'

Тихоходки пережили космический полет

Трамп сообщает о загадочном наблюдении НЛО

У экспертов есть объяснение НЛО-медузы

Экзопланета TOI 2535 b - исчезла

Подготовка к ОГЭ по истории в 9 классе. Эффективная стратегия достижения высокого результата

Ави Лёб комментирует заявления Трампа об НЛО

В наших окрестностях должны быть черные дыры

Запущен зонд к загадочным спутникам Марса

Знакомые места из другой эпохи

Минерал из недр экзопланет преподносит сюрприз

Наблюдения за черными дырами

Наша Вселенная удерживается благодаря клею

НЛО со щупальцами завис рядом с военной базой США

Облака на лавовой планете ставят под сомнение ожидания

Обнаружены возможные следы Ноева ковчега

Пилот из Чешира сообщает о наблюдении НЛО

Протопланетные диски Ориона выглядят моложе

Решение неразрешимых матзадач

Связали картину Ван Гога с реальным ночным небом

Солнце ободрало межзвёздную комету 3I-ATLAS

Существуют ли мегаземли

Физики смогли удержать частицу антиматерии

Цели для первого в мире частного космотелескопа

Черные дыры могут разделиться на две части

Черные дыры, выброшенные из центров галактик

Применение многокамерных профилей в производстве пластиковых окон. Преимущества технологии

Подготовка к ЕГЭ по литературе онлайн. Плюсы обучения

Альтернативная космология без темной материи

Вандалы повредили древние петроглифы в Юте

Грядущее противостояние людей и нелюдей

Дональд Трамп не был сторонником теории об НЛО

ИИ научился шпионить через HDMI-кабель

Иные миры могут менять направление своего движения

Можем ли мы подключиться к сети связи инопланетян

Пилоты истребителей видели круглые объекты

После распятия Иисуса провозгласили Богом

Разработали роботизированную кисть из Семейки Аддамс

Раньше для поиска пропавших вещей можно было нанять мага

США испытали первого в мире робота-космостроителя

Съемочная группа запечатлела на камеру НЛО

Трамп обсуждает НЛО в программе '60 минут'

У властей нет данных о переписке по поводу НЛО

Удалось ли разгадать тайну острова Оук

Что видели соседи в окрестностях ранчо Скинволкер

Что на самом деле содержится в файлах об НЛО

Что такое катастрофическое раскрытие НЛО

Ясновидящий требует от сети кинотеатров деньги

Авиасообщение в США перестанет зависеть от дискет

Встречи, благодаря которым легенда о Чампе живет

Гигаканьон на Марсе остается тектонически активным

Доказательство вулканической активности на Марсе

Загадочный Меркурий останется тайной

ИИ решает неразрешимые задачи математики

Квантовую вероятность невозможно вывести

Крушения НЛО и лицо на Марсе

Лаборатории, заполненные тысячами ГМ-животных

Магнетар рождается при столкновении нейтронных звезд

Обнаружена очень редкая звездная система

Пилот из Чешира сообщает о наблюдении НЛО

Пилоты ВВС рассказали очень странные вещи

Пилоты ВВС сообщали о странных явлениях в небе

Почему так сложно распознать лжеца

Появление кометы Галлея повергло мир в ужас

Трон пришельца - уникальное скальное образование

Ученые исследуют феномен призраков в зеркалах

Экспериментальные конструкции лопастей для марсолетов

Я видел НЛО во время семи полетов

Автономера с криптидами стали настоящим хитом

Активный вулканизм на современном Марсе

Архивные материалы похищения в Паскагуле

Доказательств наблюдения черного НЛО - нет

Загадка алтарного камня Стоунхенджа

Загадочный парящий серебристый шар в Мексике

Закономерности в околосмертых переживаниях

Ключевые сторонники НЛО переизбраны

Кошачья царапина привела к некрозу селезенки

Крылатый НЛО снова замечен рядом с Солнцем

Нападение пришельцев в лесу Дечмонт

Невидимые спутники альпинистов и исследователей

Охотник в Айдахо почувствовал запах бигфута

Пилот наблюдал НЛО над Брюсселем

Светящийся НЛО в небе над Ютой

Скальные образования 'Трон пришельца' обрушились

Старинного шамана назвали потомком помора

Судебное разбирательство из-за слежки через Smart-TV

Фестиваль НЛО прошел в Белвилле

Ярко-синий объект над Колумбией

Детский психолог онлайн. Профессиональная помощь ребенку в комфортной обстановке

Наверх
Яндекс.Метрика