|
ИИ ChatGPT не подходит для бухгалтерского учета
|
|
|
|
В прошлом месяце OpenAI запустила свой новейший продукт для чат-ботов с искусственным интеллектом — GPT-4. По словам людей из OpenAI, бот, который использует машинное обучение для генерации текста на естественном языке, сдал экзамен на степень бакалавра с оценкой в 90-м процентиле, сдал 13 из 15 экзаменов AP и получил почти высший балл на вербальном тесте GRE. Пытливые умы из Университета Бригама Янга (BYU) и 186 других университетов хотели узнать, как технология OpenAI покажет себя на экзаменах по бухгалтерскому учету. Итак, они протестировали оригинальную версию ChatGPT. Их исследование описано в «Вопросах бухгалтерского образования». Исследователи говорят, что, несмотря на то, что в области бухгалтерского учета еще есть над чем работать, это изменит правила игры, которые изменят способ преподавания и обучения для всех — к лучшему.
|
|
|
|
«Когда эта технология впервые появилась, все были обеспокоены тем, что студенты теперь могут использовать ее для мошенничества», — сказал ведущий автор исследования Дэвид Вуд, профессор бухгалтерского учета УБЯ. «Но возможности обмана существовали всегда. Поэтому мы пытаемся сосредоточиться на том, что мы можем сделать с этой технологией сейчас, что мы не могли сделать раньше, чтобы улучшить процесс обучения для преподавателей и процесс обучения для студентов. Тестирование это было поучительным». С момента своего дебюта в ноябре 2022 года ChatGPT стала самой быстрорастущей технологической платформой, достигнув 100 миллионов пользователей менее чем за два месяца. В ответ на интенсивные дебаты о том, как такие модели, как ChatGPT, должны влиять на образование, Вуд решил нанять как можно больше профессоров, чтобы увидеть, как ИИ справляется с реальными студентами-бухгалтерами университетов.
|
|
|
Его соавторская реклама в социальных сетях взорвалась: 327 соавторов из 186 учебных заведений в 14 странах приняли участие в исследовании, ответив на 25 181 экзаменационный вопрос по бухгалтерскому учету. Они также наняли студентов УБЯ (включая дочь Вуда, Джессику), чтобы они отправили в ChatGPT еще 2268 тестовых вопросов по учебникам. Вопросы охватывали бухгалтерские информационные системы (АИС), аудит, финансовый учет, управленческий учет и налоги и различались по сложности и типу (верно/неверно, множественный выбор, краткий ответ и т. д.). Хотя производительность ChatGPT была впечатляющей, студенты справились лучше. Студенты набрали в среднем 76,7%, по сравнению с 47,4% ChatGPT. На 11,3% вопросов ChatGPT получил более высокие баллы, чем в среднем по учащимся, особенно хорошо справившись с AIS и аудитом. Но ИИ-бот хуже справлялся с налоговыми, финансовыми и управленческими оценками, возможно, потому, что ChatGPT боролся с математическими процессами, необходимыми для последнего типа.
|
|
|
|
Что касается типа вопроса, ChatGPT лучше справлялся с вопросами «верно/неверно» (68,7% правильных ответов) и вопросами с несколькими вариантами ответов (59,5%), но испытывал трудности с вопросами с короткими ответами (от 28,7% до 39,1%). В целом ChatGPT было труднее ответить на вопросы более высокого порядка. На самом деле иногда ChatGPT предоставлял авторитетные письменные описания неправильных ответов или отвечал на один и тот же вопрос по-разному. «Это не идеально, вы не будете использовать его для всего», — сказала Джессика Вуд, в настоящее время первокурсница УБЯ. «Попытка учиться исключительно с помощью ChatGPT — глупая затея». В ходе исследования исследователи также обнаружили некоторые другие интересные тенденции, в том числе:
|
|
|
|
- ChatGPT не всегда распознает математические операции и допускает бессмысленные ошибки, такие как сложение двух чисел в задаче на вычитание или неправильное деление чисел.
|
|
- ChatGPT часто дает пояснения к своим ответам, даже если они неверны. В других случаях описания ChatGPT точны, но затем он продолжает выбирать неправильный ответ с несколькими вариантами ответов.
|
|
- ChatGPT иногда выдумывает факты. Например, при предоставлении ссылки создается реальная ссылка, которая полностью сфабрикована. Произведения, а иногда и авторов, даже не существует.
|
|
|
|
Тем не менее, авторы полностью ожидают, что GPT-4 экспоненциально улучшит бухгалтерские вопросы, поставленные в их исследовании, и проблемы, упомянутые выше. Что они считают наиболее многообещающим, так это то, как чат-бот может помочь улучшить преподавание и обучение, включая возможность разрабатывать и тестировать задания или, возможно, использовать его для составления частей проекта. «Это возможность подумать о том, преподаем ли мы дополнительную информацию или нет», — сказала соавтор исследования и профессор бухгалтерского учета УБЯ Мелисса Ларсон. «Это нарушение, и нам нужно оценить, куда мы идем отсюда. Конечно, у меня все еще будут ТА, но это заставит нас использовать их по-разному».
|
|
|
|
Источник
|
