|
Исследователи тестируют ChatGPT на реальных студентах
|
|
|
|
Уильям Херш, доктор медицины, который обучал целые поколения студентов медицинской и клинической информатики в Орегонском университете здравоохранения и естественных наук, заинтересовался растущим влиянием искусственного интеллекта. Ему было интересно, как ИИ проявит себя в его собственном классе. Поэтому он решил провести эксперимент.
|
|
|
|
Он протестировал шесть форм генерирующих моделей ИИ с большим количеством языков - например, ChatGPT — в онлайн—версии своего популярного вводного курса по биомедицинской и медицинской информатике, чтобы посмотреть, как они работают в сравнении с живыми, мыслящими студентами. Исследование, опубликованное в журнале npj Digital Medicine, выявило ответ: лучше, чем у целых трех четвертей его студентов-людей.
|
|
|
|
"Это действительно вызывает беспокойство по поводу мошенничества, но здесь есть более серьезная проблема", - сказал Херш. "Откуда мы знаем, что наши студенты действительно изучают и совершенствуют знания и навыки, необходимые им для их будущей профессиональной работы?"
|
|
|
|
Как профессор медицинской информатики и клинической эпидемиологии в медицинской школе OHSU, Херш особенно хорошо разбирается в новых технологиях. По словам Херша, в роли технологий в образовании нет ничего нового, вспоминая свой собственный опыт, когда он был старшеклассником в 1970-х годах во время перехода от логарифмических линеек к калькуляторам.
|
|
|
Тем не менее, переход к генеративному ИИ представляет собой экспоненциальный скачок вперед.
|
|
|
|
"Очевидно, что у каждого должен быть какой-то фундамент знаний в своей области", - сказал Херш. "Какой фундамент знаний, по вашему мнению, должен быть у людей, чтобы они могли критически мыслить?"
|
|
Модели с большим количеством языков
|
|
|
|
Херш и его соавтор Кейт Фульц Холлис, специалист по информатике OHSU, проанализировали результаты оценки знаний 139 студентов, которые прошли вводный курс по биомедицинской и медицинской информатике в 2023 году. Они предложили шесть моделей большого языка для создания ИИ с использованием материалов для оценки учащихся из курса. В зависимости от модели ИИ набрал от 50-го до 75-го процентиля по результатам ответов на вопросы с несколькими вариантами ответов, которые использовались в тестах и итоговом экзамене, где требовались короткие письменные ответы на вопросы.
|
|
|
|
"Результаты этого исследования поднимают важные вопросы относительно будущего оценки успеваемости студентов по большинству, если не по всем, учебным дисциплинам", - пишут авторы.
|
|
|
|
В исследовании впервые сравниваются модели с большим количеством языков для студентов, изучающих полный академический курс в области биомедицины. Херш и Фульц Холлис отметили, что такой курс, основанный на знаниях, как этот, может быть особенно полезен для создания моделей с большим количеством языков, в отличие от академических курсов, основанных на более широком участии, которые помогают студентам развивать более сложные навыки и умственные способности.
|
|
|
|
Херш вспоминает свой опыт работы в медицинской школе.
|
|
|
|
"Когда я был студентом-медиком, один из моих лечащих врачей сказал мне, что мне нужно держать все знания в голове", - сказал он. "Даже в 1980-х годах это было непросто. База знаний медицины уже давно превзошла способность человеческого мозга запоминать все это".
|
|
Сохраняя человеческий подход
|
|
|
|
Тем не менее, он считает, что существует тонкая грань между разумным использованием технических ресурсов для продвижения обучения и чрезмерной зависимостью до такой степени, что это препятствует обучению. В конечном счете, цель академического медицинского центра, такого как OHSU, заключается в обучении медицинских работников, способных ухаживать за пациентами и оптимизировать использование данных и информации о них в реальном мире.
|
|
|
|
В этом смысле, по его словам, медицина всегда будет нуждаться в человеческом участии.
|
|
|
|
"Есть много вещей, которые делают медицинские работники, которые довольно просты, но бывают случаи, когда это становится сложнее, и вам приходится принимать решения самостоятельно", - сказал он. "Вот когда это помогает взглянуть на вещи шире, без необходимости запоминать все до последнего факта".
|
|
|
|
Поскольку осенние занятия скоро начнутся, Херш сказал, что его не беспокоит списывание.
|
|
|
|
"Я обновляю курс каждый год", - сказал он. "В любой научной области постоянно появляются новые достижения, и модели на больших языках не обязательно соответствуют всем современным требованиям. Это просто означает, что нам придется обратиться к более новым или более тонким тестам, в которых вы не получите ответа из ChatGPT".
|
|
|
|
Источник
|
