|
ИИ ChatGPT успешно сдал медицинский экзамен
|
|
|
|
ChatGPT сдал экзамен золотого стандарта, необходимый для медицинской практики в США, на фоне растущих опасений, что искусственный интеллект может лишить работы белых воротничков. Программа искусственного интеллекта набрала от 52,4 до 75 процентов на экзамене на получение медицинской лицензии (USMLE), состоящем из трех частей. Каждый год проходной порог составляет около 60 процентов. Исследователи из технологической компании AnsibleHealth, проводившие исследование, сказали: «Достижение проходного балла за этот общеизвестно сложный экспертный экзамен без какого-либо подкрепления со стороны человека знаменует собой заметную веху в развитии клинического ИИ». Полные результаты, которые были опубликованы в виде препринта несколько недель назад, теперь прошли рецензирование и опубликованы в журнале PLOS Digital Health.
|
|
|
|
Разработанный OpenAI, ChatGPT (сокращение от «Chat Generative Pre-trained Transformer») представляет собой языковой бот, который может генерировать ответы, подобные человеческим. Технология уже опробована и сдала экзамены в бизнес-школах (Уортонская школа бизнеса Пенсильванского университета) и юридических (Университет Миннесоты) школах. В последнем исследовании исследователи протестировали программное обеспечение по 350 вопросам USMLE от июня 2022 года. Два врача оценивали результаты, а расхождения рассматривались третьим экспертом. Тест оценивает знания студентов-медиков и врачей-стажеров по большинству медицинских дисциплин и используется с 1992 года. USMLE Step 1 обычно сдается в конце второго года обучения в медицинской школе, Step 2 - на четвертом курсе, а Step 3 - после окончания медицинской школы и первого года резидентуры.
|
|
|
Ежегодно тест сдают более 100 000 студентов и аспирантов. ChatGPT также предоставил «по крайней мере одно важное открытие», которое было «новым, неочевидным и клинически достоверным» для 88,9% ответов. Результаты превзошли показатели PubMedGPT, аналогичной модели, обученной исключительно на литературе в области биомедицины, которая набрала 50,8% в более старом наборе данных вопросов в стиле USMLE. Авторы считают, что полученные ими результаты позволяют предположить, что ChatGPT может стать ценным инструментом в медицинском образовании. Авторы пишут, что бот с искусственным интеллектом «обладает частичной способностью преподавать медицину, выявляя новые и неочевидные концепции, которые могут быть недоступны для учащихся». В исследовании добавляется, что «ИИ теперь могут вскоре стать повсеместными в клинической практике с разнообразными приложениями во всех секторах здравоохранения».
|
|
|
|
Команда AnsibleHealth настолько доверяет ChatGPT, что клиницисты компании начали экспериментировать с его использованием в своих рабочих процессах для переписывания сложных отчетов. Даже исследовательская группа использовала ChatGPT для записи своих выводов. «ChatGPT внес существенный вклад в написание [нашей] рукописи, — говорит автор, доктор Тиффани Кунг. «Мы взаимодействовали с ChatGPT почти как с коллегой, прося его синтезировать, упростить и предложить контрапункты к текущим черновикам… Все соавторы ценили вклад ChatGPT». Тем не менее, некоторые эксперты подчеркивают ограничения результатов исследования и использования ИИ. Профессор Нелло Кристианини, профессор искусственного интеллекта в Университете Бата, сказал: «Это даже отдаленно не предполагает, что ChatGPT обладает какими-либо знаниями, сравнимыми с человеческими… мы находимся в присутствии статистического механизма, обученного генерировать текст (новый, но похожий на ' к тому, на чем он обучался), в правильном контексте и способом, поэтому мы не должны говорить о понимании или связанных с ним концепциях.'
|
|
|
|
Даже OpenAI признает тенденцию инструмента давать «правдоподобно звучащие, но неправильные или бессмысленные ответы» — проблему, которую он считает сложной для исправления. Технология искусственного интеллекта также может увековечивать социальные предубеждения, например, в отношении расы, пола и культуры. Технологические гиганты, в том числе Google и Amazon, ранее признавали, что некоторые из их проектов, в которых экспериментировали с ИИ, были «этически рискованными» и имели ограничения. В нескольких компаниях людям пришлось вмешаться и решить эти проблемы. Тем не менее, доктор Стюарт Армстронг, соучредитель и главный научный сотрудник Aligned AI, считает, что «это впечатляющие результаты, и мы должны ожидать новых успехов в области ИИ в будущем». «Есть много областей, в которых люди намного эффективнее ИИ… Однако это человеческое превосходство не будет длиться вечно. Однажды ИИ будут лучше нас почти во всех задачах». Эндрю Каройи, декан бизнес-колледжа SC Johnson Корнельского университета, недавно сказал Financial Times: «Мы все знаем наверняка, что ChatGPT никуда не денется. Во всяком случае, эти методы искусственного интеллекта будут становиться все лучше и лучше. Администрациям факультетов и университетов необходимо вкладывать средства в собственное образование».
|
|
|
|
Источник
|
