|
Способствует ли ИИ в классе углубленному обучению студентов
|
|
|
|
Многозадачные роботы сотрудничают с людьми на крупных складах, а чат-боты отвечают на запросы на банковских сайтах. Ассистенты с искусственным интеллектом даже сортируют документы для юридических фирм. Доцент кафедры компьютерных наук William & Mary Дженис Чжан (Janice Zhang) говорит, что это только вопрос времени, когда искусственный интеллект и инструменты large language model (LLM) начнут широко использоваться и в образовании.
|
|
|
|
Чтобы лучше понять, как ассистенты с искусственным интеллектом могут вписаться в учебный процесс, Чжан работал с командой исследователей, включая аспирантов W&M Вэньхань Лю и Йименг (Ивонн) Ван, чтобы провести лонгитюдное исследование, в котором изучалось, как использование ассистента по ИИ на базе LLM повлияло на результаты обучения студентов на курсах компьютерного программирования начального уровня.
|
|
|
|
Исследование было опубликовано 15 июля в материалах Одиннадцатой конференции ACM по обучению @ Scale.
|
|
|
|
Чжан объяснила важность проведения лонгитюдного исследования в течение целого семестра. "Вместо того, чтобы проводить краткосрочное исследование за один сеанс, мы действительно хотели понять, как студенты используют подобные инструменты в своей естественной среде", - сказала она. "Мы хотели посмотреть на долгосрочные последствия с течением времени".
|
|
|
|
Исследователи разработали CodeTutor, ассистента по обучению на базе LLM, который собирал и сохранял данные во время взаимодействия со студентами. Затем они разделили курс компьютерного программирования начального уровня на две группы с одинаковым уровнем владения языком. Ассистенты-преподаватели были доступны для всего класса, но студентам из одной группы также был предоставлен доступ к CodeTutor, которым им было рекомендовано пользоваться на протяжении всего курса.
|
|
|
В конце семестра студенты из группы CodeTutor продемонстрировали статистически значимое улучшение своих общих оценок по курсу по сравнению со студентами из группы, у которых не было доступа к инструменту. Кроме того, в группе CodeTutor студенты, которые никогда не использовали инструменты искусственного интеллекта, такие как ChatGPT, значительно улучшили свои навыки, чем те, у кого было больше опыта работы с ИИ на базе LLM.
|
|
|
|
На первый взгляд, эти результаты указывают на то, что помощники с искусственным интеллектом могут помочь учащимся улучшить оценки и получить знания, но Лю отметил, что другие аспекты исследования дают более широкий контекст.
|
|
|
|
"Я не думаю, что улучшение оценок между группами является самым интересным открытием в нашем исследовании", - сказал он. "Я считаю, что наши результаты, которые показывают, как учащиеся использовали CodeTutor и как они взаимодействовали с ним, на самом деле являются самыми важными".
|
|
|
|
Одна из тенденций, которая заинтриговала исследователей, заключалась в том, что студенты чувствовали, что способность кодировщиков понимать их вопросы со временем снижается.
|
|
|
|
Например, студенты считали, что CodeTutor предоставляет полезную обратную связь для решения более простых задач, таких как отладка и понимание синтаксиса, но они выражали недовольство этим инструментом при выполнении более сложных заданий, требующих критического мышления. В результате к концу семестра студенты все чаще обращались к преподавателям-людям.
|
|
|
|
Ван объяснил, что одной из причин неудовлетворительных ответов CodeTutor на вопросы, требующие критического мышления, является то, что многие студенты задавали неструктурированные вопросы. Иногда они просто копировали и вставляли вопросы из своих заданий в CodeTutor, не добавляя ничего о своем личном понимании вопроса.
|
|
|
|
"Некоторые студенты действительно хотели закончить задание, вместо того чтобы развить глубокое понимание того, как решить проблему и почему профессор выбрал именно это задание", - сказала она.
|
|
|
|
Студенты иногда впадали в отчаяние и неоднократно спрашивали CodeTutor, почему часть задачи была неправильной, не предоставляя необходимого контекста. Таким образом, они продолжали получать неудовлетворительные ответы.
|
|
|
|
Ван объяснил, что быстрое и качественное обучение является ключом к продуктивному взаимодействию с ассистентами по ИИ. По ее словам, если студенты задают целенаправленные вопросы с четкими целями и полной информацией, они получают лучшие ответы.
|
|
|
|
Исследовательская группа проанализировала все запросы, полученные студентами за семестр, и обнаружила, что 63% из них были неудовлетворительными.
|
|
|
|
"Я чувствую, что это очень важный момент, и нам нужно дать некоторые инструкции относительно того, как на самом деле задавать правильные вопросы", - сказал Чжан.
|
|
|
|
Обучение созданию успешных подсказок для этих инструментов является частью того, что Чжан называет генеративной ИИ-грамотностью, определяемой как "способность эффективно взаимодействовать с инструментами ИИ и понимать, как формулировать запросы и интерпретировать ответы".
|
|
|
|
Она объяснила, что для людей также важно уметь отличать реакцию искусственного интеллекта от реакции человека.
|
|
|
|
"Я думаю, что существует множество проблем с доверием и дезинформацией", - сказал Чжан. "По мере развития технологий генеративный ИИ или ответы, генерируемые крупными моделями, становятся все более похожими на человеческие. Лично я считаю, что необходимо обучать людей и способствовать грамотности в области искусственного интеллекта".
|
|
|
|
Чжан в настоящее время сотрудничает с местными школьными округами в разработке лагерей по обучению грамоте в области искусственного интеллекта для учащихся начальной и средней школы. Знания и опыт, полученные в этих лагерях, помогут студентам эффективно взаимодействовать с искусственным интеллектом на протяжении всей их жизни, включая время, которое они могут провести в колледже.
|
|
|
|
Результаты исследования помогли выявить пробелы, которые необходимо устранить, и Чжан подчеркнул важность командной работы для достижения таких результатов.
|
|
|
|
"Исследовательская группа хотела бы поблагодарить всех участников за их время и участие в нашем исследовании, - написала она в электронном письме, - включая преподавателей CSCI 140/141, которые согласились позволить нам рекламировать наше исследование, наших рецензентов, финансирующие агентства и других наших замечательных соавторов, включая доктора Ифань Суна, и доктор Тинтинг (Рэйчел) Чжуан."
|
|
|
|
Лю отмечает, что, хотя в настоящее время нет однозначных ответов относительно общей эффективности ассистентов по обучению искусственному интеллекту на курсах колледжа, исследование дало интересные результаты, которые послужат стимулом для дальнейших исследований.
|
|
|
|
"Я не уверен, является ли использование больших языковых моделей недостатком или преимуществом", - сказал он. "Студенты из экспериментальной группы добились больших успехов на выпускном экзамене, но мы на самом деле не знаем, усвоили ли они эти вещи — внедрили ли они их в свой разум — или просто использовали инструменты для достижения краткосрочных результатов. Это очень интересный вопрос, который мы хотим изучить в будущем".
|
|
|
|
Источник
|
