В недавнем исследовании, опубликованном в журнале PLoS ONE, ученые выяснили, может ли популярная нейросеть ChatGPT отвечать на часто задаваемые вопросы о диабете. И могут ли люди отличить ответ искусственного интеллекта от ответа врача.
Искусственный интеллект (ИИ), особенно ChatGPT, привлек значительное внимание благодаря своим потенциальным клиническим применениям. Исследования показали, что люди более восприимчивы к решениям на основе ИИ для сценариев с низким уровнем риска. Ученые считают, что это требует дополнительных исследований по пониманию и использованию крупных языковых моделей, таких как ChatGPT, в регулярном клиническом лечении. В настоящем исследовании ученые из Дании оценили опыт ChatGPT в области диабета, особенно его способность отвечать на часто задаваемые вопросы, связанные с этим заболеванием.
Они выясняли, могут ли участники исследования, которые имеют представление о диабете, отличить ответы реальных людей от ответов, написанных ChatGPT, на распространенные вопросы о диабете. Также ученые оценили, какие категории людей скорее обнаруживают ответы, генерируемые ChatGPT.
Исследование представляло из себя закрытый компьютерный опрос на основе теста Тьюринга среди всех сотрудников Диабетического центра Стено в Орхусе (SDCA). Опрос включал 10 вопросов с двумя типами ответов: один был создан людьми, а другой — ChatGPT. Участники должны были распознать ответ, сгенерированный ИИ. В вопросах рассматривались патофизиологические процессы, терапия, осложнения, физическая активность и питание при диабете. Исследование проводилось с 23 по 27 января 2023 года.
Из 311 приглашенных человек 183 завершили опрос (59% ответов), при этом 70% (n=129) были женщинами, 64% слышали о ChatGPT ранее, 19% использовали его и 58% (n=107) в прошлом общался с пациентами с диабетом в качестве практикующих врачей. По 10 вопросам доля правильных ответов (когда участники определяли ответ ИИ) колебалась от 38% до 74%.
В среднем уастники правильно идентифицировали ответы, сгенерированные ChatGPT, в 60% случаев. Мужчины и женщины имели 64% и 58% шансов точно распознать реакцию искусственного интеллекта соответственно. Лица, имевшие в прошлом контакт с больными диабетом, в 61% случаев безошибочно распознавали ответы ИИ, по сравнению с 57% для тех, кто ранее не контактировал с пациентами с диабетом.
В целом, данная работа служит начальным исследованием возможностей и ограничений ChatGPT в предоставлении ориентированных на пациента рекомендаций по лечению хронических заболеваний, в частности диабета. Хотя ChatGPT продемонстрировал некоторый потенциал для точных ответов на часто задаваемые вопросы, проблемы, связанные с дезинформацией и отсутствием детальных, персонализированных советов, были очевидны.
Поскольку большие языковые модели все чаще пересекаются со здравоохранением, необходимы тщательные исследования для оценки их безопасности, эффективности и этических аспектов ухода за пациентами, подчеркивающие необходимость создания надежной нормативной базы и постоянного надзора.