ИИ-модели проверили на медицинских рекомендациях; в спорных случаях частота ошибок достигала 80%
Шесть коммерческих моделей искусственного интеллекта от Google, Anthropic и OpenAI проверили на способность определять, когда пациенту не нужны дополнительные обследования или лечение. Учёные из Университета имени Бен-Гуриона в Негеве и израильской медицинской организации Clalit Health Services обнаружили, что модели в целом справляются с этой задачей, но чаще ошибаются в клинически спорных ситуациях. доля рекомендаций ненужных вмешательств составила 5,4%, а случаев ошибочного отказа от необходимой помощи — 0,6%. Об этом сообщает IXBT News.
По словам исследователя Гая Лабана, в одних и тех же спорных клинических ситуациях одна модель рекомендовала ненужное обследование менее чем в 10% случаев, а другая — в 80%.
Для проверки учёные подготовили 225 клинических сценариев на основе 15 рекомендаций международной кампании Choosing Wisely. Каждый сценарий, в котором обследование или лечение не требовалось, дополняли похожим случаем, где то же вмешательство было необходимо. Каждая из шести моделей проходила все сценарии трижды, в результате чего исследователи получили 4050 ответов.
Основные ошибки при назначении лишних обследований сосредоточились вокруг ультразвукового исследования щитовидной железы и стандартной электрокардиографии. В первом случае проблема связана с разногласиями между Американской тиреоидной ассоциацией и Американской коллегией радиологии относительно обследования небольших узлов щитовидной железы размером менее 1 см.
У исследования есть ограничения: модели получали отдельные запросы, а не участвовали в продолжительных диалогах с пациентами. Проверка проводилась на стандартизированных сценариях, а не на реальных медицинских консультациях. Ответы сначала оценивала другая система искусственного интеллекта, после чего врачи проверяли результаты и разбирали спорные случаи. Поэтому полученные показатели нельзя напрямую переносить на поведение медицинских чат-ботов в повседневной практике.
Подписывайтесь на наш Telegram-канал, чтобы быть в курсе всех новостей и событий Рунета.
