Чат-боти з високими тестовими балами погано працюють у реальних сценаріях лікування людей.
Використання чат-ботів на основі штучного інтелекту для отримання медичних порад може бути небезпечним для пацієнтів. Чат-боти часто надають неточну або суперечливу інформацію. До такого висновку дійшли дослідники з Оксфордського інтернет-інституту та кафедри первинної медичної допомоги Наффілда Оксфордського університету, повідомляє BBC.
Дослідження, опубліковане в журналі Nature Madicine, показало, що штучний інтелект має схильність надавати неточну та суперечливу інформацію, що створює ризики під час ухвалення медичних рішень. Попри високі результати на стандартизованих тестах, ШІ не гарантує коректної поведінки в реальних умовах.
«Незважаючи на весь ажіотаж, штучний інтелект просто не готовий взяти на себе роль лікаря», — заявила співавторка дослідження докторка Ребекка Пейн. За її словами, проблема полягає не лише в якості відповідей, а й у взаємодії між людиною та моделлю.
У межах рандомізованого дослідження вчені залучили 1298 повнолітніх учасників із Великої Британії. Їм запропонували десять медичних сценаріїв і попросили визначити можливі захворювання та рекомендований курс дій.
Частина учасників користувалася мовними моделями GPT-4o, Llama 3 або Command R+, тоді як контрольна група використовувала звичні методи, зокрема інтернет-пошук або власні знання. Результати показали, що користувачі із ШІ визначали правильні захворювання менш ніж у 34,5% випадків.
Водночас саме програмне забезпечення демонструвало значно вищі показники точності під час окремого тестування без участі людей. Це свідчить про те, що ключовою проблемою є взаємодія користувачів із моделями, а не лише обсяг їхніх знань.
«Пацієнти повинні усвідомлювати, що розпитувати мовну модель великою кількістю питань про свої симптоми може бути небезпечно», — наголосила Пейн. Вона додала, що це може призвести до хибних діагнозів або ігнорування ситуацій, коли потрібна термінова допомога.
Провідний автор дослідження Ендрю Бін зазначив, що навіть найкращі мовні моделі стикаються з труднощами під час реальної взаємодії з людьми. Він висловив сподівання, що «ця робота сприятиме розробці більш безпечних та корисних систем штучного інтелекту».
Дослідники рекомендують проводити систематичне тестування за участю реальних користувачів перед упровадженням ШІ у сфері охорони здоров’я. На їхню думку, стандартні бенчмарки та симуляції не здатні виявити ключові ризики для пацієнтів.
Це дослідження зʼявилося після випуску спеціалізованих сервісів для роботи з питаннями здоровʼя компаніями Anthropic та OpenAI. Claude for Healthcare орієнтований на клінічну практику, адміністрування та взаємодію з пацієнтами. За даними Anthropic, він має допомогти лікарям скоротити час на рутинні процеси, а пацієнтам — краще розуміти медичну інформацію.
ChatGPT Health від OpenAI допомагає тлумачити результати аналізів, готуватися до візитів до лікаря, аналізувати дані з носимих пристроїв і порівнювати варіанти страхування. Водночас сервіс не призначений для діагностики чи лікування і має лише підтримувати ухвалення медичних рішень.