ChatGPT се провали сериозно на важен медицински тест

Не могъл да постави диагноза
5 яну 2024 21:45, Стела Стоянова
35
ChatGPT се провали сериозно на важен медицински тест
Снимка БГНЕС, архив

Популярният изкуствен интелект ChatGPT се провали сериозно на важен медицински тест, съобщава онлайн изданието Ars technica. Това напомня, че тези алгоритми все още имат много да учат и да се развиват, преди да може да им се има доверие.

Лекари от детския медицински център „Коен“ в Ню Йорк са провели тест, в който да проверят колко точно ChatGPT се справя с диагностицирането на заболявания при деца. Резултатите не са никак добри, като ботът има едва 17% точност и 83% погрешни диагнози. Това е по-лошо представяне спрямо тестовете при диагностициране на заболявания при възрастни. Такива са провеждани от други учени миналата година и откриват едва 39% точност.

Сега грешките са още по-ясно изразени при децата. „Проучването подчертава безценната роля, която има клиничният опит. То също така идентифицира критични слабости, които водят до високия процент грешки на ChatGPT и начините, по които да го преработят, за да се превърне в полезен помощен инструмент“, казват учените в доклада си. Те допълват, че развитието на технологиите и големият интерес към изкуствения интелект показват, че внедряването на такива технологии и в медицината е неизбежно. Това обаче не означава, че те ще заменят лекарите, каквито прогнози има. ИИ ще може да бъде добър помощник на лекарите, но не и техен заместител.

За това проучване учените са използвали 100 педиатрични казуса, които са били публикувани в журналите JAMA Pediatrics и NEJM в периода 2013 г. – 2023 г. Това са специфични казуси, които са предизвикали по-голям интерес сред лекарите. Учените са взели от тях всички данни, нужни да диагностицирането на заболяването и са ги дали на чатбота. Задачата на ChatGPT е била да анализира текста и да каже своето мнение. След това двама специалисти са преглеждали отговорите и са могли да ги класифицират като правилни, грешни или непълни. В крайна сметка ChatGPT правилно диагностицира само 17 случая. В 11 от тях поставя непълна диагноза, а останалите 72 греши напълно. Непълните диагнози също се приемат за провал и така достигаме до общо 83% грешки.

Оказва се, че ChatGPT не успява да намери иначе известни връзки между различни заболявания и симптоми, които лекар знае и може да забележи, пише скенер.бг. Според учените ботът може да бъде обучен допълнително на тези конкретни данни и връзки с помощта на добавяне на релевантна и проверена информация от медицинска литература. Друга полза за бота може да бъде достъп до медицинска информация в реално време, която да позволи на модела да се прецизира и подобрява с нови данни постоянно.

Засега обаче е повече от видно, че чатботовете не трябва да се използват за самолечение и поставяне на диагнози. Те могат да помогнат на лекар да пресее информация, но не и да заменят поставянето на диагноза от специалист.
 

Това се случи Dnes, за важното през деня ни последвайте и в Google News Showcase


35
Още по темата: ChatGPTмедицински тест
Още от
Спонсорирано съдържание
Напиши коментар Коментари
32
0
 
1
 
! Отговори
Анонимен преди 4 месеца
ChatGPT дрънка невероятни дивотии в която и да е професионална сфера.
31
0
 
1
 
! Отговори
Анонимна преди 4 месеца
Дано не стигнем дотам той да ни лекува, че аман му и работата. Днес го питах нещо свързано с програмиране, информацията му беше от преди 2-3 години. И като цяло доста гл*упости ръси.
30
0
 
2
 
! Отговори
Хейт преди 4 месеца
А вие какво очаквахте? Тези технологии сега прохождат. След 10 години ще станат наистина добри, но сега трябва да проверявате отговорите ред по ред и да внимавате какво предавате. Иначе наистина спестяват много време.
29
0
 
4
 
! Отговори
Анонимен преди 4 месеца
Днес се е провали, но утре ще успее.
28
4
 
5
 
! Отговори
Име преди 4 месеца
Много ми е забавно да чета коментарите на българина! Няма бъдеще тая държава!
27
5
 
4
 
! Отговори
бл преди 4 месеца
"Кой 20 годишен има достатъчно опит да постави 20 процента вярна диагноза на забележете, заплетени случаи?" - при положение че има интернет достъп, всеки 20 годишен би се справил по-добре. В момента ИИ е просто поредната рекламирана думичка. Мисловните процеси са нещо твърде сложно за програмиране. Нека първо се опитат с нещо "по-просто" като разкодирането и разбирането на ДНК.
26
1
 
2
 
! Отговори
АхмакGPT преди 4 месеца
Не ходете да се лекувате при шарлатани.
25
3
 
4
 
! Отговори
Един Българин преди 4 месеца
Тествах го по история - слаба работа. Не знае коя е втората най-стара държава в Европа,не знае коя никога не си е сменяла името, но пък знае че Самуил и Йоан-Владислав са български царе
24
9
 
4
 
! Отговори
anonimen преди 4 месеца
Това не е провал, а постижение! Човешкият мозък е еволюирал 1 млн години, за да го може това, ИИ е на 15-20 години. Хайде от машината на Тюринг да тръгнем, пак са сто години. Има хиляди пъти по-бърза еволюция. Кой 20 годишен има достатъчно опит да постави 20 процента вярна диагноза на забележете, заплетени случаи? И това не е плашещо според вас?
23
1
 
0
 
! Отговори
Мартин преди 4 месеца
Бард се справя що годе.. но Бинг е по неточен и бавен от интернет експлорър
22
1
 
0
 
! Отговори
Анонимен преди 4 месеца
Според това какво е сънувал снощи или ще бълва глупости и противоречия на поразия, или ще изпълни поставената му задача. Когато му давам задание гледам да съм максимално подробен.
21
3
 
4
 
! Отговори
Анонимен преди 4 месеца
Питах го какво означава "шикан" в бриджа, взе да ми дрънка невероятни глупости. И.ди.от.
20
2
 
3
 
! Отговори
Анонимен преди 4 месеца
Питах го какво означава "шикан" в бриджа, взе да ми дрънка невероятни глупости. ***.
19
8
 
5
 
! Отговори
Рендету преди 4 месеца
И пак е по-добър от нашите доктори!!!!!
18
2
 
2
 
! Отговори
Пропаганда преди 4 месеца
ДжинГьобелс, ДжинГьобелс - джингъл ол дъ уей! ЧатДЖИПИТИ е рупопът на новия култ на Шорошпийството!
17
0
 
4
 
! Отговори
Анонимен преди 4 месеца
<Използването на AI chatbots може да бъде по-рентабилно от наемането и обучението на допълнителни служители.> Да обучен е. Само, как толкова бързо се направиха ковид ваксините, ако той ги е правил, а сега се е провалил толкова сериозно, а новите ваксини, не е ли плашещо.:))
16
2
 
1
 
! Отговори
Анонимен преди 4 месеца
ChatGPT е безплатна за използване AI система. Използвайте го за ангажиращи разговори, получаване на прозрения, автоматизиране на задачи и свидетелство за бъдещето на AI, всичко на едно място.ChatGPT е чатбот с изкуствен интелект (AI), който използва обработка на естествен език, за да създаде човешки разговорен диалог. Езиковият модел може да отговаря на въпроси и да съставя различно писмено съдържание, включително статии, публикации в социални медии, есета, код и имейли.ChatGPT=AI:))
15
1
 
7
 
! Отговори
E значи е на нивото преди 4 месеца
на средния българин който вярва на всяка пропаганда писана в нета, и вместо да се доверява на доказани специалисти предпочита на вярва че има единствено вярно мнение което сам си определя. Това може и да работи за полтика и футбол но на физиката и природата не им пука за самоопределянето и истината там не е въпрос на гледна точка.
14
1
 
8
 
! Отговори
Зъл преди 4 месеца
Докато имам контрол над щепсела в контакта, аз проблеми с ИИ нямам.
13
1
 
12
 
! Отговори
Анонимен преди 4 месеца
Проблема е, че над 80% от отговорите са халюцинация. Това е езиков модел а не реален ИИ. Той може само да разговаря и нищо повече. Не може да мисли. Прочел е целият интернет, всички форуми вкл. и БГмама и следователно "мнението" му се базира на постовете на много хора които не са специалисти по темата. Затова и халюцинира. Този подход не може да бъде оптимизиран. Лингвистичният модел е само едно от направленията на ИИ. Поне 10 години ще минат преди да се появи реален ИИ който да замени човека.