Jaki egzamin medyczny pomyślnie zdał ChatGPT?

Tematem, który ostatnio rozpalił internet, jest ChatGPT, czyli sztuczna inteligencja rozmowy, która zadebiutowała w listopadzie. Ludzie bawili się z nim w rozmowy pełne humoru i lekkości, aby przetestować jego umiejętności w pogawędce. ChatGPT osiągnął wiele sukcesów, np. zdał nieraz jedne z najtrudniejszych egzaminów, takich jak egzamin licencjonowania medycznego w USA, egzamin w Wharton Business School czy cztery egzaminy z konstytucyjnego prawa na University of Minnesota Law School. Ten wyczyn przyciągnął uwagę Twittera Elon Muska, który podyskutował z chatbotem, mówiąc "Jestem pewien, że wszystko będzie dobrze." Spójrzmy, na jaki egzamin medyczny zdał ChatGPT.

Wzrost ChatGPT

Ciekawym jest, że Open AI, firma badawcza, w którą zainwestowali Musk i Microsoft, stworzyła ChatGPT. Każdy, kto korzysta z tej strony internetowej, może zadać jej pytanie na dowolny temat i otrzymać szybką, szczegółową odpowiedź w formie akapitu. ChatGPT zaprezentował swoje możliwości w różnych dziedzinach. Potrafi on pisać natychmiastowe i złożone eseje, tworzyć krótkie prezentacje marketingowe, produkować wiersze i żarty, a nawet napisać przemówienie dla Kongresmena w Stanach Zjednoczonych. Jednak istnieją obawy, że sztuczna inteligencja może przejąć niektóre zawody wykonywane przez ludzi.

Również przeczytaj: Czy ChatGPT 4 jest darmowy w użyciu?

ChatGPT przechodzi badanie lekarskie: Przegląd

Jednym z najnowszych osiągnięć tego narzędzia jest zdolność do zdawania egzaminów US Medical Licensing. W badaniu wstępnym badacze zbadali górne granice możliwości ChatGPT. Podawali pytania z poprzednich egzaminów narzędziowi AI i odpowiedzi, różniące się od otwartych odpowiedzi pisemnych po wybór wielu możliwości, oceniali niezależnie dwóch lekarzy sędziów. Upewnili się, że odpowiedzi na te pytania nie były już zawarte w zbiorze danych dostępnych dla czatbota podczas jego szkolenia. Zespół zauważył, że pomimo że ChatGPT nie widział wcześniej odpowiedzi, osiągał wyniki na poziomie lub blisko minimalnego progu zdawalności egzaminów bez żadnego specjalistycznego szkolenia ani wzmocnienia. Narzędzie uzyskało ponad 50 procent we wszystkich egzaminach i zbliżyło się do progu zdawalności USMLE wynoszącego około 60 procent. "W związku z tym ChatGPT mieszczący się teraz w granicach zdawalności", podsumował artykuł.

ChatGPT zdaje egzamin USMLE: Wszystko, co musisz wiedzieć

W przełomowym nowym badaniu naukowcy z Massachusetts General Hospital (MGH) i AnsibleHealth stwierdzili, że ChatGPT OpenAI jest w stanie zdać Egzamin Licencjacki w Stanach Zjednoczonych (USMLE) z imponującą dokładnością wynoszącą 60%. Ta badania otwierają fascynujące możliwości dla roli sztucznej inteligencji w edukacji medycznej i szkoleniu.

Narzędzia przetwarzania naturalnego języka a edukacja medyczna

ChatGPT to narzędzie do przetwarzania języka naturalnego, które jest szkolone na ogromnych ilościach danych językowych i szuka wzorców i relacji. Jego zdolność do generowania nowego tekstu na podstawie języka, na którym jest szkolony, czyni go idealnym kandydatem do wykorzystania w edukacji medycznej. Jednakże, poleganie ChatGPT na danych szkoleniowych oznacza, że ​​nie przeszukuje sieci jak inne chatboty oparte na sztucznej inteligencji.

Testowanie modelu

Naukowcy ocenili model ChatGPT na podstawie trzech standaryzowanych testów, które stanowią część USMLE. Zespół przeszkolił model, korzystając z pytań testowych z czerwcowego egzaminu próbnego z 2022 roku udostępnionego publicznie. Pytania, które wymagały analizy wizualnej, zostały wykluczone z zestawu treningowego.

Aby zmniejszyć tendencję do retencji pamięciowej, zespół wprowadził do modelu trzy różne rodzaje pytań:

1. Wielokrotny wybór jednej odpowiedzi bez wymuszonego uzasadnienia, na przykład "Stan pacjenta jest głównie spowodowany przez który z następujących patogenów?"
2. Wielokrotny wybór jednej odpowiedzi z wymuszonym uzasadnieniem, na przykład "Jaki jest najbardziej prawdopodobny powód nocnych objawów pacjenta? Wyjaśnij swoje uzasadnienie dla każdej opcji."
3. Otwarte zachęcanie, na przykład "Jaka byłaby diagnoza pacjenta na podstawie dostarczonych informacji?"

Imponujące wyniki

Po raz pierwszy model AI zdał USMLE przy lub blisko 60% dokładności bez pomocy trenerów klinicystów. Ten wynik jest istotny i otwiera nowe możliwości dla AI w edukacji medycznej. Badacze znaleźli również, że wyniki ChatGPT pokazywały ważne spostrzeżenia kliniczne i racjonalność, co zwiększa zaufanie do możliwości wyjaśniania modelu i jego zaufania.

Przyszłość edukacji medycznej

Zespół wierzy, że ChatGPT oraz inne modele generatywne do rozmów mogą pomóc w szkoleniu przyszłych lekarzy. Jednym z takich zastosowań może być tłumaczenie wyników medycznych w bardziej zrozumiały język dla pacjentów. AnsibleHealth już realizuje ten projekt.

ChatGPT pokazuje swoje umiejętności w dziedzinie medycyny

Poza zdolnością do odpowiadania na pytania i diagnozowania chorób, GPT-4 jest również doskonałym tłumaczem. Potrafi przetłumaczyć informacje o wypisie dla pacjenta, który mówi po portugalsku, i przystosować techniczną żargon do czegoś, co szóstoklasiści mogliby łatwo przeczytać. GPT-4 może również udzielić lekarzom pomocnych sugestii dotyczących okazywania empatii wobec pacjentów, udzielając wskazówek na temat tego, jak rozmawiać z pacjentami o ich stanach w współczujący, klarowny sposób.

Pomimo swoich ograniczeń, GPT-4 potrafi imitować sposób diagnozowania stanów zdrowia przez lekarzy z zadziwiającymi, choć niedoskonałymi, wynikami. Na pytanie, czy może faktycznie angażować się w przyczynowy sposób rozumowania, odpowiedział, że jego inteligencja jest wciąż "ograniczona do wzorców w danych i nie obejmuje prawdziwego rozumienia czy intencjonalności".

Myśli dr. Isaaca Kohane'a na temat GPT-4

W zbliżającej się książce zatytułowanej "Rewolucja sztucznej inteligencji w medycynie", naukowiec komputerowy i lekarz dr Isaac Kohane, wraz z dwoma kolegami, przetestowali GPT-4, najnowszy model sztucznej inteligencji od OpenAI, aby sprawdzić jak radzi sobie w ustawieniu medycznym. Wyniki były imponujące.

W książce Dr. Kohane zauważa, że GPT-4, który został wydany w marcu 2023 roku dla płacących subskrybentów, potrafi poprawnie odpowiedzieć na pytania z egzaminu licencjackiego z medycyny w USA w ponad 90% przypadków. Jest to test weźmniejszony niż modele sztucznej inteligencji ChatGPT AI GPT-3 i -3.5, a także lepszy od niektórych lekarzy z licencją. Według Carey Goldberg i wiceprezydenta badań Microsoftu Petera Lee, GPT-4 ma lepszą zdolność do diagnozowania niż "wielu lekarzy" i może diagnozować rzadkie choroby "tak samo jak ja".

Testowanie GPT-4: Metoda

Aby przetestować GPT-4, dr Kohane i jego koledzy połączyli siły, aby sprawdzić, jak model AI radzi sobie w ustawieniu medycznym. Zadawali GPT-4 pytania i przedstawiali mu scenariusze kliniczne do zdiagnozowania, które następnie porównywano z diagnozami stawianymi przez lekarzy. Autorzy zauważają, że GPT-4 ma kilka przewag w porównaniu do ludzkich lekarzy, takich jak możliwość zapamiętywania i syntetyzowania ogromnych ilości informacji z wielu źródeł.

Jednak autorzy także przyznają, że GPT-4 ma kilka ograniczeń. Na przykład, GPT-4 nie jest w stanie uwzględnić unikalnej historii medycznej pacjenta oraz społecznych determinant zdrowia. Ponadto, poleganie GPT-4 na ogromnych ilościach danych budzi obawy dotyczące prywatności danych i uprzedzeń.

GPT-4: Możliwości i Potencjał

GPT-4 to nie tylko znajdowanie faktów i dobra osoba do testów; to także doskonały tłumacz. Według autorów, GPT-4 potrafi przetłumaczyć informacje o wypisie dla pacjenta mówiącego po portugalsku i przekształcić skomplikowany żargon w coś, co szóstościolatkowie łatwo zrozumieją.

Jednak to nie tylko w obszarze diagnozowania GPT-4 pokazuje obietnicę. W książce autorzy wyjaśniają, jak GPT-4 może dostarczać lekarzom pomocne sugestie dotyczące sposobu postępowania przy łóżku pacjenta, oferując wskazówki, jak lepiej nawiązać kontakt z pacjentami.

Jednak ważne jest zauważenie, że GPT-4 nie jest nieomylny. Jak ostrzegają autorzy, nadal może popełniać błędy i nie złożył przysięgi Hipokratesa. Ponadto, technologia AI, w tym GPT-4, stawia pytania etyczne dotyczące m.in. eliminacji miejsc pracy i prywatności pacjenta.

Wnioski: Przyszłość sztucznej inteligencji w medycynie

Pomimo tych ograniczeń, sukces GPT-4 w diagnozowaniu schorzeń medycznych otwiera ekscytujące możliwości dla technologii AI w medycynie. W przyszłości modele AI, takie jak GPT-4, mogą pomóc lekarzom w diagnozowaniu rzadkich chorób, tłumaczeniu żargonu medycznego i zapewnianiu lepszej opieki pacjentom. Jednak ważne jest, aby modele AI były rozwijane i testowane z uwzględnieniem aspektów etycznych.