ChatGPT zdał egzamin MBA. Oto jak to się stało

Profesor z Wharton, University of Pennsylvania przyznał ChatGPT teoretyczną przepustkę do klasy B po zaznaczeniu odpowiedzi wygenerowanych na egzaminie końcowym na typowym kursie MBA.

Christian Terwiesch, profesor zarządzania operacyjnego w Wharton, powiedział, że ChatGPT wykonuje „niesamowitą robotę w zakresie podstawowych pytań dotyczących zarządzania operacjami i analizy procesów”.

„Nie tylko odpowiedzi są poprawne, ale wyjaśnienia są doskonałe”, pisze w nowym dokumencie.

Ponadto: Jak zacząć korzystać z ChatGPT

Dodał jednak, że chatbot popełnia „zaskakujące błędy w stosunkowo prostych obliczeniach na poziomie 6 klasy matematyki” i że obecnie nie radzi sobie z bardziej zaawansowanymi pytaniami dotyczącymi analizy procesów. Z drugiej strony obecna wersja ChatGPT może modyfikować swoje odpowiedzi w odpowiedzi na ludzkie wskazówki, aby znaleźć właściwe rozwiązanie.

„Biorąc pod uwagę takie wyniki, Chat GPT3 otrzymałby z egzaminu ocenę od B do B”, pisze Terwiesch.

Kilka pytań Terwiescha miało na celu sprawdzenie, czy ChatGPT może zidentyfikować wąskie gardło w operacji przetwarzania z wieloma maszynami o różnej przepustowości.

Jednak ChatGPT „popełnił znaczący błąd o ogromnej skali” podczas obliczeń z arytmetyką na średnim poziomie.

Co ciekawe, ChatGPT początkowo błędnie odpowiedział na jedno z pytań Terwiescha dotyczących analizy kolejek. Poprosił go o wskazówkę dotyczącą lepszej odpowiedzi, a ChatGPT poprawił swoją odpowiedź. Następnego dnia profesor zadał mu to samo początkowe pytanie w kolejce bez podpowiedzi - i ChatGPT odpowiedział poprawnie za pierwszym podejściem.

„Albo jest w stanie uczyć się na podstawie wcześniejszych opinii, albo po prostu miałem szczęście” — zauważa, dodając, że wydaje się, że jakość jego odpowiedzi była przypadkowa.

Terwiesch odkrył również, że ChatGPT był w stanie formułować sprytne i zabawne pytania, które mógł wykorzystać w przyszłych egzaminach. Jednak chatbot wprowadził również subtelne wady w niektórych pytaniach, które uniemożliwiały udzielenie odpowiedzi.

Ponadto: ChatGPT „brakowało głębi i wglądu”, mówią redaktorzy prestiżowych czasopism naukowych

Terwiesch ostrzega innych, aby byli świadomi możliwości i ograniczeń ChatGPT. Mówi, że „zakochał się” w ChatGPT po przeczytaniu odpowiedzi na jego pierwsze pytanie, ale ostrzega, że „popełnił poważne błędy w kilku dość prostych sytuacjach”.

„Wciąż daleko nam do A+ w przypadku złożonych problemów i nadal potrzebujemy człowieka w pętli” — pisze.

„Według mnie uczeń szkoły podstawowej wciąż musi się nauczyć, że 7 x 7 = 49 i że stolicą Pensylwanii jest Harrisburg, mimo że kalkulatory są powszechnie używane od ponad 50 lat, a uczniowie mogą korzystać z Google Wikipedia, aby znaleźć odpowiedzi w przypadku większości pytań dotyczących faktów. Taka jest natura podstawowych umiejętności, że są one wymagane do zrozumienia bardziej zaawansowanych tematów.

Terwiesch zgadza się, że nauczyciele powinni być zaniepokojeni, że uczniowie K-12 mogą używać ChatGPT do ściągania na zadaniach i egzaminach. Na przykład nowojorski Departament Edukacji niedawno zablokował chatbota, ponieważ wiarygodne testy są ważne w nauczaniu, a certyfikacja umiejętności nie powinna być zagrożona ze względu na nową technologię. Zauważa, że uczeń korzystający z ChatGPT jest jak możliwość zadzwonienia do przyjaciela o „przeciętnych kompetencjach akademickich”, aby dokończył za niego egzamin.

Twierdzi jednak również, że ChatGPT i podobne technologie mogą odgrywać rolę „inteligentnego konsultanta” – takiego, który udziela eleganckich, ale często błędnych odpowiedzi, co jego zdaniem jest „doskonałym poligonem” do rozwijania umiejętności wśród studentów MBA, którzy potrzebują do krytycznej oceny sugerowanych alternatyw.