ChatGPT potrafi pisać kod. Teraz naukowcy twierdzą, że doskonale radzi sobie także naprawianiem błędów.

ChatGPT, chatbot OpenAI, doskonale potrafi naprawić błędy w oprogramowaniu, ale jego główną przewagą nad innymi metodami i modelami sztucznej inteligencji jest wyjątkowa zdolność do dialogu z ludźmi, co pozwala mu poprawiać poprawność odpowiedzi.

Badacze z Uniwersytetu Johannesa Gutenberga w Moguncji i University College London skonfrontowali ChatGPT od OpenAI z "standardowymi technikami automatycznego naprawiania programów" oraz dwoma podejściami opartymi na głębokim uczeniu się do naprawiania programów: CoCoNut, opracowanym przez badaczy z Uniwersytetu Waterloo w Kanadzie; i Codex, modelem opartym na GPT-3 od OpenAI, który leży u podstaw usługi Copilot programowania w parach oraz automatycznego uzupełniania kodu na GitHubie.

Także: Jak zacząć korzystać z ChatGPT

"Nasze badania wykazują, że wydajność ChatGPT w naprawianiu błędów jest konkurencyjna w stosunku do popularnych podejść opartych na głębokim uczeniu, takich jak CoCoNut i Codex, a zauważalnie lepsza od wyników raportowanych dla standardowych metod naprawy programów" - piszą badacze w nowym artykule opublikowanym na platformie arXiv, co zauważył jako pierwszy magazyn New Scientist.

Najlepsze chatboty AI: ChatGPT i inne interesujące alternatywy do wypróbowania

Czaty AI i pisarze mogą pomóc zredukować twoje obciążenie pracy, pisząc e-maile, eseje, a nawet wykonując zadania matematyczne. Wykorzystują sztuczną inteligencję do generowania tekstu lub odpowiadania na pytania na podstawie wprowadzonych przez użytkownika danych. ChatGPT to jedno z popularnych rozwiązań, ale istnieją też inne godne uwagi chatboty.

Czytaj teraz

To, że ChatGPT można wykorzystać do rozwiązywania problemów kodowania, nie jest nowe, ale badacze podkreślają, że jego unikalna zdolność do dialogu z ludźmi daje mu potencjalną przewagę w porównaniu do innych podejść i modeli.

Badacze przetestowali wydajność ChatGPT używając benchmarku QuixBugs do naprawiania błędów. Automatyczne systemy naprawy programu (APR) wydają się być w niekorzystnej sytuacji, ponieważ zostały opracowane przed rokiem 2018.

ChatGPT opiera się na architekturze transformatorów, którą Yann LeCunn, główny naukowiec Meta AI, podkreślił w tym tygodniu, została opracowana przez Google. Codex, CodeBERT od Microsoft Research oraz poprzednik BERT od Google są również oparte na metodzie transformatorów Google.

OpenAI podkreśla zdolność do dialogu ChatGPT w przykładach do debugowania kodu, gdzie może prosić o wyjaśnienia i otrzymywać wskazówki od osoby, aby uzyskać lepszą odpowiedź. Wielkie modele językowe ChatGPT (GPT-3 i GPT 3.5) zostały przeszkolone przy użyciu wzmacniania uczenia się na podstawie opinii ludzi (RLHF).

Pomimo tego, że umiejętność ChatGPT do prowadzenia dyskusji pomaga mu w znalezieniu bardziej poprawnych odpowiedzi, jakość jego sugestii pozostaje niejasna - zauważają badacze. Dlatego chcieli ocenić wydajność ChatGPT w naprawianiu błędów.

Badacze przetestowali ChatGPT na 40 problemach związanych tylko z językiem Python w QuixBugs, a następnie ręcznie sprawdzili, czy sugerowane rozwiązanie było poprawne czy nie. Powtórzyli zapytanie cztery razy, ponieważ istnieje pewna losowość w niezawodności odpowiedzi ChatGPT, co odkrył profesor Wharton po poddaniu chatbota egzaminowi przypominającemu egzamin MBA.

ChatGPT rozwiązał 19 z 40 błędów Pythona, co daje mu podobny wynik jak CoCoNut (19) i Codex (21). Jednak standardowe metody APR rozwiązały tylko siedem z tych problemów.

Badacze stwierdzili, że współczynnik sukcesu ChatGPT w przypadku interakcji powtórnych wynosił 77,5%.

Konsekwencje dla programistów pod względem wysiłku i produktywności są niejednoznaczne. Stack Overflow niedawno zablokował odpowiedzi generowane przez ChatGPT, ponieważ były one niskiej jakości, ale brzmiały wiarygodnie. Profesor Wharton stwierdził, że ChatGPT może być doskonałym towarzyszem dla studentów MBA, ponieważ może pełnić rolę "inteligentnego konsultanta" - osoby, która przedstawia eleganckie, ale często błędne odpowiedzi - i wspierać myślenie krytyczne.

"To pokazuje, że ludzki wkład może być dużą pomocą dla zautomatyzowanego systemu APR, a ChatGPT zapewnia narzędzia do tego," piszą badacze.

"Mimo doskonałej wydajności, pojawia się pytanie, czy koszt mentalny związany z weryfikacją odpowiedzi ChatGPT przewyższa korzyści, jakie przynosi ChatGPT."