Jak działa ChatGPT?

ChatGPT to jedno z najnowocześniejszych nowych narzędzi opartych na sztucznej inteligencji, ale algorytmy działające w tle od 2020 roku napędzają całą gamę aplikacji i usług. Aby więc zrozumieć, jak działa ChatGPT, musimy zacząć od omówienia podstawowego języka silnik, który go napędza.

GPT w ChatGPT to głównie GPT-3 lub Generative Pre-trained Transformer 3, chociaż GPT-4 jest teraz dostępny dla subskrybentów ChatGPT Plus — i prawdopodobnie wkrótce stanie się bardziej rozpowszechniony. Modele GPT zostały opracowane przez OpenAI (firmę stojącą za ChatGPT i generatorem obrazów DALL·E 2), ale obsługują wszystko, od funkcji sztucznej inteligencji Bing po narzędzia do pisania, takie jak Jasper i Copy.ai. W rzeczywistości większość dostępnych obecnie generatorów tekstu AI korzysta z GPT-3 i prawdopodobnie zaoferuje GPT-4 jako kolejny krok.

ChatGPT sprawił, że GPT-3 znalazł się w centrum uwagi, ponieważ sprawił, że proces interakcji z generatorem tekstu AI był prosty i – co najważniejsze – bezpłatny dla wszystkich. Poza tym jest to chatbot, a ludzie kochają dobrego chatbota od czasów SmarterChild.

Podczas gdy GPT-3 i GPT-4 są obecnie najpopularniejszymi modelami dużych języków (LLM), w ciągu najbliższych kilku lat prawdopodobnie będzie znacznie większa konkurencja. Na przykład Google ma Barda — swojego chatbota AI — który jest zasilany przez własny silnik językowy Pathways Language Model (PaLM 2). Ale na razie oferta OpenAI jest de facto standardem branżowym. To po prostu najłatwiejsze narzędzie do zdobycia przez ludzi.

Tak więc odpowiedź na pytanie „jak działa ChatGPT?” to w zasadzie: GPT-3 i GPT-4. Ale kopnijmy trochę głębiej.

Co to jest ChatGPT?

ChatGPT to aplikacja stworzona przez OpenAI. Korzystając z modeli językowych GPT, może odpowiadać na Twoje pytania, pisać kopie, szkicować e-maile, prowadzić konwersację, wyjaśniać kod w różnych językach programowania, tłumaczyć język naturalny na kod i nie tylko — lub przynajmniej próbować — wszystko w oparciu o język naturalny prosi o nakarmienie go. To chatbot, ale naprawdę dobry.

Chociaż fajnie jest się nim pobawić, jeśli, powiedzmy, chcesz napisać sonet szekspirowski o swoim zwierzaku lub uzyskać kilka pomysłów na tematy niektórych e-maili marketingowych, jest to również dobre dla OpenAI. Jest to sposób na uzyskanie wielu danych od prawdziwych użytkowników i służy jako fantazyjne demo potęgi GPT, które w przeciwnym razie mogłoby wydawać się nieco niejasne, chyba że zagłębiłeś się w uczenie maszynowe.

Obecnie ChatGPT oferuje dwa modele GPT. Domyślny, GPT-3.5, jest mniej wydajny, ale dostępny dla wszystkich za darmo. Bardziej zaawansowany GPT-4 jest ograniczony do subskrybentów ChatGPT Plus, a nawet oni otrzymują codziennie ograniczoną liczbę pytań.

Jedną z wielkich funkcji ChatGPT jest to, że może zapamiętać rozmowę, którą z nim prowadzisz. Oznacza to, że może zebrać kontekst z tego, o co go wcześniej zapytałeś, a następnie użyć go do poinformowania o rozmowie z tobą. Możesz także poprosić o przeróbki i poprawki, a to odniesie się do wszystkiego, o czym rozmawiałeś wcześniej. Sprawia, że interakcja ze sztuczną inteligencją przypomina prawdziwą wymianę zdań w tę iz powrotem.

Jeśli chcesz naprawdę to poczuć, idź i spędź teraz pięć minut grając z ChatGPT (to nic nie kosztuje!), a potem wróć, aby przeczytać o tym, jak to działa.

Jak działa ChatGPT?

Ten ogromny zbiór danych został wykorzystany do utworzenia sieci neuronowej głębokiego uczenia [ … ] , wzorowanej na ludzkim mózgu — co pozwoliło ChatGPT poznać wzorce i relacje w danych tekstowych [ … ] , przewidując, jaki tekst powinien pojawić się jako następny w danym zdaniu .

ChatGPT działa, próbując zrozumieć Twój monit, a następnie wypluwa ciągi słów, które według jego przewidywań najlepiej odpowiedzą na Twoje pytanie, w oparciu o dane, na których został przeszkolony.

Porozmawiajmy o tym treningu. Jest to proces, w którym rodzącej się sztucznej inteligencji podaje się pewne podstawowe zasady, a następnie umieszcza się ją w sytuacjach lub otrzymuje mnóstwo danych do przepracowania w celu opracowania własnych algorytmów.

GPT-3 został przeszkolony na około 500 miliardach „tokenów”, które pozwalają jego modelom językowym łatwiej przypisywać znaczenie i przewidywać prawdopodobny dalszy ciąg. Wiele słów jest odwzorowywanych na pojedyncze tokeny, chociaż dłuższe lub bardziej złożone słowa często dzielą się na wiele tokenów. Średnio tokeny mają długość około czterech znaków. OpenAI milczy na temat wewnętrznego działania GPT-4, ale możemy bezpiecznie założyć, że został przeszkolony na tym samym zbiorze danych, ponieważ jest jeszcze potężniejszy.

Wszystkie tokeny pochodziły z ogromnego zbioru danych napisanych przez ludzi. Obejmuje to książki, artykuły i inne dokumenty dotyczące różnych tematów, stylów i gatunków — oraz niewiarygodną ilość treści zebranych z otwartego Internetu. Zasadniczo pozwolono mu przebić się przez całą sumę ludzkiej wiedzy.

Ten ogromny zbiór danych został wykorzystany do utworzenia sieci neuronowej głębokiego uczenia — złożonego, wielowarstwowego, ważonego algorytmu wzorowanego na ludzkim mózgu — co umożliwiło ChatGPT poznanie wzorców i relacji w danych tekstowych oraz wykorzystanie możliwości tworzenia ludzkich odpowiedzi, przewidując, jaki tekst powinien być następny w danym zdaniu.

Chociaż tak naprawdę, to znacznie zaniża rzeczy. ChatGPT nie działa na poziomie zdania — zamiast tego generuje tekst zawierający słowa, zdania, a nawet akapity lub zwrotki, które mogą następować. To nie przewidywalny tekst w telefonie bez ogródek odgaduje następne słowo; próbuje stworzyć w pełni spójne odpowiedzi na dowolny monit.

Aby jeszcze bardziej udoskonalić zdolność ChatGPT do reagowania na różne podpowiedzi, zoptymalizowano go pod kątem dialogu za pomocą techniki zwanej uczeniem się przez wzmacnianie z ludzkim sprzężeniem zwrotnym (RLHF). Zasadniczo ludzie stworzyli model nagrody z danymi porównawczymi (gdzie trenerzy AI sklasyfikowali dwie lub więcej odpowiedzi modelu), aby sztuczna inteligencja mogła dowiedzieć się, która odpowiedź była najlepsza.

Z powrotem do utworzonej sieci neuronowej. Bazując na całym tym szkoleniu, sieć neuronowa GPT-3 ma 175 miliardów parametrów lub zmiennych, które pozwalają jej wprowadzić dane wejściowe — Twoje podpowiedzi — a następnie, w oparciu o wartości i wagi, jakie nadaje różnym parametrom (i niewielką ilość przypadkowości ), wyświetla wszystko, co według niego najlepiej pasuje do twojego żądania. OpenAI nie powiedział, ile parametrów ma GPT-4, ale można bezpiecznie przypuszczać, że jest to więcej niż 175 miliardów i mniej niż niegdyś plotkowane 100 bilionów parametrów. Niezależnie od dokładnej liczby, więcej parametrów nie oznacza automatycznie lepszych. Część zwiększonej mocy GPT-4 wynika prawdopodobnie z posiadania większej liczby parametrów niż GPT-3, ale wiele zależy prawdopodobnie od ulepszeń w sposobie trenowania.

W końcu najprostszym sposobem na wyobrażenie sobie tego jest jedna z tych gier typu „dokończ zdanie”, w które grałeś jako dziecko.

W końcu najprostszym sposobem na wyobrażenie sobie tego jest jedna z tych gier typu „dokończ zdanie”, w które grałeś jako dziecko. Na przykład, kiedy dałem ChatGPT za pomocą GPT-3 monit „Zapier is…”, odpowiedział, mówiąc:

„Zapier to internetowe narzędzie do automatyzacji, które umożliwia użytkownikom łączenie różnych aplikacji internetowych w celu automatyzacji powtarzalnych zadań i usprawnienia przepływów pracy”.

Takie zdanie można znaleźć w setkach artykułów opisujących, czym zajmuje się Zapier, więc sensowne jest, że jest to coś, co wypluwa tutaj. Ale kiedy mój redaktor dał mu ten sam monit, powiedział:

„Zapier to internetowe narzędzie do automatyzacji, które pozwala użytkownikom łączyć różne aplikacje internetowe i automatyzować przepływy pracy między nimi”.

To dość podobne, ale nie jest to dokładnie ta sama odpowiedź. Ta losowość (którą możesz kontrolować w niektórych aplikacjach GPT-3 za pomocą ustawienia o nazwie „temperatura”) zapewnia, że ChatGPT nie odpowiada tylko na każdą odpowiedź, co jest równoznaczne z odpowiedzią standardową. Za każdym razem uruchamia każdy monit w całej sieci neuronowej i rzuca kilkoma kostkami tu i tam, aby zachować świeżość. Jest mało prawdopodobne, aby zacząć twierdzić, że Zapier jest kolorem z Marsa, ale pomiesza następujące słowa na podstawie ich względnego prawdopodobieństwa.

(Jeśli warto, podczas pracy na GPT-4, ChatGPT powiedział: „ Zapier to internetowe narzędzie do automatyzacji, które pozwala użytkownikom integrować i automatyzować zadania między różnymi aplikacjami i usługami online”. Prawie to samo!)

Wypluwanie słów, a nie wiedzy

Twórcy ChatGPT jako pierwsi twierdzą, że może on generować nieprawidłowe (i prawdopodobnie szkodliwe) informacje, chociaż ciężko pracują, aby to naprawić.

Oto oswojony przykład. Kiedy poprosiłem ChatGPT za pomocą GPT-3 i GPT-4 o odpowiedź na „Harry Guinness to…” GPT-3 najpierw odpowiedział, pytając, który Harry Guinness. Świetne pytanie – jest nas dosłownie dwóch! Więc powiedziałem: „Harry Guinness pisarz” (to ja). GPT-4 od razu odgadł, kim jestem, chociaż obie odpowiedzi były fascynujące:

GPT-3: Harry Guinness jest niezależnym pisarzem i dziennikarzem mieszkającym w Irlandii. Pisał dla różnych publikacji, w tym The New York Times, The Guardian, The Huffington Post i Popular Mechanics. Zajmuje się tematyką od technologii i fotografii po podróże i kulturę.

GPT-4: Harry Guinness to irlandzki pisarz, fotograf i ekspert w dziedzinie technologii. Pisał dla różnych publikacji, w tym How-To Geek, Lifehacker i Tuts+. Jego praca koncentruje się głównie na technologii, samouczkach i wskazówkach, a także fotografii i edycji obrazu. Guinness zyskał reputację dzięki tworzeniu szczegółowych przewodników, które pomagają czytelnikom zrozumieć złożone tematy lub rozwiązywać problemy w prosty sposób.

Pierwsza i ostatnia linijka GPT-3 została zaczerpnięta niemal dosłownie z moich różnych stron internetowych i biogramów autorów w sieci (chociaż zwykle wymieniam się jako niezależny pisarz i fotograf, a nie dziennikarz). Ale lista publikacji jest w zasadzie zmyślona. Pisałem dla The New York Times , ale nie dla The Guardian , The Huffington Post czy Popular Mechanics (regularnie piszę dla Popular Science , więc może stąd to się wzięło).

GPT-4 dobrze radzi sobie z częścią fotografa i właściwie wymienia niektóre publikacje, dla których pisałem, co jest imponujące, chociaż nie są to te, z których byłbym najbardziej dumny. To doskonały przykład tego, jak OpenAI było w stanie zwiększyć dokładność GPT-4 w stosunku do GPT-3, chociaż nie zawsze może oferować najbardziej poprawną odpowiedź.

Ale wróćmy do GPT-3, ponieważ jego błąd stanowi interesujący przykład tego, co dzieje się za kulisami w ChatGPT. Właściwie nic o mnie nie wie. To nawet nie jest kopiowanie/wklejanie z internetu i ufanie źródłu informacji. Zamiast tego po prostu przewiduje ciąg słów, który pojawi się jako następny, na podstawie miliardów punktów danych, które posiada.

Na przykład: The New York Times znacznie częściej łączy się z The Guardian i The Huffington Post niż z miejscami, dla których pisałem, takimi jak Wired , Outside , The Irish Times i oczywiście Zapier. Kiedy więc musi ustalić, co powinno być kontynuacją The New York Times , nie czerpie z opublikowanych informacji o mnie; pobiera tę listę dużych publikacji ze wszystkich posiadanych danych szkoleniowych. To bardzo sprytne i wygląda wiarygodnie, ale to nieprawda.

GPT-4 wykonuje znacznie lepszą robotę i przybija publikacje, ale reszta tego, co mówi, wydaje się po prostu wiarygodnymi kolejnymi zdaniami. Nie sądzę, żeby miało to jakieś wielkie uznanie dla mojej reputacji: po prostu mówi to, co mówi biografia. O wiele lepiej ukrywa sposób działania niż GPT-3, chociaż w rzeczywistości używa tej samej techniki.

Mimo to imponujące jest to, jak bardzo GPT już się poprawiło. Na razie GPT-4 jest zablokowany za subskrypcją premium, więc większość treści ChatGPT, które widzisz, będzie opierać się na GPT-3, ale to może się zmienić w najbliższym czasie. Kto wie, co przyniesie GPT-5.

Co to jest API ChatGPT?

OpenAI nie ma postawy „tylko my” w swojej technologii. Firma posiada platformę API, która pozwala programistom zintegrować moc ChatGPT z ich własnymi aplikacjami i usługami (oczywiście za opłatą).

Zapier używa API ChatGPT do obsługi własnej integracji ChatGPT, która pozwala łączyć ChatGPT z tysiącami innych aplikacji i dodawać sztuczną inteligencję do przepływów pracy o znaczeniu krytycznym dla Twojej firmy. Oto kilka przykładów na początek, ale możesz uruchomić ChatGPT z praktycznie dowolnej aplikacji.

Możesz także skorzystać z innych modeli OpenAI — takich jak DALL·E i Whisper — z integracją OpenAI firmy Zapier. Zautomatyzuj przepływy pracy obejmujące generowanie obrazów i transkrypcję dźwięku bezpośrednio z aplikacji, z których już korzystasz.

Powiązana lektura: Jak możesz (a kiedy nie powinieneś) używać ChatGPT do pisania tekstów marketingowych