Nowy Open Source klon ChatGPT - Nazywany Dolly

Open Source GPT Chat zrobił kolejny krok naprzód wraz z wydaniem dużego modelu językowego Dolly (DLL) stworzonego przez firmę Databricks w ramach ich oprogramowania dla przedsiębiorstw.

Nowy klon ChatGPT nosi nazwę Dolly, która pochodzi od słynnej owcy o tej samej nazwie, pierwszego ssaka, który został sklonowany.

Otwarte modele językowe o dużym rozmiarze

The Dolly LLM jest najnowszą manifestacją rosnącego ruchu open source AI, który dąży do większego dostępu do technologii, aby nie była ona monopolizowana i kontrolowana przez duże korporacje.

Jednym z powodów, które napędzają ruch AI oparty na otwartym oprogramowaniu, jest obawa, że firmy mogą być niechętne przekazywaniu wrażliwych danych stronom trzecim, które kontrolują technologię AI.

Opierając się na oprogramowaniu Open Source

Dolly została stworzona na podstawie modelu open source utworzonego przez niedochodową instytucję badawczą EleutherAI oraz modelu Alpaca Uniwersytetu Stanforda, który z kolei został stworzony na podstawie modelu LLaMA open source o parametrze 65 miliardów, stworzonego przez Meta.

LLaMA, co oznacza Large Language Model Meta AI, to model językowy, który jest szkolony na publicznie dostępnych danych.

Zgodnie z artykułem Weights & Biases, LLaMA może przewyższać wiele najwyższych modeli językowych (OpenAI GPT-3, Gopher by Deep Mind i Chinchilla by DeepMind), mimo że jest mniejszy.

Tworzenie lepszego zbioru danych

Inspirowałem się również artykułem naukowym (SELF-INSTRUCT: Dopasowanie Modelu Językowego z Samodzielnie Generowanymi Instrukcjami PDF), który przedstawił sposób tworzenia wysokiej jakości automatycznie generowanych danych treningowych w formie pytań i odpowiedzi, lepszych od ograniczonych publicznych danych.

Badanie Self-Instruct wyjaśnia:

"...kurujemy zestaw instrukcji opracowanych przez ekspertów do nowych zadań i pokazujemy poprzez ocenę ludzką, że dostosowanie GPT3 za pomocą SELF-INSTRUCT przewyższa korzystanie z istniejących publicznych zbiorów instrukcji o dużo większą skalę, pozostawiając tylko 5% różnicy względnej za InstructGPT...

...Stosując naszą metodę do zwykłego GPT3, udowadniamy 33% absolutnego poprawy w porównaniu z oryginalnym modelem na SUPERNATURALINSTRUCTIONS, na równi z wydajnością InstructGPT... który jest szkolony z prywatnymi danymi użytkowników i adnotacjami ludzkimi."

Ważność Dolly polega na tym, że dowodzi, iż przy użyciu mniejszego, ale wysokiej jakości zestawu danych można stworzyć użyteczny, duży model językowy.

Databricks obserwuje:

“Dolly działa poprzez wzięcie istniejącego otwartoźródłowego modelu o 6 miliardach parametrów od EleutherAI i nieznaczną modyfikację go, aby wywołać umiejętność podążania za instrukcjami takimi jak burza mózgów i generowanie tekstu, które nie występowały w oryginalnym modelu, korzystając z danych z Alpaca.

…Pokazujemy, że każdy może wziąć gotowy, darmowy, źródłowy, dużego rozmiaru model językowy (LLM) i nadać mu magiczną zdolność do reagowania na instrukcje podobnie jak ChatGPT, trenując go przez 30 minut na jednym komputerze, korzystając z wysokiej jakości danych treningowych.

Zaskakująco, postępowanie zgodne z instrukcjami nie wydaje się wymagać najnowszych czy największych modeli: nasz model ma tylko 6 miliardów parametrów, w porównaniu do 175 miliardów w przypadku GPT-3."

Otwarte źródło sztucznej inteligencji Databricks

Twierdzi się, że Dolly demokratyzuje sztuczną inteligencję. Jest to część rosnącego ruchu, do którego niedawno dołączyła organizacja non-profit Mozilla ze swoim projektem Mozilla.ai. Mozilla jest wydawcą przeglądarki Firefox i innych otwartoźródłowych oprogramowań.