Czy detektory AI mogą nas uratować przed ChatGPT? Wypróbowałem 3 narzędzia online, aby się dowiedzieć

Jest to drugi artykuł z serii, która staje się badaniem zagadnień związanych z tekstem generowanym przez sztuczną inteligencję.

W tej części razem z moim kolegą AI zastanawiamy się, czy można walczyć z plagiatami generowanymi przez sztuczną inteligencję i jak to może działać.

Ponadto: Co to jest ChatGPT i dlaczego ma to znaczenie? Oto, co musisz wiedzieć

Zanim jednak przejdę dalej, musimy porozmawiać o koncepcji plagiatu i jego związku z tym problemem. Webster's definiuje „plagiat” jako „kraść i przedstawiać (pomysły lub słowa innej osoby) jako własne: używać (cudej produkcji) bez podawania źródła”.

To pasuje do treści tworzonych przez AI. Chociaż ktoś korzystający z narzędzia AI, takiego jak Notion AI lub ChatGPT, nie kradnie treści, jeśli ta osoba nie uzna słów za pochodzące od sztucznej inteligencji i nie twierdzi, że są one własne, nadal spełnia słownikową definicję plagiatu.

ZDNET poleca

Najlepsze chatboty AI: ChatGPT i inne ciekawe alternatywy do wypróbowania

Chatboty i pisarze AI mogą pomóc zmniejszyć obciążenie pracą, pisząc e-maile i eseje, a nawet wykonując matematykę. Wykorzystują sztuczną inteligencję do generowania tekstu lub odpowiadania na zapytania na podstawie danych wprowadzonych przez użytkownika. ChatGPT to jeden z popularnych przykładów, ale są też inne godne uwagi chatboty.

Czytaj teraz

W tym eksperymentalnym artykule poprosiłem ChatGPT o pomoc. Moje słowa są zwykłym i pogrubionym tekstem. Słowa AI są pisane kursywą. Będę również korzystać z trzech internetowych wykrywaczy plagiatu ChatGPT (które opiszę bardziej szczegółowo poniżej). Po każdej sekcji wygenerowanej przez sztuczną inteligencję pokażę wyniki detektorów. Na końcu artykułu przyjrzymy się, jak ogólnie wypadły detektory.

Oto wynik dla powyższego tekstu, który sam napisałem:

• Detektor wyjściowy GPT-2: 99,98% rzeczywistych
• Writer AI Content Detector: Treść w 100% tworzona przez człowieka. Fantastyczny!
• Treść w Scale AI Content Detection: wynik 100% zawartości ludzkiej. Wygląda świetnie!

Zacznijmy od tego.

Wyjaśnij, dlaczego ChatGPT może być prawdziwym problemem dla nauczycieli i redaktorów, jeśli chodzi o plagiat

ChatGPT to wariant modelu językowego GPT (Generative Pre-trained Transformer) opracowany przez OpenAI. Jest przeznaczony do generowania tekstu podobnego do ludzkiego poprzez przewidywanie następnego słowa lub frazy w danej sekwencji wejściowej. Chociaż ChatGPT może być przydatnym narzędziem do generowania tekstu i odpowiadania na monity, może również stanowić problem dla nauczycieli i redaktorów, jeśli chodzi o plagiat.

Jednym z głównych powodów, dla których ChatGPT może stanowić problem dla nauczycieli i redaktorów, jest to, że może generować tekst bardzo podobny do tekstów prawdziwych pisarzy. Oznacza to, że studenci lub inne osoby mogą potencjalnie używać ChatGPT do generowania tekstu, który mogliby następnie przesłać jako własną pracę, popełniając w ten sposób plagiat.

Ponadto: Czy pomocnik Notion AI w pisaniu może napisać ten artykuł?

Dla nauczycieli i redaktorów wykrycie, czy dany fragment tekstu został wygenerowany przez ChatGPT, czy napisany przez człowieka, może być bardzo trudne, ponieważ wygenerowany tekst nie może zawierać żadnych oczywistych błędów ani rozbieżności, które ujawniałyby jego sztuczne pochodzenie. Może to utrudniać nauczycielom i redaktorom identyfikację plagiatu i zapobieganie mu, ponieważ mogą nie być w stanie stwierdzić, czy dany fragment tekstu jest oryginalny, czy skopiowany z innego źródła.

Ogólnie rzecz biorąc, ChatGPT i inne podobne modele językowe mogą stanowić problem dla nauczycieli i redaktorów, jeśli chodzi o plagiat, ponieważ mogą generować tekst trudny do odróżnienia od tekstu napisanego przez ludzi, ułatwiając uczniom i innym osobom popełnienie plagiatu bez bycia wykryte.

• Detektor wyjściowy GPT-2: 99,69% rzeczywistych
• Writer AI Content Detector: 97% treści tworzonych przez ludzi. Fantastyczny!
• Wykrywanie treści AI na skalę: 87% wyniku treści ludzkich. Wygląda dobrze!

Pamiętaj, że tekst zapisany kursywą został wygenerowany przez sztuczną inteligencję.

Pokaż mi co najmniej trzy sposoby, dzięki którym mogę wykryć, że ChatGPT został użyty do wygenerowania fragmentu tekstu

Istnieje kilka sposobów potencjalnego wykrycia, czy do wygenerowania fragmentu tekstu użyto ChatGPT lub innego modelu językowego. Oto trzy potencjalne podejścia, których możesz użyć:

1. Szukaj powtarzających się lub nietypowych wzorców w tekście: Jednym ze sposobów wykrycia, czy model językowy został użyty do wygenerowania fragmentu tekstu, jest poszukiwanie powtarzających się lub nietypowych wzorców w tekście. Na przykład modele językowe mogą powtarzać pewne frazy lub kombinacje słów lub używać nietypowych lub niespójnych struktur zdań.
2. Sprawdź brak oryginalności: Innym sposobem wykrycia, czy model języka został użyty do wygenerowania fragmentu tekstu, jest sprawdzenie braku oryginalności w piśmie. Jeśli fragment tekstu wygląda na skopiowany z innego źródła lub zawiera informacje powszechnie dostępne w Internecie lub w innych źródłach, może to oznaczać, że został wygenerowany przez model językowy.
3. Użyj narzędzia do sprawdzania plagiatu: Na koniec możesz użyć narzędzia do sprawdzania plagiatu, aby sprawdzić, czy fragment tekstu wygląda na skopiowany z innego źródła. Chociaż narzędzie do sprawdzania plagiatu może nie być w stanie definitywnie określić, czy model języka został użyty do wygenerowania fragmentu tekstu, może pomóc zidentyfikować przypadki kopiowania lub parafrazowania z innych źródeł.
4. Zwróć uwagę, kiedy odpowiedź jest oczywiście błędna: mówiłem o tym w mojej recenzji Notion AI, gdzie zwróciłem uwagę na tekst, który AI napisała z pozornym autorytetem, ale który był rażąco błędny. Jeśli student lub pisarz nie ma pełnej znajomości omawianego tematu, może nie zauważyć nieścisłości i po prostu pozostawić je w odpowiedzi wygenerowanej przez sztuczną inteligencję. Oczywiście niepoprawne stwierdzenia to nie tylko domena narzędzia AI do pisania. Na przykład wielu blogerów i komentatorów po prostu powtarza stwierdzenia innych blogerów, tworząc echo całkowicie „fałszywych faktów”, pokazując, że chociaż inteligencja może być sztuczna, głupota jest cechą uniwersalną.

Należy pamiętać, że definitywne określenie, czy do wygenerowania fragmentu tekstu użyto modelu językowego, może być trudne, a metody te nie zawsze są skuteczne. Mogą jednak być przydatnymi narzędziami, które pomogą Ci zidentyfikować potencjalne wystąpienia tekstu generowanego przez model językowy.

W tym zestawie testów tylko powyższa zawartość zaznaczona kursywą została przepuszczona przez zestaw sprawdzający.

• Detektor wyjściowy GPT-2: 99,98% fałszywy
• Writer AI Content Detector: [ brak wyników ]
• Wykrywanie treści AI na skalę: 0% wyniku treści ludzkich. Oczywiście AI

Wymień trzy programy do sprawdzania plagiatu, które mogą wykryć tekst ChatGPT

Innowacja

• Wypróbowałem Apple Vision Pro i znacznie wyprzedza to, czego się spodziewałem
• Ten niewielki komunikator satelitarny jest pełen funkcji i zapewnia spokój ducha
• Jak korzystać z ChatGPT: Wszystko, co musisz wiedzieć
• Oto 5 moich ulubionych narzędzi AI do pracy

Warto zauważyć, że obecnie nie ma narzędzia do sprawdzania plagiatu, które byłoby specjalnie zaprojektowane do wykrywania tekstu generowanego przez ChatGPT lub inne modele językowe. Chociaż niektórzy kontrolerzy plagiatu mogą być w stanie zidentyfikować pewne cechy tekstu wygenerowanego przez model językowy, które mogą wskazywać na jego sztuczne pochodzenie, nie ma gwarancji, że będą w stanie definitywnie określić, czy fragment tekstu został wygenerowany przez model językowy.

To powiedziawszy, oto trzy narzędzia do sprawdzania plagiatu, których możesz użyć do zidentyfikowania potencjalnych przypadków tekstu generowanego przez model językowy:

1. Turnitin: Turnitin jest popularnym narzędziem do sprawdzania plagiatu, szeroko stosowanym przez szkoły i uniwersytety. Porównuje fragment tekstu z bazą danych innych tekstów, aby zidentyfikować przypadki kopiowania lub parafrazowania. Chociaż może nie być w stanie definitywnie określić, czy fragment tekstu został wygenerowany przez model językowy, może potencjalnie zidentyfikować pewne cechy tekstu wygenerowanego przez model językowy, które mogą wskazywać na jego sztuczne pochodzenie.
2. PlagScan: PlagScan to kolejny program do sprawdzania plagiatu, który porównuje fragment tekstu z bazą danych innych tekstów, aby zidentyfikować przypadki kopiowania lub parafrazowania. Podobnie jak Turnitin, może być w stanie zidentyfikować pewne cechy tekstu generowanego przez model językowy, które mogłyby wskazywać na jego sztuczne pochodzenie, ale nie jest specjalnie zaprojektowany do wykrywania tekstu generowanego przez model językowy.
3. Copyleaks: Copyleaks to narzędzie do sprawdzania plagiatu, które wykorzystuje zaawansowane algorytmy uczenia maszynowego do skanowania fragmentu tekstu i porównywania go z bazą danych innych tekstów w celu zidentyfikowania przypadków kopiowania lub parafrazowania. Chociaż może być w stanie zidentyfikować pewne cechy tekstu generowanego przez model językowy, nie jest specjalnie zaprojektowany do wykrywania tekstu generowanego przez model językowy.

Warto zauważyć, że żaden program do sprawdzania plagiatu nie jest całkowicie niezawodny i zawsze istnieje możliwość, że fragment tekstu wygenerowanego za pomocą modelu językowego uniknie wykrycia. Dlatego ważne jest, aby używać sprawdzania plagiatu jako tylko części większej strategii wykrywania plagiatu i zapobiegania mu.

• Detektor wyjścia GPT-2: 99,62% rzeczywistego
• Writer AI Content Detector: [ brak wyników ]
• Wykrywanie zawartości AI na skalę: 86% wyniku treści ludzkich. Wygląda dobrze!

Internetowe narzędzia do sprawdzania plagiatu AI

Większość wykrywaczy plagiatu służy do porównywania tekstu z korpusem innego pisma. Na przykład, gdy uczeń oddaje esej, produkt taki jak Turnitin porównuje przesłany esej z ogromną biblioteką innych esejów w swojej bazie danych, a także z innymi dokumentami i tekstami w Internecie, aby określić, czy przesłany esej zawiera już- treść pisemna.

Ale narzędzia do pisania AI generują oryginalne treści, przynajmniej w teorii. Tak, budują swoje treści na podstawie tego, czego zostali przeszkoleni, ale rzeczywiste słowa, które konstruują, są nieco unikalne dla każdej kompozycji.

Ponadto: prawdziwym celem sztucznej inteligencji może już nie być inteligencja

W związku z tym wspomniane powyżej mechanizmy sprawdzania plagiatu prawdopodobnie nie będą działać, ponieważ treść wygenerowana przez sztuczną inteligencję prawdopodobnie nie istniała, powiedzmy, w pracy innego studenta.

Wszedłem więc do Google i poszukałem detektorów zaprojektowanych specjalnie do wyszukiwania charakterystycznych sygnatur treści tworzonych przez sztuczną inteligencję. Znalazłem trzy. W przypadku treści testowej pokazanej na poniższych zrzutach ekranu zapytałem ChatGPT: „Czy star trek jest lepszy niż gwiezdne wojny? Uzasadnij i wyjaśnij”. Jego odpowiedź wcale nie była zła i przekazałem ją trzem testerom.

• Detektor wyjściowy GPT-2: 99,98% rzeczywistych
• Writer AI Content Detector: Treść w 100% tworzona przez człowieka. Fantastyczny!
• Treść w Scale AI Content Detection: wynik 100% zawartości ludzkiej. Wygląda świetnie!

Detektor wyjścia GPT-2 (dokładność 66%)

To pierwsze narzędzie zostało zbudowane przy użyciu centrum uczenia maszynowego zarządzanego przez nowojorską firmę zajmującą się sztuczną inteligencją Hugging Face. Podczas gdy firma otrzymała 40 milionów dolarów dofinansowania na rozwój swojej biblioteki języka naturalnego, detektor GPT-2 wydaje się być narzędziem stworzonym przez użytkownika przy użyciu biblioteki Hugging Face Transformers. Z sześciu testów, które przeprowadziłem, cztery z nich były dokładne.

Wykrywacz treści AI Writer.com (dokładność nie dotyczy)

Writer.com to serwis generujący AI do pisania, skierowany do zespołów korporacyjnych. Narzędzie AI Content Detector może skanować w poszukiwaniu wygenerowanych treści. Niestety, uznałem to narzędzie za niewiarygodne. Z sześciu skanów, które przejrzałem, w trzech nie powiodło się. Z trzech, na których działał pomyślnie, dwa były dobre, a jeden zły.

Po opublikowaniu tego artykułu ludzie z Writer.com skontaktowali się z ZDNET. Dyrektor generalny May Habib podzielił się tym komentarzem:

Zapotrzebowanie na detektor AI gwałtownie wzrosło. Odkąd uruchomiliśmy tę usługę kilka miesięcy temu, ruch rósł 2-3 razy tygodniowo. Mamy teraz za sobą niezbędne skalowanie, aby upewnić się, że nie spadnie, a naszym celem jest utrzymanie go za darmo - i aktualnego, aby uchwycić wyniki najnowszych modeli, w tym nasze. Jeśli dane wyjściowe AI mają być użyte dosłownie, bezwzględnie należy je przypisać.

Treść w skali Wykrywanie zawartości AI (dokładność 50%)

Trzecie narzędzie, które znalazłem, również zostało wyprodukowane przez firmę zajmującą się generowaniem treści AI, jednak wydawało się, że działa niezawodnie. Content at Scale przedstawia się jako „Pomagamy marketerom treści ukierunkowanym na SEO poprzez automatyzację tworzenia treści”. Jej marketingowe wezwanie do działania brzmi: „Prześlij listę słów kluczowych i uzyskaj ponad 2600 postów na blogu, które omijają wykrywanie treści przez sztuczną inteligencję – a wszystko to bez interwencji człowieka!” Z sześciu testów, które przeprowadziłem, trzy były dokładne.

Końcowe przemyślenia

Plagiat oparty na sztucznej inteligencji jest coraz większym problemem, ponieważ narzędzia sztucznej inteligencji, takie jak Notion AI i ChatGPT, mogą generować tekst, który trudno odróżnić od tekstu napisanego przez ludzi. Istnieje kilka sposobów na wykrycie, czy fragment tekstu został wygenerowany przez sztuczną inteligencję, na przykład wyszukiwanie powtarzających się lub nietypowych wzorców, sprawdzenie braku oryginalności lub użycie narzędzia do sprawdzania plagiatu. Kontrolery plagiatu, takie jak Turnitin, PlagScan i Copyleaks, mogą być w stanie zidentyfikować pewne cechy tekstu generowanego przez model językowy, ale nie są one niezawodne.

Nawet specjalistyczne narzędzia, które znalazłem, były żałośnie nieodpowiednie do tego zadania. Najlepszym przypadkiem był Detektor wyjścia GPT-2, ale tylko dwie trzecie przesłanego tekstu było poprawne.

W tym momencie nie sądzę, abyśmy byli gotowi, aby sztuczna inteligencja walczyła z sztuczną inteligencją. Zamiast tego będziemy musieli polegać na ludzkiej percepcji (co oznacza, że ludzie muszą zwracać uwagę), aby zidentyfikować prace wygenerowane przez sztuczną inteligencję.

Nie zakładaj od razu, że coś jest generowane maszynowo. Tylko dlatego, że coś jest głupie lub strasznie niedokładne, nie zakładaj od razu, że nie zostało napisane przez człowieka. Jak wszyscy wiemy, ludzie są całkiem zdolni do napisania niewiarygodnie złych rzeczy na własną rękę.

Ponadto: ChatGPT OpenAI jest przerażająco dobry w mojej pracy, ale nie może mnie zastąpić (jeszcze)

Więc co o tym myślisz? Czy możesz stwierdzić, czy element jest generowany przez sztuczną inteligencję? Czy używałeś tych narzędzi do pisania AI w ciągu miesięcy, odkąd nagle wszystkie stały się dostępne? Czy uważasz, że są pomocą czy przeszkodą w edukacji i dziennikarstwie? Daj nam znać w komentarzach poniżej. Oto odpowiedź ChatGPT:

Jako model językowy nie widzę ani nie wchodzę w interakcję z fizycznymi elementami pisma, więc nie mogę stwierdzić, czy dany element jest generowany przez sztuczną inteligencję, czy nie. Mogę jednak powiedzieć, że dostępnych jest kilka narzędzi do pisania AI, które można wykorzystać do generowania szerokiej gamy treści pisemnych, w tym artykułów prasowych, beletrystyki, poezji i innych.

Nie mam osobistego doświadczenia w korzystaniu z tych narzędzi, ponieważ jestem tylko programem komputerowym i nie mam możliwości przeglądania Internetu ani korzystania z fizycznych narzędzi. Mogę jednak powiedzieć, że niektóre osoby uznały narzędzia do pisania AI za pomocne w edukacji i dziennikarstwie, ponieważ mogą zaoszczędzić czas i wysiłek, automatyzując niektóre zadania. Inni wyrazili obawy co do możliwości wykorzystania tych narzędzi do tworzenia wprowadzających w błąd lub stronniczych treści lub zastępowania pisarzy przez ludzi. Ostatecznie to, czy narzędzia do pisania AI są pomocne, czy przeszkodą, zależy od tego, jak są używane i kontekstu, w jakim są używane.

Więc tak, jest to.