Nowa era tekstów generowanych przez sztuczną inteligencję wzbudza coraz większe zainteresowanie i potrzebę rozwoju skutecznych narzędzi do detekcji takich tekstów. W obliczu dynamicznego krajobrazu informacyjnego, gdzie treści generowane przez AI stają się coraz powszechniejsze, wprowadzenie detektorów tekstów AI nabiera kluczowego znaczenia. W niniejszym artykule przyjrzymy się przede wszystkim narzędziom do detekcji artykułów ChatGPT, przynajmniej tych narzędzi, które znam i rzadziej lub częściej z nich korzystam.
Po co korzystać z takich narzędzi?
Wykorzystanie tych narzędzi jest niezbędne dla skutecznego wykrywania i ograniczania rozprzestrzeniania dezinformacji oraz treści wygenerowanych przez sztuczną inteligencję, co przyczynia się do utrzymania wiarygodności i jakości informacji dostępnych online.
Wiele branż i specjalności może być zainteresowanych takimi narzędziami, ale bez sensu jest je wymieniać. Przejdźmy do tych narzędzi.
Oto tekst, który będziemy testować w narzędziach. Tekst ten został wygenerowany za pomocą chatGPT 3.5 (odpowiedź na pytanie „kto to jest spamer”):
Spamer to osoba lub entytet, który wysyła niechciane lub nieautoryzowane wiadomości, zazwyczaj za pomocą poczty elektronicznej lub innych form komunikacji, w celu promowania produktów, usług lub zawartości. Często spam jest masowo rozsyłany do dużej liczby odbiorców, nie zważając na ich zainteresowania lub uprawnienia. Może to obejmować reklamy handlowe, linki do podejrzanych lub złośliwych witryn internetowych, treści oszustw lub fałszywych informacji. Spam jest uważany za nieetyczne i często narusza polityki i regulacje dostawców usług internetowych oraz prawo w niektórych jurysdykcjach.
Po przetłumaczeniu (będziemy korzystać głównie z wersji angielskiej) za pomocą Google Translator:
A spammer is a person or entity who sends unsolicited or unauthorized messages, usually via email or other forms of communication, to promote products, services or content. Spam is often mass-mailed to a large number of recipients, regardless of their interests or permissions. This may include commercial advertisements, links to suspicious or malicious websites, fraudulent content or false information. Spam is considered unethical and often violates ISP policies and regulations and the law in some jurisdictions.
I drugie zdanie jakie będziemy testować, tym razem będzie to zdanie napisane ręcznie od a do z przeze mnie:
Tak się zastanawiam nad tym, kto to jest spamer. Czy ja jestem spamerem? Nie wiem, czy mogę siebie określić jako spamera w tym świecie. Czy zostawienie kilku linków w komentarzach, zapuszczenie bota komentującego wpisy czyni ze mnie od razu spamera? Zależy w sumie, czy rozważamy spam w SEO czy spam w mailach. No dobra, koniec tego pisania, to w sumie ma być testowa gadka, taka rozbudowana i często wykorzystywana przez ChatGPT? Nie wiem.
Wersja z tłumacza:
I wonder who the spammer is. Am I a spammer? I don’t know if I can define myself as a spammer in this world. Does leaving a few links in the comments, starting a bot commenting on entries make me a spammer right away? It depends on whether we are considering spam in SEO or spam in emails. Okay, end of this writing, it’s actually supposed to be a test chat, so extensive and often used by ChatGPT? I don’t know.
Pierwszy, z którego korzystałem
https://openai-openai-detector–nq66b.hf.space/
Dobre narzędzie, ale głównie do GPT-2 niestety. A tej wersji chyba już nikt nie używa, choć jest dobre np. do tworzenia krótkich informacji po odpowiednim wyuczeniu na dobrych źródłach.
Zobaczmy jak radzi sobie z tekstem testowym napisanym przez AI:
Jak widać jest dość słabo, ale nie beznadziejnie. Narzędzie wskazuje, że tekst w 15% może być napisany przez AI.
I teraz jeszcze tekst realny napisany przez człowieka
Oto wynik:
Narzędzie błędnie określa tekst napisany przez człowieka. Wskazuje, że na 89% jest to tekst napisany przez AI.
Podsumowując: narzędzie openai-openai-detector–nq66b.hf.space myli się okrutnie. Tekst napisany przez człowieka oznacza jako FAKE, a napisany przez ChatGPT oznacza jako dość realny. Ale nie ma się co dziwić, czasy tego detektora skończyły się po wejściu GPT w wersji 3.
Kolejne narzędzie detekcji tekstów AI z corrector.app
https://corrector.app/ai-content-detector/
Test tekstu napisanego przez ChatGPT:
I tekst napisany przez człowieka:
Wniosek: tak, to te same wyniki co z pierwszego detektora. Korzystają więc z tej samej metody, czyli oba są na dzień dzisiejszy bezużyteczne do detekcji tekstów z chatGPT 3.5.
A może ten detektor się nada: zerogpt.com?
Tekst napisany przez AI:
Niemal 57%, że tekst został stworzony przez AI. Nieźle. I tekst napisany przez człowieka:
Tekst napisany przez człowieka jest podejrzany o AI tylko w 16% – jest dobrze.
Wniosek: jak widać zerogpt.com detektor poradził sobie z wyzwaniem. Tekst napisany przez AI określił jako prawdopodobnie wygenerowany, a tekst napisany przeze mnie określił jako napisany przez człowieka!
Detektor smodin.io
https://smodin.io/pl/detektor-tresci-ai
Tekst napisany przez maszynę to aż 78% podejrzenia o AI, czyli prawidłowo:
I tekst napisany przeze mnie (podejrzenie o AI w 22%, czyli też nie jest źle):
Wniosek: detektor smodin.io poradził sobie dobrze z określeniem pochodzenia tekstu.
Co ciekawe, detektor ten ma również możliwość sprawdzania tekstów w języku polskim (i w innych językach również), sprawdźmy jak poradzi sobie na tekstach w języku polskim:
Tekst napisany przez AI:
I tekst napisany przeze mnie w języku polskim:
Jak widać w języku polskim radzi sobie podobnie co z tekstami angielskimi.
Podsumowanie
Wyniki testów wskazują na zróżnicowaną skuteczność tych narzędzi w detekcji tekstów AI. Niektóre narzędzia skupiają się na starszych wersjach modeli AI, co ogranicza ich przydatność dla detekcji tekstów generowanych w nowszych wersjach. Zespoły narzędzi smodin.io oraz zerogpt.com uzyskały najbardziej obiecujące wyniki, wykazując zdolność do skutecznego określania pochodzenia tekstu.
Podkreśla się jednak, że mimo zaawansowania technologii detekcyjnych, detektory tekstów AI wciąż nie są pozbawione błędów i mogą generować wyniki nieprecyzyjne. W związku z tym, konieczne jest nadal doskonalenie tych narzędzi, aby skutecznie zarządzać rosnącą ilością treści generowanych przez sztuczną inteligencję.
W teście najlepiej wypada smodin.io – czyli fajna maszynka z możliwością sprawdzania tekstów również w języku polskim. Na uwagę zasługuje także detektor zerogpt.com. Pamiętaj też, że detektory to nie wyrocznia, mogą się również mylić i określić tekst błędnie (przetestowałem i potwierdzam to w dość licznych przypadkach).
PS. Znasz jeszcze jakieś detektory AI godne uwagi?
Komentarze