Kto napisał tekst: człowiek czy Chat GPT? Nowe narzędzie ma to sprawdzać, ale często się myli

Chat GPT, czyli stworzona przez organizację OpenAI sztuczna inteligencja generująca tekstowe odpowiedzi, w ciągu ostatnich tygodni stała się tematem dyskusji. Jedno z często zadawanych pytań dotyczy tego, czy nowa technologia zastąpi dziennikarzy. Inne: czy zautomatyzuje pracę programistów. Część komentatorów zwróciła również uwagę, że Chat GPT może zagrażać systemowi edukacji, ponieważ umożliwi uczniom oszukiwanie na niespotykaną dotychczas skalę.

31 stycznia OpenAI przedstawiła AI Text Classifier - narzędzie, które miałoby wykrywać, czy tekst jest napisany przez człowieka, czy został wygenerowany przez komputer. Przeprowadzone testy wykazały jednak, że nowy klasyfikator poprawnie zidentyfikował zaledwie 26 proc. tekstów wygenerowanych przez sztuczną inteligencję jako "prawdopodobnie napisane przez sztuczną inteligencję" (ang. "likely AI-written) - wynika z komunikatu opublikowanego na stronie OpenAI.

ZOBACZ TEŻ: Sztuczna inteligencja stała się teraźniejszością

- Odsetek niepoprawnie zidentyfikowanych tekstów sprawia, że to narzędzie ma bardzo ograniczone zastosowanie. Dla nauczycieli pozostaje bezużytecznym. To narzędzie dla osób, które znają jego ograniczenia - ocenia Maciej Obarski, data scientist w TVN Warner Bros. Discovery, w rozmowie z portalem TVN24.pl. Jak dodaje, głównym celem rozwijania tej technologii jest możliwość filtrowania w przyszłości tekstów, które były tworzone przez maszynę, "aby następne generacje modeli językowych uczyły się nie na tekstach, które zostały wyprodukowane przez sztuczną inteligencję".

Dlaczego to tak ważne? Obarski zwraca uwagę, że nie sposób dokładnie określić, jak użycie takich danych wpłynie na nowe modele, dlatego naukowcom zależy na zminimalizowaniu udziału "brudnych" danych uczących. Przykładem takiego ryzyka może być pogłębianie uprzedzeń i stereotypów, bo teksty wygenerowane przez AI powtarzają najbardziej utarte schematy. A cel krótkofalowy? Zmniejszenie ryzyka związanego z użyciem dużych modeli językowych (ang. Large Language Models) - takich jak ChatGPT/GPT-3.5, Claude, OPT-IML czy Flan-T5 - do automatycznych kampanii dezinformacyjnych. Zdaniem eksperta przedstawione przez OpenAI nowe narzędzie świetnie się do tego nadaje, bo w przypadku analizy bardzo wielu tekstów nie jest istotne, czy pojedynczy tekst był "ludzki" czy nie - istotny jest tylko rozkład statystyczny. 

Ponadto Obarski zwraca uwagę na dane samego producenta, opublikowane wraz z nowym modelem we wtorek. Wynika z nich, że sztuczna inteligencja z trafnością na poziomie dziewięciu procent (w kategorii "likely AI-generated") i 21 procent (w kategorii "possibly AI-generated") uznała, iż tekst został wygenerowany przez sztuczną inteligencję, podczas gdy został wygenerowany przez człowieka.

Jak zaznacza ekspert, oznacza to, że nauczyciel wykorzystujący AI Text Classifier w 30-osobowej klasie, w której żaden z uczniów nie posłużył się sztuczną inteligencją, niesprawiedliwie oceniłby średnio dwóch-trzech uczniów, zakładając, że kierowałby się tylko kategorią "likely AI-generated". Jeśli kierowałby się też kategorią "possibly AI-generated”, niesprawiedliwie potraktowałby kolejnych sześciu uczniów, czyli łącznie około dziewięciu.

Wątpliwości budzi też kwestia samych danych zaprezentowanych przez OpenAI. Organizacja nie podała do publicznej wiadomości metody ich opracowania; nie wiadomo na przykład, na jakich językach klasyfikator był szkolony, poza językiem angielskim.

ZOBACZ TEŻ: Komu sztuczna inteligencja zabierze pracę? Tych 10 zawodów jest szczególnie zagrożonych

Zdaniem twórców nowe narzędzie jest "bardzo zawodne" w przypadku krótkich tekstów poniżej tysiąca znaków, jednak dłuższe teksty również mogą zostać błędnie sklasyfikowane. Przyznają, że AI Text Classifier częściej może popełniać błędy w przypadku tekstów napisanych przez dzieci i w języku innym niż angielski, ponieważ "był szkolony głównie na angielskich treściach napisanych przez dorosłych". "Nasz klasyfikator nie jest w pełni wiarygodny" - przekazali jego twórcy w komunikacie, podkreślając, że jest on "znacznie bardziej niezawodny" w przypadku analizy tekstów wygenerowanych przez nowsze systemy sztucznej inteligencji. Jak dodali, AI Text Classifier udostępniają publicznie, aby uzyskać opinie na temat przydatności "niedoskonałych narzędzi, takich jak to" .

ZOBACZ TEŻ: Sztuczna inteligencja "odmłodzi" Toma Hanksa. Robert Zemeckis wykorzysta ją w nowym filmie

Twórcy AI Text Classifier spodziewają się, że szybko rozprzestrzenią się techniki służące utrudnianiu wykrywania tekstów pisanych przez AI. "Klasyfikatory takie jak nasz można aktualizować i ponownie szkolić w oparciu o udane ataki, ale nie jest jasne, na ile wykrywanie ich będzie skuteczne w dłuższej perspektywie" - zaznaczyli.

Specjaliści OpenAI przekazali w komunikacie, że zdają sobie sprawę z toczącej się wśród nauczycieli dyskusji na temat problemu weryfikacji autorstwa tekstów. Jak zaznaczyli, chociaż opracowując listę ograniczeń nowej technologii skupili się na osobach zajmujących się edukacją, spodziewają się, że klasyfikator "będzie miał wpływ na dziennikarzy, osoby badające dezinformację i inne grupy". "Współpracujemy z nauczycielami w USA, aby dowiedzieć się, co widzą w swoich klasach i omówić możliwości i ograniczenia ChatGPT" - dodali.

Jak odnotował portal CNBC, to nie pierwsze narzędzie, które ma weryfikować, czy tekst został napisany przez sztuczną inteligencję: student Uniwersytetu Princeton Edward Tian ogłosił na początku stycznia, że stworzył "narzędzie dla nauczycieli" o nazwie GPTZero. Sama OpenAI już w 2019 roku stworzyła klasyfikator, który był jednak "mniej wyrafinowany" niż ChatGPT. Firma już wówczas informowała, że identyfikacja autora tekstu na podstawie jego treści będzie "długoterminowym wyzwaniem".

ZOBACZ TEŻ: Sztuczna inteligencja zdała egzaminy prawnicze i biznesowe na uczelniach. Popełniła też "zaskakujące błędy"