W badaniu naukowców z Villanova University w USA uczestniczyły osoby w wieku od 18 do 81 lat. Badacze sprawdzali, czy potrafią one odróżnić krótkie opowiadania napisane przez ludzi od tych wygenerowanych przez sztuczną inteligencję. Wyniki opublikowano w czasopiśmie "Judgment and Decision Making".
Opowiadania ludzi kontra teksty AI
Badacze wykorzystali trzy opowiadania napisane przez rzeczywistych autorów, opublikowane wcześniej w renomowanym czasopiśmie literackim lub zbiorze opowiadań, oraz trzy odpowiadające im teksty wygenerowane przez ChatGPT.
W pierwszym eksperymencie ponad 1,6 tys. uczestników przeczytało jedno opowiadanie. Każdej osobie przekazano informację, prawdziwą lub fałszywą, że tekst napisał człowiek albo sztuczna inteligencja. Następnie uczestnicy oceniali jakość opowiadania oraz stopień, w jakim ich ono wciągnęło.
W drugim i trzecim eksperymencie uczestnicy, odpowiednio 424 i 481 osób, otrzymali po jednym opowiadaniu napisanym przez człowieka i jednym wygenerowanym przez AI. Nie wiedzieli jednak, kto jest ich autorem. Po lekturze mieli wskazać, które opowiadanie stworzył człowiek, a które sztuczna inteligencja.
Badanych zapytano również o ich doświadczenie w korzystaniu z narzędzi AI oraz znajomość literatury pięknej.
Opowiadania AI oceniono wyżej
Wyniki pokazały, że opowiadania wygenerowane przez AI oceniano wyżej zarówno pod względem jakości, jak i stopnia zaangażowania czytelnika. Teksty sztucznej inteligencji otrzymywały jeszcze lepsze noty, gdy uczestnicy byli przekonani, że ich autorem jest człowiek.
W drugim eksperymencie opowiadania stworzone przez AI prawidłowo rozpoznano zaledwie w 39,93 proc. przypadków. W trzecim eksperymencie właściwie wskazało je 51,97 proc. uczestników. Według badaczy również ten rezultat nie różnił się od wyniku przypadkowego.
- W naszym badaniu uczestnicy najwyżej oceniali opowiadania, jeśli sądzili, że zostały napisane przez ludzi, choć w rzeczywistości stworzyła je sztuczna inteligencja - powiedziała dr Deena Weisberg z Wydziału Nauk Psychologicznych i Nauk o Mózgu Villanova University.
- Ludzie zakładają, że kreatywne pisanie wymaga ludzkich cech, takich jak rozumienie emocji czy życiowe doświadczenie, dlatego nie doceniamy możliwości sztucznej inteligencji w tym zakresie. Sądzę, że społeczne wyobrażenia o możliwościach AI są już coraz mniej aktualne - dodała.
Doświadczeni użytkownicy AI radzili sobie lepiej
Badacze zauważyli, że osoby deklarujące większą znajomość narzędzi AI lepiej radziły sobie z rozpoznawaniem tekstów wygenerowanych przez sztuczną inteligencję. Podobnej zależności nie zaobserwowano natomiast u uczestników uważających się za kompetentnych w dziedzinie literatury.
- Znajomość systemów AI pomagała uczestnikom rozpoznawać charakterystyczne cechy tekstów generowanych przez sztuczną inteligencję, takie jak częste używanie pauz czy konstrukcji w rodzaju: to nie tylko X, ale także Y. Sugeruje to, że rozwijanie kompetencji w dziedzinie sztucznej inteligencji może pomóc lepiej odnajdywać się w świecie, w którym odgrywa ona coraz większą rolę - stwierdziła dr Weisberg, cytowana w komunikacie prasowym.
Dlaczego czytelnicy wolą teksty AI?
Badanie potwierdza wcześniejsze wyniki wskazujące, że ludzie preferują treści tworzone przez AI w różnych gatunkach, między innymi w krótkich opowiadaniach, poezji i esejach.
- Teksty generowane przez AI są zwykle bardziej przejrzyste, bezpośrednie i łatwiejsze do przetworzenia, z kolei opowiadania napisane przez ludzi są bardziej subtelne i złożone. Na przykład wersje stworzone przez AI zazwyczaj wprost wyrażały główne przesłanie, zamiast pozostawiać czytelnikowi możliwość wyciągania wniosków z wypowiedzi i działań bohaterów - wyjaśniła dr Weisberg.
Jak zaznaczyła, wyników nie można jednak tłumaczyć wyłącznie zmianami w sposobie korzystania z mediów.
- Wiele mówi się dziś o kryzysie czytelnictwa, malejącej zdolności koncentracji i wpływie platform takich jak TikTok. Nie sądzę jednak, aby wyniki naszego badania można było w pełni wyjaśnić współczesnym sposobem korzystania z mediów. Technologie te raczej wzmacniają istniejące skłonności, niż je tworzą. Być może ludzie po prostu preferują przewidywalność, ponieważ odbiór trudniejszych lub bardziej subtelnych treści wymaga większego wysiłku umysłowego - powiedziała.