Kto napisał tekst: człowiek czy Chat GPT? Nowe narzędzie ma to sprawdzać, ale często się myli

Źródło:
OpenAI, CNBC, tvn24.pl
Sztuczna inteligencja stała się teraźniejszością
Sztuczna inteligencja stała się teraźniejszościąTVN24
wideo 2/4
Sztuczna inteligencja stała się teraźniejszościąTVN24

Nowe narzędzie przy użyciu sztucznej inteligencji ma pomóc zweryfikować, czy tekst został napisany przez człowieka czy przez sztuczną inteligencję. Jego twórcy chcą, by technologia pomogła m.in. nauczycielom rozpoznawać, czy uczeń samodzielnie wykonał pracę. - To narzędzie dla osób, które znają jego ograniczenia - przestrzega ekspert.

Chat GPT, czyli stworzona przez organizację OpenAI sztuczna inteligencja generująca tekstowe odpowiedzi, w ciągu ostatnich tygodni stała się tematem dyskusji. Jedno z często zadawanych pytań dotyczy tego, czy nowa technologia zastąpi dziennikarzy. Inne: czy zautomatyzuje pracę programistów. Część komentatorów zwróciła również uwagę, że Chat GPT może zagrażać systemowi edukacji, ponieważ umożliwi uczniom oszukiwanie na niespotykaną dotychczas skalę.

31 stycznia OpenAI przedstawiła AI Text Classifier - narzędzie, które miałoby wykrywać, czy tekst jest napisany przez człowieka, czy został wygenerowany przez komputer. Przeprowadzone testy wykazały jednak, że nowy klasyfikator poprawnie zidentyfikował zaledwie 26 proc. tekstów wygenerowanych przez sztuczną inteligencję jako "prawdopodobnie napisane przez sztuczną inteligencję" (ang. "likely AI-written) - wynika z komunikatu opublikowanego na stronie OpenAI.

ZOBACZ TEŻ: Sztuczna inteligencja stała się teraźniejszością

Ekspert: to narzędzie dla osób, które znają jego ograniczenia

- Odsetek niepoprawnie zidentyfikowanych tekstów sprawia, że to narzędzie ma bardzo ograniczone zastosowanie. Dla nauczycieli pozostaje bezużytecznym. To narzędzie dla osób, które znają jego ograniczenia - ocenia Maciej Obarski, data scientist w TVN Warner Bros. Discovery, w rozmowie z portalem TVN24.pl. Jak dodaje, głównym celem rozwijania tej technologii jest możliwość filtrowania w przyszłości tekstów, które były tworzone przez maszynę, "aby następne generacje modeli językowych uczyły się nie na tekstach, które zostały wyprodukowane przez sztuczną inteligencję".

Dlaczego to tak ważne? Obarski zwraca uwagę, że nie sposób dokładnie określić, jak użycie takich danych wpłynie na nowe modele, dlatego naukowcom zależy na zminimalizowaniu udziału "brudnych" danych uczących. Przykładem takiego ryzyka może być pogłębianie uprzedzeń i stereotypów, bo teksty wygenerowane przez AI powtarzają najbardziej utarte schematy. A cel krótkofalowy? Zmniejszenie ryzyka związanego z użyciem dużych modeli językowych (ang. Large Language Models) - takich jak ChatGPT/GPT-3.5, Claude, OPT-IML czy Flan-T5 - do automatycznych kampanii dezinformacyjnych. Zdaniem eksperta przedstawione przez OpenAI nowe narzędzie świetnie się do tego nadaje, bo w przypadku analizy bardzo wielu tekstów nie jest istotne, czy pojedynczy tekst był "ludzki" czy nie - istotny jest tylko rozkład statystyczny. 

Zdaniem twórców klasyfikator może być pomocny dla nauczycieliShutterstock

Ponadto Obarski zwraca uwagę na dane samego producenta, opublikowane wraz z nowym modelem we wtorek. Wynika z nich, że sztuczna inteligencja z trafnością na poziomie dziewięciu procent (w kategorii "likely AI-generated") i 21 procent (w kategorii "possibly AI-generated") uznała, iż tekst został wygenerowany przez sztuczną inteligencję, podczas gdy został wygenerowany przez człowieka.

Jak zaznacza ekspert, oznacza to, że nauczyciel wykorzystujący AI Text Classifier w 30-osobowej klasie, w której żaden z uczniów nie posłużył się sztuczną inteligencją, niesprawiedliwie oceniłby średnio dwóch-trzech uczniów, zakładając, że kierowałby się tylko kategorią "likely AI-generated". Jeśli kierowałby się też kategorią "possibly AI-generated”, niesprawiedliwie potraktowałby kolejnych sześciu uczniów, czyli łącznie około dziewięciu.

Wątpliwości budzi też kwestia samych danych zaprezentowanych przez OpenAI. Organizacja nie podała do publicznej wiadomości metody ich opracowania; nie wiadomo na przykład, na jakich językach klasyfikator był szkolony, poza językiem angielskim.

ZOBACZ TEŻ: Komu sztuczna inteligencja zabierze pracę? Tych 10 zawodów jest szczególnie zagrożonych

OpenAI o wadach nowego klasyfikatora

Zdaniem twórców nowe narzędzie jest "bardzo zawodne" w przypadku krótkich tekstów poniżej tysiąca znaków, jednak dłuższe teksty również mogą zostać błędnie sklasyfikowane. Przyznają, że AI Text Classifier częściej może popełniać błędy w przypadku tekstów napisanych przez dzieci i w języku innym niż angielski, ponieważ "był szkolony głównie na angielskich treściach napisanych przez dorosłych". "Nasz klasyfikator nie jest w pełni wiarygodny" - przekazali jego twórcy w komunikacie, podkreślając, że jest on "znacznie bardziej niezawodny" w przypadku analizy tekstów wygenerowanych przez nowsze systemy sztucznej inteligencji. Jak dodali, AI Text Classifier udostępniają publicznie, aby uzyskać opinie na temat przydatności "niedoskonałych narzędzi, takich jak to" .

ZOBACZ TEŻ: Sztuczna inteligencja "odmłodzi" Toma Hanksa. Robert Zemeckis wykorzysta ją w nowym filmie

Twórcy AI Text Classifier spodziewają się, że szybko rozprzestrzenią się techniki służące utrudnianiu wykrywania tekstów pisanych przez AI. "Klasyfikatory takie jak nasz można aktualizować i ponownie szkolić w oparciu o udane ataki, ale nie jest jasne, na ile wykrywanie ich będzie skuteczne w dłuższej perspektywie" - zaznaczyli.

Prace nad narzędziem dla nauczycieli

Specjaliści OpenAI przekazali w komunikacie, że zdają sobie sprawę z toczącej się wśród nauczycieli dyskusji na temat problemu weryfikacji autorstwa tekstów. Jak zaznaczyli, chociaż opracowując listę ograniczeń nowej technologii skupili się na osobach zajmujących się edukacją, spodziewają się, że klasyfikator "będzie miał wpływ na dziennikarzy, osoby badające dezinformację i inne grupy". "Współpracujemy z nauczycielami w USA, aby dowiedzieć się, co widzą w swoich klasach i omówić możliwości i ograniczenia ChatGPT" - dodali.

ChatGPTT. Schneider / Shutterstock

Jak odnotował portal CNBC, to nie pierwsze narzędzie, które ma weryfikować, czy tekst został napisany przez sztuczną inteligencję: student Uniwersytetu Princeton Edward Tian ogłosił na początku stycznia, że stworzył "narzędzie dla nauczycieli" o nazwie GPTZero. Sama OpenAI już w 2019 roku stworzyła klasyfikator, który był jednak "mniej wyrafinowany" niż ChatGPT. Firma już wówczas informowała, że identyfikacja autora tekstu na podstawie jego treści będzie "długoterminowym wyzwaniem".

ZOBACZ TEŻ: Sztuczna inteligencja zdała egzaminy prawnicze i biznesowe na uczelniach. Popełniła też "zaskakujące błędy"

Autorka/Autor:wac//az

Źródło: OpenAI, CNBC, tvn24.pl

Źródło zdjęcia głównego: Shutterstock

Pozostałe wiadomości

Iran przeprowadził w nocy atak na Izrael przy użyciu setek rakiet i dronów. Odpowiedź ze strony Izraela jeszcze nie nadeszła, do nieeskalowania konfliktu wzywają kolejne państwa. Irański minister spraw zagranicznych Hosejn Amir Abdollahian zapowiedział, że jeśli dojdzie do odwetu, Iran zaatakuje bazy USA. W tvn24.pl na żywo relacjonujemy wydarzenia związane z konfliktem na linii Iran-Izrael.

Szef MSZ Iranu: w przypadku odwetu zaatakujemy amerykańskie bazy

Szef MSZ Iranu: w przypadku odwetu zaatakujemy amerykańskie bazy

Aktualizacja:
Źródło:
Reuters, PAP, tvn24.pl

Żmije zygzakowate są coraz bardziej aktywne. W przypadku ukąszenia należy zachować spokój i natychmiast wezwać pomoc. Nie wszystkie ataki kończą się zatruciem, ale warto zachować czujność nawet wtedy, gdy czujemy się dobrze.

Ostrożnie na spacerach! "Wstrząs może wystąpić nawet 16 godzin po zdarzeniu"

Ostrożnie na spacerach! "Wstrząs może wystąpić nawet 16 godzin po zdarzeniu"

Źródło:
PAP
Terroryzm znów zapuka do bram Europy? O tym regionie niemal się nie mówi

Terroryzm znów zapuka do bram Europy? O tym regionie niemal się nie mówi

Źródło:
tvn24.pl
Premium

20-letni motocyklista zginął w wypadku na Lubelszczyźnie. Mężczyzna uderzył w tył samochodu osobowego. Kilka godzin wcześniej zatrzymano go do kontroli drogowej. Za nieprawidłowe wyprzedzanie i przekroczenie prędkości został ukarany mandatem.

Nie żyje 20-letni motocyklista. Kilka godzin przed wypadkiem został ukarany mandatem

Nie żyje 20-letni motocyklista. Kilka godzin przed wypadkiem został ukarany mandatem

Źródło:
tvn24.pl

Ochłodzenie odczujemy zaraz po weekendzie, ale najzimniej będzie nieco później. Czy w najbliższym czasie możemy liczyć na powrót ciepła? Sprawdź długoterminową prognozę pogody na 16 dni, przygotowaną przez prezentera tvnmeteo.pl Tomasza Wasilewskiego.

Pogoda na 16 dni: nadciąga zimno, jakiego dawno nie widzieliśmy

Pogoda na 16 dni: nadciąga zimno, jakiego dawno nie widzieliśmy

Źródło:
tvnmeteo.pl

W niedzielę w nocy strażacy wyciągnęli z Jeziora Ostrowickiego w miejscowości Bieślin (woj. wielkopolskie) ciało 23-letniego mężczyzny. Wcześniej otrzymali zgłoszenie o łódce z trzema osobami, która wywróciła się na jeziorze. Wszyscy brali udział w wieczorze kawalerskim.

Tragedia podczas wieczoru kawalerskiego. Nie żyje jeden z uczestników

Tragedia podczas wieczoru kawalerskiego. Nie żyje jeden z uczestników

Aktualizacja:
Źródło:
PAP/tvn24.pl

Mąż byłej marszałek Sejmu Elżbiety Witek - Stanisław Witek - zmarł po długiej chorobie w wieku 72 lat. Poinformowali o tym w mediach społecznościowych działacze okręgu legnicko-jeleniogórskiego Prawa i Sprawiedliwości oraz legnicka "Solidarność".

Nie żyje mąż byłej marszałek Sejmu

Nie żyje mąż byłej marszałek Sejmu

Źródło:
tvn24.pl

Rada Unii Europejskiej zaakceptowała rozporządzenie zaostrzające normy środowiskowe pojazdów. Norma Euro 7 zaostrzy limity cząstek stałych dla samochodów osobowych i dostawczych oraz spalin dla autobusów i ciężarówek. Rozporządzenie wprowadzi też paszport środowiskowy dla każdego pojazdu.

Zmiana dla kierowców. Nowa norma spalin i paszporty dla każdego pojazdu

Zmiana dla kierowców. Nowa norma spalin i paszporty dla każdego pojazdu

Źródło:
PAP

Prokuratura zakończyła śledztwo w sprawie tragicznego wypadku na przejeździe. Zginął w nim 25-letni kierowca, który wjechał przed nadjeżdżający pociąg.

Wjechał przed pociąg, zginął w zmiażdżonym aucie. Koniec śledztwa

Wjechał przed pociąg, zginął w zmiażdżonym aucie. Koniec śledztwa

Źródło:
PAP, tvn24.pl

99 procent irańskich pocisków zostało przechwyconych przez obronę przeciwlotniczą Izraela. W wyniku ataku ranna w Izraelu została siedmioletnia dziewczynka. Lekko uszkodzona została baza wojskowa – przekazał rzecznik izraelskiej armii Daniel Hagari.

Jakie są skutki irańskiego ataku na Izrael

Jakie są skutki irańskiego ataku na Izrael

Źródło:
PAP, Times of Israel

W nocy z soboty na niedzielę Iran wystrzelił w kierunku Izraela około 300 dronów i pocisków rakietowych, z czego 99 procent zostało przechwyconych. Irańskie siły zbrojne określiły atak jako odwet za zbombardowanie irańskiego konsulatu w Damaszku, w którym zginęło kilku irańskich oficerów. Co wiemy o ataku Iranu na Izrael?

Co wiemy o ataku Iranu na Izrael. Najważniejsze informacje

Co wiemy o ataku Iranu na Izrael. Najważniejsze informacje

Źródło:
PAP, Reuters, tvn24.pl

Dzicy lokatorzy przejęli pub w Londynie dzierżawiony przez Gordona Ramsaya - podał "The Guardian". W budynku, który wynajmuje popularny kucharz, zamknęła się grupa co najmniej sześciu osób. "Jeśli chcesz się nas pozbyć, będziesz musiał złożyć wniosek o posiadanie w sądzie okręgowym lub w sądzie wyższej instancji - napisali na kartce, którą wywiesili na drzwiach.

Dzicy lokatorzy przejęli lokal znanego restauratora

Dzicy lokatorzy przejęli lokal znanego restauratora

Źródło:
"The Guardian"

Według popularnego wpisu uczniowie rzekomo są uczeni, że Ukraina jako państwo istniała już w XVI wieku. Dowodem ma być zdjęcie mapy ze szkolnego atlasu. Z tej mapy to nie wynika, co wyjaśnia wydawnictwo i eksperci.

"Ukraina jako państwo istniała już w XVI wieku"? Sprawdzamy, co wynika z mapy w szkolnym atlasie

"Ukraina jako państwo istniała już w XVI wieku"? Sprawdzamy, co wynika z mapy w szkolnym atlasie

Źródło:
Konkret24

W Sejmie, gdzie 70 procent to mężczyźni, ustawy o aborcji będą de facto głosowane przez nich. Dlatego my proponujemy referendum - mówiła w TVN24 wiceprezeska Polskiego Stronnictwa Ludowego Urszula Pasławska. W "Kawie na ławę" omawiano kwestię piątkowych głosowań nad ustawami liberalizującymi prawo do przerywania ciąży. - Czy nie wstyd ci jest za twoich kolegów dziaderskich, którzy mają totalnie średniowieczne poglądy? - zwróciła się do posłanki Trzeciej Drogi Joanna Scheuring-Wielgus z Lewicy. Zdaniem posła Konfederacji Stanisława Tyszki, od polityków rządzącej koalicji słyszymy cały czas "pigułka, aborcja, pigułka, aborcja".

"Lewacy", "faszyści" i "dziaderscy koledzy". Gorąca dyskusja po głosowaniach w sprawie aborcji

"Lewacy", "faszyści" i "dziaderscy koledzy". Gorąca dyskusja po głosowaniach w sprawie aborcji

Źródło:
TVN24

W niedzielę przed południem na autostradzie A2 pomiędzy Pruszkowem a Grodziskiem Mazowieckim zapalił się samochód osobowy. Są utrudnienia.

Auto w ogniu na autostradzie A2

Auto w ogniu na autostradzie A2

Źródło:
Kontakt24, tvnwarszawa.pl

Burza przetoczyła się w nocy nad Ustką (woj. pomorskie). Zdjęcia zjawiska otrzymaliśmy na Kontakt 24. Jak wynika z prognoz, w niedzielę w Polsce spodziewane są dalsze wyładowania atmosferyczne.

Za mieszkańcami Ustki niespokojna noc

Za mieszkańcami Ustki niespokojna noc

Źródło:
Kontakt 24, IMGW, tvnmeteo.pl

Policjanci pomogli wrócić do domu starszej kobiecie, która w piżamie błąkała się po jednym z osiedli w Jastrzębie-Zdroju. Cała i zdrowa trafiła pod opiekę rodziny.

W samej piżamie błąkała się w nocy ulicami miasta

W samej piżamie błąkała się w nocy ulicami miasta

Źródło:
KWP Katowice

W sobotę po południu ktoś rozlał nieznaną substancję przed budynkiem Kancelarii Prezesa Rady Ministrów w Alejach Ujazdowskich. Nieoficjanie miała to być gnojówka. Policja podała, że w związku z tym zatrzymano jedną osobę. Mężczyzna usłyszał dwa zarzuty i wyszedł na wolność.

Zarzuty dla mężczyzny zatrzymanego przed kancelarią premiera

Zarzuty dla mężczyzny zatrzymanego przed kancelarią premiera

Aktualizacja:
Źródło:
Kontakt24, tvnwarzawa.pl

Narodowy Marsz Życia pod hasłem "Niech Żyje Polska!" wyruszył w niedzielę po południu z placu Zamkowego w Warszawie. Jak twierdzą organizatorzy, to manifestacja sprzeciwu wobec "ataków wymierzonych w małżeństwo, rodzinę i w poczęte dzieci zagrożone aborcją".

"Narodowy Marsz Życia" przeszedł ulicami Warszawy

"Narodowy Marsz Życia" przeszedł ulicami Warszawy

Źródło:
PAP

Milczące anioły - tak się mówi na dzieci, które przestają mówić, chodzić, wodzić za rodzicami wzrokiem. Rodzice dziewczynek z zespołem Retta widzą, że cierpią. Wśród nich jest Gaja - na razie nie da się jej wyleczyć, ale rozwój choroby można spowolnić. Być może do czasu, gdy nauczymy się ją leczyć. Na tę terapię trzeba mnóstwa pieniędzy. Lena już ją stosuje i widać, że warto.

Choroba, która zmienia dziewczynki w milczące anioły. Rzeczywistość dzieci chorych na zespół Retta

Choroba, która zmienia dziewczynki w milczące anioły. Rzeczywistość dzieci chorych na zespół Retta

Źródło:
Fakty TVN

33,8 procent badanych oddałoby głos na Koalicję Obywatelską, gdyby wybory do parlamentu odbyły się w najbliższą niedzielę - wynika z comiesięcznego sondażu przeprowadzonego przez pracownię Opinia24. 26,4 procent respondentów wskazało na Prawo i Sprawiedliwość. Na podium z wynikiem 11,8 procent utrzymała się Trzecia Droga.

Nowy sondaż partyjny

Nowy sondaż partyjny

Źródło:
tvn24.pl

Do rad gmin i sejmików wojewódzkich weszło nieco więcej kobiet, niż w 2018 r. O kilka procent więcej będzie też wójtek, burmistrzyń i prezydentek. - Jest poprawa, ale nie ma rewolucji - komentuje Weronika Jóźwiak, inicjatorka kampanii "Dziewczyny do polityki". - Potrzebujemy nowoczesnej edukacji obywatelskiej - uważa ekspertka. Niepokojąca jest także niska frekwencja wśród najmłodszych wyborców.

W samorządach będzie więcej kobiet. "Jest poprawa, ale nie ma rewolucji"

W samorządach będzie więcej kobiet. "Jest poprawa, ale nie ma rewolucji"

Źródło:
tvn24.pl

Od poniedziałku będzie można oglądać serial "Sympatyk" na HBO Max. Na jesień tego roku zaplanowano premierę filmu "Joker: Folie à Deux", jest już oficjalny zwiastun. W "Kadrze na kino" Ewelina Witenberg podsumowała, co jeszcze warto wiedzieć ze świata filmów i muzyki.

Co warto obejrzeć. Ewelina Witenberg podsumowuje. "Kadr na kino" w TVN24

Co warto obejrzeć. Ewelina Witenberg podsumowuje. "Kadr na kino" w TVN24

Źródło:
tvn24.pl