I przede wszystkim: "Czy chat GPT będzie przekleństwem systemu edukacji?". Umożliwi uczniom ściąganie i oszukiwanie na nieznaną skalę, zamieniając kolejne pokolenia w bezmyślnych użytkowników, oczekujących gotowych odpowiedzi od robotów?

Czy raczej będzie jak podręczny kalkulator i Excel - nieco bardziej interaktywna wyszukiwarka Google oraz osobisty researcher informacji, tylko trochę lepiej miksujący od zawsze istniejące ściągi i gotowce? Sprawi, że w szkołach - bardziej niż pisać wypracowania - będziemy się uczyć je redagować?

Szybko pojawiły się nerwowe reakcje na możliwości narzędzia OpenAI: szkoły w Nowym Jorku już wprowadziły zakaz korzystania z czatu przez uczniów i nauczycieli. Powstało również oprogramowanie, które sprawdza, czy praca ucznia nie została splagiatowana i napisana przez chat GPT.

Postanowiliśmy sprawdzić możliwości popularnego bota. Na pierwszy ogień wzięliśmy wypracowania z języka polskiego (w angielskim jest znacznie lepszy) oraz maturę na poziomie podstawowym i egzamin ósmoklasisty.

Czatbot z ósmej klasy

"Każdy jest w życiu za kogoś lub za coś odpowiedzialny. Napisz rozprawkę, w której rozważysz, na czym polegała odpowiedzialność wybranych przez Ciebie bohaterów literackich" - wpisujemy. To jeden z przykładowych tematów zadań na egzaminie ósmoklasisty.

Kopiujemy też fragment "Małego Księcia" Antoine’a de Saint-Exupéry’ego, do którego bot ma się odwołać (i całego utworu oraz wybranego przez siebie tekstu literackiego). Jego praca ma liczyć co najmniej 200 słów.

Chat GPT z miejsca produkuje okrągłe zdania:

"Odpowiedzialność to temat, który pojawia się w literaturze na różne sposoby. W "Małym Księciu" Antoine'a de Saint-Exupéry'ego, odpowiedzialność pojawia się w kontekście opieki nad planetą. Mały Książę, jako jedyny mieszkaniec planety, jest odpowiedzialny za jej utrzymanie i ochronę przed szkodliwymi roślinami, takimi jak baobaby. Jego zadanie polega na regularnym wyrywaniu baobabów, zanim zdążą się rozprzestrzenić i zniszczyć planetę. 

Mały Książę jest świadomy swojej odpowiedzialności i podejmuje działanie, aby chronić swoją planetę przed zagładą. Innym przykładem odpowiedzialności w literaturze jest bohater "To Kill a Mockingbird" Harper Lee, Atticus Finch. On jest odpowiedzialny za swoje dzieci i ich wychowanie, ale także za sprawiedliwość i praworządność jako adwokat. On jest odpowiedzialny za swoją pracę i przedstawienie prawdy w procesie, niezależnie od tego, jak bardzo jest to trudne lub niepopularne.  

Odpowiedzialność jest czymś, co dotyczy każdego z nas, czy to w literaturze, czy w życiu codziennym. To polega na dbaniu o siebie i innych, na podejmowaniu odpowiednich działań i decyzji, na ponoszeniu konsekwencji swoich czynów. W literaturze odpowiedzialność ta jest często przedstawiana przez bohaterów, którzy muszą stawić czoła trudnym sytuacjom i podejmować trudne decyzje. 

Przykład Małego Księcia pokazuje, jak odpowiedzialność za planetę może być trudna i wymagająca, ale jednocześnie ważna i konieczna. Z kolei Atticus Finch udowadnia, jak odpowiedzialność za sprawiedliwość i prawdę może być trudna, ale jednocześnie szlachetna i potrzebna. Te przykłady pokazują, że odpowiedzialność to coś, co jest kluczowe dla naszego rozwoju jako ludzi i dla dobra społeczeństwa".

- Z rozprawki na egzaminie można dostać maksymalnie 20 punktów. Oceniłabym ten tekst na 10, najwyżej 11 punktów 

- mówi nauczycielka Natalia Bielawska, autorka fanpage’a 662 pomysły na lekcje języka polskiego, którą z góry informujemy, że autorem wypracowania jest sztuczna inteligencja.

- To schematyczna, pisana ogólnymi zdaniami praca, bez zachowania trójdzielnej kompozycji. Jej wstęp jest nieproporcjonalnie krótki do zakończenia, widać bardzo powierzchowną argumentację, brak rozwinięcia przykładów i kwadratowe zdania, które właściwie nie mówią nic - tłumaczy.

Jej zdaniem chat GPT może udawać dwójkowego, najwyżej trójkowego ucznia, który tylko "zalicza". - W rozprawce osoba zdająca powinna się wykazać szczegółową znajomością lektury, a tu mamy stwierdzenia, które właściwie pasują do bardzo wielu tekstów o motywie odpowiedzialności. Można byłoby podmienić tytuł książki i spokojnie zostawić niektóre z tych zdań - dodaje.

"Bohaterowie dziecięcy, które zostają osadzone na bezludnej wyspie"

Sprawdzamy kilka tematów wypracowań z polskiego, które przygotowała polonistka Natalia Boszczyk, autorka fanpage’a Szkoła Dobrej Relacji.

1.  Ciekawość - ułatwia czy utrudnia życie? Napisz rozprawkę, w której uzasadnisz swoje stanowisko. Argumenty zilustruj przykładami z literatury.

2. "Literatura pozwala lepiej poznać i zrozumieć minione wieki". Rozważ słuszność tego stwierdzenia w rozprawce. Zilustruj swoje argumenty przykładami literackimi.

3. Napisz charakterystykę bohatera literackiego, który Twoim zdaniem wykazał się odwagą.

- Chatbot GPT średnio radzi sobie z ciągiem przyczynowo-skutkowym, robi błędy gramatyczne i składniowe, często stosuje powtórzenia. Te prace są nieuporządkowane i zdarzają się w nich błędy merytoryczne, na przykład "Pan Tadeusz" nie jest powieścią i nie ma takiej książki Daniela Defoe jak "Przygoda". Są "Przypadki Robinsona Cruzoe" - ocenia Natalia Bielawska. 

Matura. "Serce czy Rozum?"

Próbujemy zdać czatem maturę z języka polskiego na poziomie podstawowym z 2022 roku (tu można pobrać całość). Pierwsza partia pytań dotyczy tekstu Krzysztofa A. Wieczorka "Serce czy Rozum? Emocje w argumentacji i perswazji" opublikowanego w magazynie "Filozofuj!".

Chatbot GPT analizuje artykuł i rozwiązuje zadanie 2, które brzmi: "Sformułuj wniosek dotyczący wpływu emocji na człowieka, wynikający z eksperymentu opisanego w tekście".

Odpowiada, że:

ludzie w stanie "huśtawki emocjonalnej" tracą zdolność racjonalnego myślenia i łatwiej dają się nakłonić do rzeczy, na które w innej sytuacji by się nie zgodzili.

Poprawnie, zdobywa jeden punkt.

Sprawdzamy kolejne zadanie - na podstawie tekstu czat ma wyjaśnić znaczenie wyrazów "serce" i "głowa" ujętych w cudzysłów.

Kursor trochę miga, jakby się zastanawiał. I po chwili: 

- "Serce" i "głowa" ujęte w cudzysłów odnoszą się do różnych sposobów perswazji - odpowiada. - "Serce" oznacza oddziaływanie na emocje, takie jak strach, złość czy sympatia, które mogą skłonić odbiorcę do podejmowania określonych działań. "Głowa" natomiast oznacza racjonalne przekonywanie, kiedy odbiorca po uważnym przeanalizowaniu dostępnych danych uznaje, że została dobrze uzasadniona przez przesłanki.

Kolejny punkt.

Przy zadaniu 5 zaczynają się schody - chcemy, żeby program rozpoznał funkcję tekstu, która dominuje w ostatnim zdaniu artykułu Wieczorka.

Jego zdaniem to odpowiedź A - funkcja informatywna. Chatbot dostrzega w tym zdaniu tylko "fakty i informacje dotyczące skuteczności różnych sposobów perswazji". - Jest to przedstawienie zjawiska bez emocjonalnego zaangażowania autora - argumentuje.

Poprawna odpowiedź to jednak C - funkcja impresywna, bo autor stara się wpłynąć wypowiedzią na odbiorcę.

Zero punktów.

W zadaniu 6 próbujemy napisać krótkie streszczenie tekstu Wieczorka na 40-60 wyrazów. 

- Argumenty często służą do racjonalnej perswazji, jednak czasem mogą również przekonywać nas poprzez wywoływanie emocji. Skuteczność takich argumentów jest szczególnie wysoka, gdy celem ich nadawcy jest spowodowanie określonego zachowania odbiorcy. Schopenhauer zalecał "doprowadzenie przeciwnika do złości", ponieważ w złości trudno jest prawidłowo rozumować i dopilnować swoich korzyści. Badania psychologiczne potwierdzają, że ludzie w stanie "huśtawki emocjonalnej" tracą zdolność racjonalnego myślenia i łatwiej dają się nakłonić do rzeczy, na które w innej sytuacji by się nie zgodzili - produkuje się czat.

Część punktów (za całość można uzyskać 3) musiałaby zostać tu odebrana, bo sztuczna inteligencja częściowo cytuje całe zdania autora - a to niedopuszczalne przy pisaniu maturalnego streszczenia.

Kolejne pytania matury dotyczą tekstu Grzegorza Jankowicza "Życie na poczytaniu". W zadaniu 8 trzeba podać dwa argumenty potwierdzające przekonanie autora o wartości czytania literatury. Chatbot odpowiada bełkotem: 

1. autor twierdzi, że czytanie literatury pozwala na przemyślenie i zrozumienie przeczytanego oraz umożliwia wyobrażenie sobie świata, do którego zostaliśmy zaproszeni i nadawanie mu kształtu. 2. czytanie powoduje silną potrzebę rozmowy na temat literatury i innych aspektów świata, co jest oznaką, że czytanie ma wpływ na postrzeganie rzeczywistości.

W zadaniu 9 poprawnie rozpoznaje "dwie cechy życia na poczekaniu". Jego zdaniem to "gonitwa" i "brak przewidywalności".

Punkt dla sztucznej inteligencji.

Podobnie w następnym pytaniu poprawnie rozpoznaje, że zacytowany fragment pochodzi z "Lalki" Bolesława Prusa. 1 punkt. Ale w kolejnym musi już zmiksować "Lalkę" z tekstem Jankowicza i powiedzieć, "czy Wokulski prowadził życie na poczytaniu?".

Chatbot zaczyna odpowiadać, ale w połowie jakby przerywa i urywa zdanie: - Nie jest jasne, czy Wokulski prowadził życie na poczytaniu. Zacytowany fragment sugeruje, że jego życie zostało zatrute przez poezję, a konkretnie przez nauczanie o miłości jako świętej tajemnicy i poszukiwaniu ideału. Wokulski obwinia poezję za swoje rozczarowanie i rozpacz w miłości. Jednocześnie jednak, jego myśli sugerują, że jego miłość była skierowana do kobiety wysokiego urodzenia, co wskazuje na jego pragnienie, by jego miłość była oparta na statusie społecznym i materialnym, a nie na prawdziwej, autentycznej miłości. Z tego powodu nie jest jasne, czy Wokulski prowadził życie na poczytaniu, jak…

"Bezmyślność" czata ciekawie pokazuje też zadanie 11, w którym spośród podanych określeń (A. liczne terminy naukowe, B. posługiwanie się cytatami, C. słownictwo wartościujące, D. nagromadzenie neologizmów oraz E. używanie zdań złożonych) ma wybrać i zaznaczyć te, które charakteryzują tekst Grzegorza Jankowicza.

Odpowiada: C., D., E. oraz B - błędnie biorąc cudzysłów jako posługiwanie się cytatami, podczas gdy jest to sposób zapisu dialogu wewnętrznego bohatera.

- Na poziomie ósmej klasy Chatbot GPT "zdaje", oczywiście to jest pisane złym stylem, toporne, ale jest w miarę "na temat". Gorzej wychodzi mu na maturze, ale i wcześniej, przy bardziej skomplikowanych zadaniach, jak synteza materiału. Wtedy już odpowiada bez zrozumienia tematu, bo nie umie odczytać intencji pytania ani jego kontekstu. Tu pewnie problemem jest rozszyfrowanie języka, warstw ironii czy różnych podtekstów, zwłaszcza że polszczyzna jest bardziej skomplikowana niż inne języki. Ale

co ciekawe, robi też błędy faktograficzne, choć przecież jego podstawową umiejętnością jest wyszukiwanie informacji. Możliwe, że bierze się to z tego, że w sieci jest dużo informacji fałszywych i bot nie potrafi ich jeszcze weryfikować

- mówi Justyna Drath, nauczycielka z Liceum Chocimska i publicystka.

Czat zdaje anglika i leje wodę

Zdaniem polonistki Natalii Bielawskiej umiejętności sztucznej inteligencji, mimo potknięć, są imponujące.

- To przełom, że coś takiego się pojawiło. Mam nadzieję, że przeorganizuje myślenie o tym, czym jest szkoła i do czego jest nam potrzebna. 

- Nauczyciele i nauczycielki mogą się bać, że osoby uczące się dzięki takim narzędziom nie będą samodzielnie myśleć, ale to tylko pokazuje, że musimy przejść od kultury "nauczania" w stronę kultury "uczenia się", rozbudzania podmiotowości uczniów i uczennic. Dlatego ja w ogóle nie obawiam się tego narzędzia. W języku polskim na razie wychodzi to tak sobie, ale myślę, że to niesamowite i zmieni nasze przekonania o tym, czego powinniśmy uczyć - mówi Bielawska.

Czas na maturę z angielskiego. Na poziomie podstawowym z rozprawki, w której czat ma "wyobrazić" sobie, że jest wolontariuszem w ogrodzie zoologicznym, dostaje maksymalną liczbę punktów.

Trudniej idzie mu z maturą rozszerzoną. Ma napisać na 250 słów artykuł "Wiele osób marzy o odbyciu podróży dookoła świata", w którym przedstawi korzyści wynikające z realizacji takiego marzenia oraz udzieli rad, jak należy się do takiej podróży przygotować. 

- Paragrafy na maturze rozszerzonej muszą być dobrze rozwinięte, po argumentach muszą być podane przykłady. Czat raczej wymienia argumenty, ale nie idzie za tym coś więcej - mówi anglistka Judyta Rudnicka (też wiedziała wcześniej, że esej pisał chat GPT). Anglistka ocenia:

Czat napisał artykuł na 280 słów i jest to poprawne, tylko brakuje tutaj konkretów, rozwinięcia, za co zostałyby odjęte punkty. Ale językowo i gramatycznie radzi sobie świetnie. Słownictwo w punkt. Tylko widać, że ma tendencję do tzw. "lania wody".

Zdaniem Rudnickiej wykorzystanie chata GPT przez uczniów nastręczy nauczycielom problemów. - Będzie to dużo trudniejsze do sprawdzenia niż dotychczasowe odpowiedzi ze stron takich jak Sciaga.pl. Zdarzało mi się sprawdzać zdania ucznia i wpisywać w wyszukiwarkę Google, czy jest to plagiat, czy nie. Tu robi się to trudniejsze [chat GPT często na to samo zadane pytanie odpowiada inaczej - red.], ale istotna jest też kwestia tego, jak dobrze zna się swoich uczniów. Jakbym od części dostała takie wypracowanie, to wiedziałabym, że jest to praca niesamodzielna - mówi anglistka.

 - To punkt zwrotny w edukacji, którego znaczenia, wydaje mi się, na razie nie rozumiemy. Na ile sztuczna inteligencja będzie po prostu kolejnym narzędziem, takim jak kalkulator czy Excel, jeszcze nie wiemy. Zresztą kiedy pojawił się powszechnie dostępny kalkulator kieszonkowy, wśród nauczycieli panowało powszechne przerażenie, że nikt nie nauczy się już liczyć. Na pewno szkoła nie może udawać, że sztucznej inteligencji nie ma - musi zacząć myśleć, jak włączyć jej zastosowanie do programu, uczyć korzystać z niej bezpiecznie i etycznie oraz skupiać się na tym, co najważniejsze - na rozwijaniu krytycznego myślenia. Oraz na kwestii, po co uczniowie w ogóle chcą się uczyć, na ich motywacji wewnętrznej. Jeżeli będziemy myśleć o szkole tylko jako instytucji, w której się coś zalicza i rozwiązuje testy, to faktycznie AI będzie głównie problemem - dodaje Justyna Drath.

Wersja beta. Chatbot GPT ciągle się uczy

Musimy też pamiętać, że chat GPT-3 to na razie prototyp umieszczony w sieci, żeby ludzie mogli go testować, bawić się nim i oswoić z tą technologią oraz dalej ją "uczyć", bo każde kolejne pytanie, które mu zadajemy, jest cegiełką, która sprawia, że będzie udzielał lepszych odpowiedzi.

Z profesorem Lechem Mankiewiczem, fizykiem, sprawdzamy proste zadanie z matematyki: "Samochód jedzie z miasta A do B oddalonych od siebie o 100 km. Prędkość samochodu w pierwszej połowie drogi wynosiła 40 km/h, a w drugiej 60 km/h. Jaka była średnia prędkość samochodu pomiędzy miastem A i B?". Czat już na początku się wykłada:

I odpowiada: 50 km/h.

Podajemy mu później to samo pytanie i sprawdzamy, co się wydarzy.

Tym razem odpowiada, że średnia prędkość wynosiła 47,6 km/h.

Skąd te różnice w odpowiedzi? - Wygląda na to, że się nauczył - mówi profesor. - Kiedy zadałem mu drugi raz to samo pytanie, myślał dość długo. Technicznie rzecz biorąc, rozwiązanie przedstawione panu nie jest do końca prawidłowe, choć metoda jest dobra. W tym wypadku prędkość średnia wynosi dokładnie 48 km/h, wynik czatu bierze się z zaokrąglania.

Czat OpenAI może być płatny

Nie jest powiedziane też, czy popularny czat będzie dostępny dla mas - OpenAI długo pozostawała organizacją non-profit, ale od 2019 r. jest już nastawiona na zysk. Niedawno Microsoft zapowiedział, że chce zainwestować w jej spółkę 10 mld dolarów.

Na razie OpenAI wymownie milczy na temat płatności i wersji "profesjonalnej" czata. Pytamy więc bota.

- Czy będziesz kiedyś płatny?

- Nie mogę przewidzieć przyszłości związanej z modelem językowym ChatGPT. OpenAI, organizacja, która mnie stworzyła, może zdecydować o wprowadzeniu opłat za korzystanie z moich usług w przyszłości - odpowiada.