Błąd statystyczny dawno nie wzbudził takich emocji.

1 czerwca po godzinie 21 czekający w napięciu wyborcy i kandydaci zobaczyli wyniki pierwszych wyborczych sondaży. Exit poll, zrealizowany przez Ipsos dla TVN24, Polsat News i TVP, wskazywał na niewielką przewagę kandydata Koalicji Obywatelskiej. Zgodnie z tymi pierwszymi prognozami Rafał Trzaskowski miał otrzymać 50,3 proc. głosów, a Karol Nawrocki - 49,7 proc. Jedynie 0,6 punktu procentowego różnicy. Jednak mając świadomość, że błąd szacowania w tym badaniu wynosi 2 punkty procentowe, żaden z kandydatów nie mógł być pewien swojej wygranej - przynajmniej do momentu podania kolejnych wyników sondażowych, tak zwanych late poll. Stało się jednak inaczej. Rafał Trzaskowski w pierwszych minutach po zamknięciu lokali wyborczych odtrąbił swoje zwycięstwo. Jakież było zdziwienie w sztabie, gdy dwie godziny później okazało się, że to Karol Nawrocki zwiększa swoją szansę na prezydenturę.  

Ale czy to bardzo duże zdziwienie wynikało z bardzo dużego błędu statystycznego?

- Słowo "bardzo" wydaje mi się trochę na wyrost. Margines błędu wynosi +/- dwa punkty procentowe, a wynik mieścił się dokładnie w tym przedziale - komentuje prof. Mikołaj Cześnik. - Jeśli ktoś ma ochotę cieszyć się z tego, co usłyszał w mediach, to oczywiście ma do tego prawo. Ale wspomnienie tego wieczoru z pewnością na długo pozostanie z tymi, którzy cieszyli się nad wyraz dynamicznie. Doświadczenie pokazuje, że należy mieć pewien rodzaj pokory wobec tych danych - dodaje ekspert i przypomina, że mieliśmy już w historii polskich wyborów podobne zwroty akcji.

Najgłośniejszym takim przypadkiem były wybory prezydenckie w 1995 roku. Swoją wygraną wieczorem świętował Lech Wałęsa, któremu wyniki exit poll dawały ponad 50 proc. głosów. Ale rano proporcje się zmieniły i po przeliczeniu wszystkich głosów okazało się, że prezydentem został Aleksander Kwaśniewski, który zdobył poparcie na poziomie 51,72 proc. Wałęsa ostatecznie otrzymał 48,28 proc. głosów.

Z niejasną sytuacją, choć bez tak spektakularnych zmian na pozycji lidera wyścigu o fotel prezydenta, mieliśmy do czynienia także w poprzednich wyborach. W 2020 roku sondaże exit poll wskazały, że Andrzej Duda zdobył 50,4 proc. głosów, a Rafał Trzaskowski - 49,6 proc. Także wtedy pierwsze wyniki nie pozwalały jednoznacznie wskazać, który z kandydatów wygrywa wybory. Kolejne wyniki sondażowe, late poll, umocniły tylko Dudę na wygranej pozycji (51 proc. dla Dudy i 49 proc. dla Trzaskowskiego), a oficjalne dane potwierdziły prognozy. Duda wygrał z Trzaskowskim 51,03 proc. do 48,97 proc. głosów.

Co to jest exit poll i "z czym to się je"?

Chochla w zupie a cały garnek

Po raz pierwszy terminu exit poll użył w 1967 roku Warren Mitofsky, amerykański ankieter polityczny, dyrektor wykonawczy jednostki wyborczej i badawczej CBS News. To wtedy, podczas wyborów gubernatora stanu Kentucky, odpytywano wychodzących z lokali wyborczych ludzi, na kogo oddali swój głos. W wyborach ogólnokrajowych telewizja CBS po raz pierwszy wykorzystała exit poll rok później.

Dziś w krajach demokratycznych takie ankiety w dniu wyborów to standard. W Polsce po raz pierwszy przeprowadzono je podczas pierwszych powszechnych wyborów prezydenckich w III RP w 1990 roku. Realizowane jest także podczas wyborów parlamentarnych.

Na czym polega? W prosty i klarowny sposób wyjaśnia to w swojej książce "Statystycznie rzecz biorąc. Czyli jak zmierzyć siłę tornada za pomocą gofra" Janina Bąk, statystyczka, autorka bloga Janina Daily. Exit poll to tak zwany sondaż wyjścia przeprowadzany przez agencję badawczą w dniu wyborów wśród osób, które opuszczają lokale wyborcze. Respondent wypełnia ankietę, w której zaznacza swojego kandydata i odpowiada na kilka dodatkowych pytań, dotyczących między innymi wieku, płci czy wykształcenia. Oznacza to dokładnie tyle, że przeprowadzając tego rodzaju badania, próbujemy przewidzieć zwycięzcę wyborów na podstawie przebadania znacznie mniejszej grupy osób niż ta, która rzeczywiście bierze udział w wyborach. "Bierzemy sobie chochlę społecznej zupy i na jej podstawie wnioskujemy o całym garnku" - pisze autorka.

O jakiej grupie mówimy? W ramach badania przeprowadzono około 100 ankiet w każdym spośród wylosowanych 500 lokali wyborczych, co daje około 50 tysięcy wyborców, a zatem mniej niż 1 procent całej populacji wyborców.

- Mieliśmy próbę 500 lokali wyborczych z ponad w sumie 32 tysięcy. Drugą turę badaliśmy tak samo jak pierwszą, która okazała się najlepsza w swojej historii. Nic nie zmieniliśmy w swoim działaniu. Z całą odpowiedzialnością mogę powiedzieć, że na całym świecie nie spotyka się exit poll o większej precyzji - mówi Paweł Predko, ekspert z Ipsosu.

Przypomnijmy, że w pierwszej turze wyborów Ipsos wskazał tę samą kolejność poszczególnych kandydatów, co oficjalne wyniki Państwowej Komisji Wyborczej.

Czy przy tak dużym badaniu da się uniknąć błędów? Nie, i to ryzyko w badaniu exit poll uwzględnione jest w postaci wspomnianego na początku tekstu błędu statystycznego, czyli różnicy między wartością uzyskaną z badanej próby a wartością prawdziwą.

- Exit poll nie jest łatwym badaniem, bo bazuje na dwukrotnym losowaniu. Po pierwsze, trzeba według dobrego schematu losowania wylosować lokale wyborcze i to wbrew pozorom nie jest łatwe - tłumaczy prof. Mirosław Szreder, statystyk z Uniwersytetu Gdańskiego. Wyjaśnia, że w Polsce najczęściej stosuje się losowanie warstwowe, czyli takie, które pozwala na proporcjonalną reprezentację miasta i wsi, odpowiednich regionów kraju.

- Drugie losowanie to losowanie w samych lokalach, tak zwane losowanie systematyczne, polegające na tym, że pyta się co dziesiątego lub co piętnastego wyborcę opuszczającego lokal. O to, na kogo oddał głos oraz o tak zwane dane demograficzne, między innymi o wiek i wykształcenie - uzupełnia statystyk.

Wiele zmiennych, jeszcze więcej danych i czynnik ludzki. Zdaniem profesora, mimo że błąd statystyczny jest nieunikniony, nie należy deprecjonować tego badania. - To, co jest bolesne dla odbiorców, to fakt, że pozycja zwycięzcy się zmieniła, ale jeśli chodzi o sam błąd mierzony liczbowo, to nie jest on duży. Exit poll, którego wyniki podaje się o godzinie 21, obciążony był błędem mniejszym niż 1,5 punktu procentowego, co uznać należy za dobry wynik - zaznacza prof. Szreder.

Także Paweł Predko z Ipsosu podkreśla, że to wciąż najskuteczniejsze z badań wyborczych. Dla porównania w sondażach przedwyborczych mamy próbę jedynie tysiąca badanych, badania są mniej dokładne, a ich błąd szacowania wynosi aż 3-4 punkty procentowe, podczas gdy w exit pollu to maksymalnie 2 p.p. No i te przedwyborcze robi się przez telefon, w oparciu o deklaracje, bez możliwości zweryfikowania, czy respondent rzeczywiście poszedł na wybory.

Ludzie odmawiają zupie

Błąd statystyczny w tym badaniu jest gwarantowany, ale gdzie należy szukać jego źródeł?

Jak wskazuje Janina Bąk w książce "Statystycznie rzecz biorąc. Czyli jak zmierzyć siłę tornada za pomocą gofra", różnice między wynikiem exit poll a oficjalnym wynikiem wyborów mogą wynikać z kilku czynników. W grę wchodzą przede wszystkim błędy popełniane podczas wypełniania kart do głosowania, udzielanie odpowiedzi niezgodnych z prawdą oraz odmowa udzielenia odpowiedzi. "Zwłaszcza gdy respondenci, którzy nie chcą wziąć udziału w sondażu exit poll, różnią się znacznie od tych, którzy wzięli udział" - wskazuje autorka. Przypomina, że z taką sytuacją mieliśmy do czynienia w roku 2005, kiedy wyborcy Lecha Kaczyńskiego mniej chętnie rozmawiali z ankieterami niż wyborcy jego oponenta Donalda Tuska, co znacząco zaniżyło wyniki Lecha Kaczyńskiego w sondażu exit poll.

Także prof. Mikołaj Cześnik podkreśla, że na rozmiar błędu statystycznego wpływa wysoka liczba odmów odpowiedzi ankieterom na pytania i nieprawdziwe deklaracje ze strony badanych. - To jest rzecz, której będą musiały się teraz przyjrzeć firmy badawcze - komentuje ekspert.

Przypomina, że w wyborach 1 czerwca przeprowadzone zostały dwa badania exit poll przez dwie niezależne od siebie instytucje: Ipsos i OGB (Ogólnopolską Grupę Badawczą).

- Oba badania pokazały bardzo podobny wynik. Z reguły, jeśli dwa razy, za pomocą dwóch termometrów, zmierzymy temperaturę i ona będzie dosyć podobna, to jest to jakiś dowód na to, że pomiary są robione właściwie. Pozwala to sądzić, że to czynnik zewnętrzny powoduje, iż pomiary nie pokazują prawdziwego wyniku - podkreśla prof. Cześnik.  

Paweł Predko z Ipsosu zapewnia, że badacze przyglądają się, co może być powodem, że wyborcy odmawiają odpowiedzi w badaniach exit poll. Już widzą, że winna nie jest metodologia, a … klimat. 

- To, czy osoby są chętne do udzielenia odpowiedzi, czy raczej ukrywają swoje poglądy, zależy głównie od klimatu, który towarzyszy wyborom i od stopnia polaryzacji - mówi Predko.

Socjologowie zastrzegają jednocześnie, że ośrodki badawcze biorą pod uwagę odmowy respondentów przy prognozowaniu wyników.

- Ale nie mogły brać pod uwagę tego, czego możemy się jedynie domyślać, bo nie mamy żadnych empirycznych dowodów - że część badanych wprowadzała ankieterów w błąd. To bardzo przykre, dlatego że exit polle są narzędziami, które do tej pory bardzo nam się przydawały. Jeśli popatrzymy na historię tego badania, to są to narzędzia bardzo czułe w porównaniu z innymi sondażami, na przykład przedwyborczymi, bo są prowadzone na znacznie większej grupie - wskazuje prof. Cześnik.

Najważniejsze pytanie dotyczy zatem tego, dlaczego część wyborców może wprowadzać ankieterów w błąd. Zdaniem prof. Mirosława Szredera kluczowe znaczenie mogą mieć warunki, w jakich przeprowadzane są ankiety.

- Dziś coraz częściej ankiety są na tabletach i nie mam stuprocentowej pewności, czy w takiej sytuacji zachowana jest pełna dyskrecja. Czy na pewno ankieter nie wie, na kogo głosował ankietowany? - pyta profesor. Podkreśla, że część wyborców może wstydzić się swojego prawdziwego wyboru, a sytuacja, w której ankieter widzi, kogo wskazuje wyborca, może być przyczyną udzielania niezgodnych z prawdą odpowiedzi.

- Problemem na pewno może być to, że respondent nie czuje się w pełni komfortowo, kiedy ma wyjawić swoje preferencje wyborcze drugiej osobie - podsumowuje statystyk.

Nawet obcej osobie, której najpewniej nigdy więcej w życiu nie spotka?

"Jeszcze ktoś pomyśli, że jestem prymitywny"

O to, dlaczego tak się dzieje, pytamy psychologa społecznego. Profesor Dominika Maison z Wydziału Psychologii Uniwersytetu Warszawskiego uważa, że za tę sytuację odpowiedzialny jest istniejący dziś mechanizm poczucia wyższości jednej strony politycznej nad drugą.

Zdaniem profesor mamy tu do czynienia z asymetrią, ponieważ błędem obciążone są deklaracje tylko jednej ze stron.

- Strona Koalicji Obywatelskiej komunikowała niektóre rzeczy z poczuciem wyższości wobec drugiej strony, czyli zwolenników PiS. Wiele osób, które w ostatnich wyborach prezydenckich głosowało na Karola Nawrockiego, mogło mieć w związku z tym poczucie wstydu, że dokonuje takiego wyboru, "bo ktoś o mnie pomyśli, że jestem prymitywny" - komentuje profesor Maison.

Także psycholożka zauważa, że w tym roku mieliśmy do czynienia z powtórką z 1995 roku, kiedy wynik exit poll wskazywał na Lecha Wałęsę, a oficjalne wyniki PKW dały zwycięstwo Aleksandrowi Kwaśniewskiemu.

- Społecznie bardziej akceptowane było głosowanie na Lecha Wałęsę niż na kandydata uznawanego za postkomunistycznego. I dziś mamy do czynienia z bardzo podobną sytuacją - ocenia profesor.

Tak dobre, że nie należy rezygnować

Mimo nieuniknionych błędów wpisanych w strukturę exit poll eksperci są jednak zgodni co do jednego: to nie na oszacowaniu wyniku wyborów polega główna wartość tego badania, ponieważ w tym zakresie zdecydowanie lepiej radzi sobie late poll (z ang. późny sondaż). W przypadku tego badania mamy już wyniki z pierwszych lokali wyborczych, co daje znacznie większe prawdopodobieństwo prawidłowej prognozy wyniku wyborczego.

Siła exit poll tkwi więc w tym, że jest to jak dotąd jedyne badanie, które pokazuje, kim są wyborcy głosujący na poszczególnych kandydatów: jakiej są płci, ile mają lat, jakie zdobyli wykształcenie i w jakim zawodzie pracują, a także skąd pochodzą: ze wsi, z małego miasta powiatowego czy z wielkiej aglomeracji. No i na kogo głosowali w poprzednich wyborach.  

- Takie charakterystyki przeprowadza się wyłącznie na podstawie exit poll - podkreśla profesor Szreder. Dodaje, że jeżeli zrezygnujemy z tego badania, nie będziemy mieli żadnego innego źródła, które wskaże, kim są zwolennicy danej partii, jaki jest ich przekrój demograficzny i jaki był przepływ elektoratu od ostatnich wyborów.

- Exit poll spełnia kilka funkcji jednocześnie. Pierwsza to prognoza wyniku wyborczego, druga to dość precyzyjna charakterystyka społeczno-ekonomiczna wyborców poszczególnych partii i trzecia: dostarczenie materiału badawczego na kolejne lata dla naukowców zajmujących się czynnikami, które skłaniają do wyboru określonego kandydata. Nie ma innego badania, które byłoby tak dobre, więc z exit poll nigdy nie należy rezygnować - podsumowuje statystyk.

A jak mówi socjolog i politolog Mikołaj Cześnik, badania exit poll mogłyby być prowadzone precyzyjniej, ale oznaczałoby to znacznie większe koszty. Obecnie w ramach tego badania ankietujemy kilkadziesiąt tysięcy ludzi.

- Można by się pokusić o przebadanie na przykład trzech milionów i wtedy ten wynik prawdopodobnie będzie dużo lepszy, a ryzyko błędu statystycznego mniejsze. Ideałem byłoby pytać każdego po wyjściu z lokalu wyborczego, wtedy to oszacowanie byłoby bliskie idealnemu, oczywiście przy założeniu, że ludzie będą mówili prawdę. Dlatego zastanawiając się, co zrobić, żeby wyniki były dokładniejsze, zalecałbym raczej dbanie o to, by obywatele traktowali jednostki prowadzące badanie poważnie, a w ankieterach widzieli ludzi, których praca jest nam potrzebna. Myślę, że osoby obecne w dyskursie publicznym mogłyby namawiać do tego, że warto odpowiadać zgodnie z prawdą, jeśli chcemy wiedzieć już w dniu wyborów, który z kandydatów naprawdę te wybory wygrał - konkluduje ekspert.