Sondażowa kuchnia od środka. Jak interpretować obecne sondaże i czy mają one znaczenie?

Koalicja Obywatelska na pierwszym miejscu, za jej plecami Prawo i Sprawiedliwość, później z kilkunastoprocentowym poparciem Konfederacja, a do sejmu wchodzi jeszcze Konfederacja Korony Polskiej oraz Lewica. Powyższą formułę przynajmniej raz w tygodniu przedrukowuje niemal każda redakcja zajmująca się publikowaniem wyborczych sondaży. Badania opinii publicznej są stałym i oczywistym elementem rodzimej sceny politycznej.

A jednak interpretacja sondaży, często przynoszących różniące się od siebie wyniki, budzi niejednokrotnie konfuzję. Echa obecnej afery szpitalnej w badaniach opinii publicznej niespecjalnie wybrzmiewają – sondaże partyjne pozostają raczej stabilne. Z drugiej strony, wskutek ostatnich awantur polsko-ukraińskich prezydent Karol Nawrocki notuje rekordowe notowania w sondażu zaufania przeprowadzonego przez IBRiS.

Jak zatem interpretować takie zmiany? Dlaczego przeprowadzone w podobnym czasie badania potrafią się od siebie różnić? Czy należy przywiązywać wagę do pojedynczych zmian w badaniach? Przed nieco słabszym w wakacje zainteresowaniem polityką zapraszamy do krótkiego przewodnika po sondażach. Gwarantujemy, że przyda się tuż przed rozpoczynającym się jesienią rocznym maratonem przedwyborczym.

„Jeden wynik to nie wynik”

A zaczniemy od pierwszej, podstawowej zasady.

– Przede wszystkim musimy pamiętać o podstawowej zasadzie: jeden wynik to nie wynik, a pojedynczy sondaż nie obrazuje całej rzeczywistości. Wynika to z kilku powodów. Po pierwsze, opinia publiczna jest dynamiczna, a badania realizowane w konkretnym momencie chwytają jedynie chwilowe zmiany nastrojów. Po drugie, w pojedynczych pomiarach mogą pojawiać się błędy wynikające z faktu, że są przeprowadzane na określonych próbach, które nie zawsze idealnie odzwierciedlają rzeczywiste rozkłady w całej populacji. To naturalne ograniczenia tej metody – tłumaczy dr hab. Michał Wenzel, socjolog, profesor SWPS.

Rzeczywiście, nie bez znaczenia pozostaje także dany moment polityczny.

– Obecnie nie mamy w perspektywie żadnych bliskich wyborów. W takich momentach deklaracje ankietowanych bywają dość przypadkowe. Zazwyczaj wyborcy krystalizują swoje poglądy dopiero w trakcie kampanii wyborczej, pod jej wpływem. Wtedy po prostu więcej myślą o polityce, podczas gdy poza kampanią ich uwaga skupia się na innych sprawach – przypomina badacz z SWPS.

Zbliżamy się obecnie mniej więcej do połowy okresu dzielącego minione wybory prezydenckie od przyszłorocznych wyborów parlamentarnych. Choć w ostatnich tygodniach temperatura polityczna rosła, to w sondażach spektakularnych zmian nie odnotowaliśmy.

– Mimo tych wszystkich ograniczeń, jeśli spojrzymy na wyniki sondaży politycznych z ostatnich tygodni czy miesięcy, zauważymy, że są one bardzo spójne. Kolejność ugrupowań we wszystkich wiodących ośrodkach badawczych jest w zasadzie taka sama: Koalicja Obywatelska, Prawo i Sprawiedliwość, Konfederacja WiN, Konfederacja Korony Polskiej, Lewica i mniejsze partie. Różnice rzędu kilku punktów procentowych w górę lub w dół są nieuchronne i wynikają ze standardowego błędu pomiaru, typowego nawet dla w pełni poprawnie przeprowadzonych badań – mówi dr hab. Michał Wenzel.

Kolejność partii w badaniach sondażowych jest mniej więcej stała. Różnice pojawiają się w samych odczytach, które potrafią się niekiedy różnić o kilka punktów procentowych. Głównym „odpowiedzialnym” za te różnice jest najczęściej metodologia wybrana przez daną sondażownię.

Metodologia ma znaczenie

– Kolejną istotną kwestią jest technika przeprowadzania wywiadów. Są zauważalne różnice między badaniami realizowanymi przez internet a telefonicznymi. Sondaże internetowe mają to do siebie, że pewne grupy respondentów bywają w nich niedoreprezentowane. W procesie tak zwanego ważenia, czyli sztucznego zwiększania wagi ich odpowiedzi w próbie, łatwiej o błąd. Dlatego ta metoda jest obarczona większym ryzykiem systematycznego skrzywienia niż wywiady telefoniczne – analizuje socjolog z SWPS.

Przed wyborami prezydenckimi w 2025 roku najdokładniejszy sondaż tuż przed I turą wykonała Ogólnopolska Grupa Badawcza. Był to jedyny sondaż, w którym Grzegorz Braun zajął czwarte miejsce (w wyborach ostatecznie był właśnie czwarty z poparciem ponad 6 proc.). OGB tamten sondaż – podobnie jak pozostałe – zrealizowała właśnie metodą telefoniczną CATI.

Wykres interaktywny

Pełny ekran

– Zawsze powtarzamy, że nie robimy niczego szczególnego. Zastanawiać powinno raczej to, dlaczego inne pracownie tak bardzo się mylą – na przykład, dlaczego polski oddział Ipsosu popełnia błędy, podczas gdy w Niemczech ta sama firma jest bezbłędna. Przyczyn jest wiele, ale kluczowa różnica polega na tym, że my wciąż realizujemy wyłącznie badania telefoniczne, czyli CATI. Nie łączymy ich z ankietami internetowymi w tak zwanych miksach metodologicznych. Tylko wywiady telefoniczne dają szansę dodzwonienia się do każdego obywatela, co gwarantuje rzeczywistą reprezentatywność próby. Łączenie ich z badaniami w internecie wynika wyłącznie z chęci cięcia kosztów – praca ankietera jest po prostu coraz droższa. Niestety, niemal zawsze odbija się to na jakości. Badania realizowane w stu procentach metodą CATI stają się na rynku badawczym rzadkością i rosnącą niszą, ale my zamierzamy się tego konsekwentnie trzymać – mówi Łukasz Pawłowski, szef OGB.

Pawłowski: w badaniu telefonicznym na szansę wziąć udział każdy

W ocenie Pawłowskiego sondaże realizowane metodą CATI mają szanse dotrzeć do najszerszej rzeszy osób, co pozytywnie wpływa na wiarygodność pomiarów.

– Realizujemy tylko badania CATI i w ogóle nie startujemy w przetargach, które wymagają stosowania miksów metodologicznych. Uważamy, że w sprawach publicznych i politycznych wywiady telefoniczne są prawdziwym złotym standardem. Losując numery telefonów, mamy pewność, że w badaniu ma szansę wziąć udział każdy – osoba zamożna i uboższa, mieszkaniec wsi oraz dużego miasta. Z kolei w przypadku paneli internetowych respondent musi się najpierw zarejestrować, a następnie wypełniać ankiety za drobne nagrody. To wyklucza pewne grupy demograficzne, na przykład zajętych przedsiębiorców czy osoby starsze. Stosowanie paneli internetowych to czysta oszczędność, a prawda jest taka, że dobry i wiarygodny sondaż po prostu musi nieco więcej kosztować – uważa prezes OGB.

Rzeczywiście badania CATI najlepiej sprawdziły się przed ubiegłorocznymi wyborami. Ostatnie badanie OGB przed ciszą wyborczą trafnie odczytało wyborczą kolejność.

Doważanie ukrytego elektoratu, czyli jak zbadać niebadanych

Czynnikiem często decydującym o wiarygodności badania jest właściwie doszacowanie wyborców niezdecydowanych. Szczególnie kiedy to właśnie ci wyborcy często decydują o ostatecznych wyborczych rozstrzygnięciach. W ocenie socjologa z SWPS właściwe doważenie takich wyborców jest wyzwaniem, ale sondażownie mają na to swoje sposoby.

– Ośrodki badawcze skutecznie radzą sobie z tym problemem, stosując różnego rodzaju metody doważania tak zwanych „ukrytych wyborców”, czyli osób, które wstydzą się przyznać do swoich rzeczywistych preferencji. Takie doważanie wykonuje się na bazie wcześniejszych doświadczeń. Wyzwanie pojawia się w momencie, gdy jakaś grupa systematycznie przemilcza swoje poparcie po raz pierwszy – wtedy prawidłowe skorygowanie wyników staje się niezwykle trudne – mówi dr hab. Wenzel.

I wskazuje na przywoływany już problem z uchwyceniem elektoratu Grzegorza Brauna.

– Poparcie dla Grzegorza Brauna faktycznie było niedoszacowane właściwie we wszystkich badaniach. Branża badawcza, której sam jestem częścią, nie miała możliwości precyzyjnego oszacowania preferencji jego wyborców, ponieważ po prostu brakowało odpowiednich danych o ich wcześniejszych zachowaniach. Nie mieliśmy punktu odniesienia, który pozwoliłby na właściwe zważenie tej grupy – zwraca uwagę naukowiec z SWPS.

Dr hab. Michał Wenzel uważa również, że obecnie prognozowanie poparcia będzie już znacznie łatwiejsze.

– Zjawisko przemilczania preferencji przez wyborców występuje zazwyczaj wtedy, gdy dany kandydat jest systematycznie wykluczany z głównego nurtu dyskursu i spotyka się z powszechnym odrzuceniem przez elity. Taka sytuacja spotkała Grzegorza Brauna przed wyborami prezydenckimi. Dziś jednak jego obecność w polityce na tyle spowszedniała, że zwolennicy tej formacji nie czują już wstydu i nie ukrywają swoich preferencji – konkluduje socjolog.

Wejście Brauna razem z drzwiami do politycznego głównego nurtu nastąpiło tak naprawdę w momencie publikacji wyników exit poll, które przed rokiem realizowały aż dwie firmy. Mowa o przywoływanym już OGB, a także weteranach polskich exit polli czyli francuskiej firmie Ipsos.

Dlaczego exit polle są najdokładniejsze?

Na poniższym wykresie zaprezentowaliśmy odchylenia exit polli (a także tzw. late polli Ipsosu, czyli exit polli uzupełnionych o pierwsze wyniki z lokali wyborczych) obu firm.

Pierwszoturowe exit polle dość trafnie wskazały ostateczne rezultaty. Sondaże exit poll w drugiej turze z kolei wskazały teoretycznie na zwycięstwo Rafała Trzaskowskiego, co zresztą do dziś złośliwie wypominane jest Trzaskowskiemu jako dwugodzinna prezydentura. Należy jednak nadmienić, że wyniki mieściły się w dopuszczalnym błędzie pomiaru.

Wykres interaktywny

Pełny ekran

Ich odchylenia (0,0106-0,0177) odpowiadają błędowi rzędu ułamka punktu procentowego, czyli dziesięciokrotnie mniejszemu niż standardowy margines błędu sondażu przedwyborczego (2-3 pkt proc.). Różnica pomiędzy Trzaskowskim a Nawrockim była na tyle mała, że nawet poprawnie przeprowadzony exit poll mógł wskazać nie tego zwycięzcę. W takim przypadku zawiodła interpretacja wyników przez niektórych obserwatorów życia politycznego. W istocie przez dwie godziny po zamknięciu lokali wyborczych mieliśmy do czynienia z remisem.

Warto jednak zwrócić uwagę na drugi late poll Ipsosu – jego błąd pomiaru wyniósł ok. 0,1 pkt proc. na kandydata, czyli około piętnastokrotnie mniej niż margines zwycięstwa Nawrockiego (1,78 pkt proc.). Wtedy już nie było wątpliwości, kto zostanie lokatorem Pałacu Prezydenckiego.

Dwie szkoły przeprowadzania exit polli

Badanie exit poll to badania przeprowadzone z największym rozmachem. W ubiegłym roku nieco dokładniejszy był exit poll OGB. Co ciekawe, OGB i Ipsos przeprowadzili exit polle posługując się różnymi metodologiami.

– Opieramy się na dwóch zupełnie różnych metodologiach. Ipsos dobiera punkty do badania exit poll w sposób całkowicie losowy. Aby tak wylosowana próba była reprezentatywna, potrzebują bardzo dużej liczby komisji – w ostatnich wyborach mieli ich aż pięćset. My z kolei nie zdajemy się na ślepy los, lecz wybieramy konkretne punkty docelowe na podstawie ich reprezentatywności dla danego województwa. Dokładnie analizujemy poszczególne komisje i dopiero na tej podstawie decydujemy, gdzie wyślemy ankieterów. Dzięki temu zrealizowaliśmy badanie w zaledwie 350 punktach, czyli na znacznie mniejszej próbie, a mimo to uzyskaliśmy precyzyjniejsze wyniki. W tym obszarze nasza metoda badawcza różni się zdecydowanie najbardziej – mówi Pawłowski.

Ipsos rzeczywiście opierał się na danych z 500 komisji. Jednak jak mówi Paweł Predko, operations director w Ipsos Polska, dane są reprezentatywne i przynoszą bliskie prawdziwym wynikom rezultaty.

– Skala tego przedsięwzięcia jest ogromna. W każdym z lokali przeprowadzamy około 100 ankiet, co przy wyborach prezydenckich dało łączną próbę rzędu 50 tys. respondentów w każdej turze. W wyborach parlamentarnych ta liczba dochodzi nawet do 100 tys. Taka próba pozwala osiągnąć nieporównywalnie lepszą precyzję oszacowania wyników – mówi Paweł Predko.

I wyjaśnia, skąd bierze się wysoka trafność badań exit poll.

– Wysoka trafność exit polla wynika z faktu, że badamy osoby, które na sto procent oddały głos w wyborach, całkowicie eliminując wspomniany wcześniej błąd pustych deklaracji. Standardowo zakładamy, że margines błędu w tym badaniu może wynosić do 2 pkt proc. Warto jednak zaznaczyć, że w pierwszej turze ostatnich wyborów prezydenckich nasz największy błąd wobec oficjalnych wyników wyniósł zaledwie 0,6 pkt proc., co w skali światowej jest ewenementem – zauważa dyrektor z Ipsos Polska.

Dyrektor w Ipsosie: Praca przy badaniach to nieustanna nauka

Firmy realizujące tego typu badania nie mogą jednak spoczywać na laurach. W każdych wyborach okoliczności wyborcze się zmieniają, podobnie jak profile wyborców. To powoduje, że raz opracowany model nie musi sprawdzić się w kolejnych wyborach.

– Nie możemy bezkrytycznie bazować na tym, co działo się kilka lat temu. Zmienia się sytuacja społeczna, zmienia się klimat polityczny. Jeżeli z jakiegoś powodu zniknie stygmatyzacja głosowania na dane środowisko – powiedzmy na Konfederację Korony Polskiej – i popieranie jej stanie się powszechnie akceptowane, nasze historyczne modele szacowania odmów przestaną być adekwatne. Ponadto na scenie politycznej wciąż pojawiają się nowe ugrupowania i nowi kandydaci, dla których nie dysponujemy żadnym materiałem porównawczym z przeszłości. Dlatego praca przy badaniach opinii publicznej wymaga od nas nieustannej nauki, śledzenia nastrojów i bieżącego dostosowywania narzędzi analitycznych do nowej rzeczywistości politycznej – tłumaczy Paweł Predko.

Jak interpretować wyniki?

Jak zatem widać, w ślad za zmieniającym się duchem czasu zmiany dotyczą także sondażowej kuchni. Taka dynamika z pewnością nie ułatwia śledzenia badań i wyciąganiu z nich rzetelnych wniosków. Prezes Ogólnopolskiej Grupy Badawczej podpowiada jednak, jak ułatwić sobie analizę.

– Należy analizować nie tylko jedne minione wybory, ale też poprzednie, by uchwycić wiarygodny trend i ocenić historyczną sprawdzalność. Z takich zestawień jasno wynika na przykład, że najsłabiej radzą sobie zazwyczaj badania CBOS czy tradycyjne wywiady bezpośrednie, a najdokładniejsze okazują się właśnie wywiady telefoniczne. Potwierdzają to zresztą nasze wyniki – byliśmy najdokładniejsi nie tylko w wyborach prezydenckich, ale chociażby w wyborach do Parlamentu Europejskiego w 2024 roku. Sondaże przedwyborcze mają wyjątkową zaletę, że są najprostszym zjawiskiem do weryfikacji – następnego dnia rano można je po prostu zestawić z oficjalnymi wynikami wyborów. Obiektywnie rzecz biorąc, nie ma na rynku lepszej metody oceny – uważa prezes sondażowni.

Rzeczywistość kreuje sondaże, czy sondaże kreują rzeczywistość?

Na koniec nasuwa się pytanie o samą rolę sondaży w rodzimym życiu politycznym. Czy badania opinii publicznej wciąż pozostają jedynie miernikami nastrojów społecznych? A może są w stanie wpływać na dynamikę politycznych wydarzeń? Liczne partyjne roszady w przeszłości miały swoje początki właśnie w pikujących wynikach badań społecznych.

To jednak zdaniem dr. hab. Michała Wenzla nie ma wielkiego znaczenia. W ocenie socjologa nie należy przeceniać roli sondaży.

– Sondaże rzeczywiście bywały aktorami politycznymi, ale dziś już nimi nie są. Ponad dwadzieścia lat temu, kiedy realizowano ich znacznie mniej, publikacja nowego badania przynoszącego nietypowe wyniki wywoływała ogromną dyskusję. Dla jednych stawały się one kołem ratunkowym, inni gwałtownie je dezawuowali, jeśli nie odpowiadały ich oczekiwaniom. Wtedy nowy sondaż był wielkim wydarzeniem medialnym. Dziś te badania spowszechniały i są publikowane niemal codziennie – uważa naukowiec z SWPS.

Zwraca także uwagę na wzajemnie upodobnianie się do siebie wyników badań.

– W branży badawczej upowszechniło się zjawisko tak zwanego benchmarkingu. Polega na tym, że poszczególne firmy i badacze dokładnie monitorują poczynania konkurencji. Analizując własne modele wyborcze, biorą pod uwagę działania innych ośrodków, co naturalnie prowadzi do upodobniania się wyników do siebie. Właśnie dlatego w ostatnim czasie rzadko obserwujemy spektakularne, niezwykłe rozbieżności między pracowniami – konkluduje dr hab. Michał Wenzel.

Główne wnioski

1. Wyniki badań opinii publicznej różnią się przede wszystkim ze względu na zastosowaną metodologię. Wywiady telefoniczne uchodzą za dokładniejsze od ankiet internetowych ze względu na lepszą reprezentatywność próby i mniejsze ryzyko błędu. Pojedyncze sondaże dają jedynie chwilowy obraz dynamicznie zmieniających się nastrojów społecznych.
2. Największą precyzją odznaczają się badania typu exit poll przeprowadzane w dniu głosowania. Ośrodki badawcze stosują w nich różne strategie doboru lokali wyborczych oraz decydują się na inną wielkość badanej próby. Pomimo tych różnic błędy pomiaru pozostają zazwyczaj minimalne.
3. W ocenie dr. hab. Michała Wenzla sondaże polityczne straciły w pewnym stopniu swoją dawną rolę kreowania rzeczywistości na rzecz powszechnego monitorowania nastrojów wyborców. Podkreśla też, że badacze często analizują wyniki konkurencji w celu kalibracji własnych modeli analitycznych i statystycznych. Prowadzi to wprost do zjawiska upodabniania się wyników publikowanych przez poszczególne pracownie badawcze.