Jak czytać dane statystyczne by je rozumieć?

Czytając książkę Tima Harforda „Jak ogarnąć świat i odróżnić fakty od wyobrażeń” przypominał mi się stary dowcip, że ze statystyką jest jak z dziewczyną w bikini – niby cała goła ale to co najważniejsze to i tak zakryte. Ta książka ułatwia zajrzeć i dostrzec to, co zakryte. Pozwala nie dać się oszukiwać i jednocześnie samemu się nie oszukiwać. Książka opowiada o historii nauki ale ze sporym odniesieniem do człowieka jako gatunku społecznego. Jeśli nie wprost to z kontekstu można wywnioskować wiele ciekawych aspektów naszej społecznej siły i ułomności w odczytywaniu faktów i tworzeniu wyobrażeń o świecie.

Jest to dobrze napisana opowieść o tym, jak nauczyć się odczytywać liczby, zwłaszcza te duże. Czy więcej znaczy dokładniej? Jak nie dać się zmylić danym statystyczny by odróżnić fakty od złudzeń czy nawet manipulacji? Czytanie dobrej książki jest wielowarstwowe. Najpierw doświadczanie myśli i refleksji w czasie czytania, potem przy subiektywnym wynotowywaniu ciekawszych fragmentów. A potem w trakcie odłożonej w czasie refleksji. Pisanie na blogu o przeczytanej książce jest dla mnie jednym ze sposobów „przetwarzania” przyswojonych wcześniej informacji i wiedzy. Przetwarzaniem z wykorzystaniem pamięci zewnętrznej.

Dane statystyczne, zwłaszcza te zestawione w słupki, torciki i wykresy, wyglądają atrakcyjnie i przekonująco. Uwodzicielsko. Jednak to nie statystyka jako taka kłamie. To my „chętnie w coś wierzymy, tylko że szukamy powodów, by nie wierzyć w nic”. Statystyka kłamie? I tym zwrotem możemy uciąć każda dyskusję. „Wątpliwość jest towarem bardzo łatwym w produkcji”. Niedowierzanie płynie bardziej wartko niż wiara. Tak autor odnosi się do różnych negacjonistów, czy to do szkodliwości palenia tytoniu, szczepionek czy zmian klimatycznych. A więc elementów, które pojawiają się w różnorodnych, publicznych i prywatnych dyskusjach. Negowanie danych statystycznych czasami jest wymówką, pozwalającą odrzucać wszelkie niewygodne stwierdzenia, pochodzące z dowolnych źródeł. Jest to współczesna wersja cynicznego aforyzmu „Są trzy rodzaje kłamstw: kłamstwa, cholerne kłamstwa i statystyka.”

A propos fake newsów, generowanych przez Trumpa, Tim Harford pyta czy wierutne bzdury mogły skłonić łatwowiernych obywateli do głosowania na Trumpa? powątpiewa w duża skuteczność takich kłamstw: „Fałszywe wiadomości nigdy nie rozchodzą się szeroką falą ani nie mają szczególnie poważnego wpływu na cokolwiek – większość z nich stanowi pożywkę dla niewielkiej liczby bardzo konserwatywnych wyborców w podeszłym wieku, którzy i tak najprawdopodobniej poparliby Trumpa.”

Teraz w dużej mierze nasz obraz świata kształtują media. Wyciszanie na pustelni pomaga, tak sądzę. I świadomość życia w plemieniu nawet tym wirtualnym (bańki społecznościowe). Tim Harford zwraca uwagę na problem nadmiaru byle jakiego dziennikarstwa, zwłaszcza tego naukowego. Może to efekt obniżania kosztów w redakcjach i dostępu do darmowych treści? Każdy może pisać. A jak mało czasu to dziennikarze czy blogerzy, youtuberze, podcastowcy piszą, komunikują byle jak? To jednak byłoby tylko fragmentaryczne wyjaśnienie zauważalnego problemu. Autor pisze: „Boję się o świat, w którym wiele osób będzie skłonnych wierzyć w cokolwiek, co im się podsunie, ale mam jeszcze większe obawy o świat, w którym ludzie będą niewzruszenie wierzyć tylko we własne zdanie.”. Naucz się więc poprawnie odczytywać dane statystyczne, z którymi spotykasz się na każdym kroku, w mediach, w dyskusjach itd. Kłamać za pomocą danych statystycznych? Autor przekonuje, że łatwiej jest kłamać bez niej. Więc to nie statystyka jako taka jest zła tylko ewentualnie sposób korzystania z niej i sposób posługiwania się liczbami.

„Często znajdujemy sposoby na to, by odrzucać dowody na pewne zjawiska, które nam się nie podobają. I przeciwnie – kiedy dowody zdają się podtrzymywać nasze wyrobione opinie, mniej chętnie przyglądamy im się z bliska i nie szukamy skaz i mankamentów.” To nasza ogólnoludzka przywara, uwarunkowana ewolucyjnie. Dotyczy także naukowców. Jeżeli jednak duże grupy ludzi odrzucają to, co naukowcy uważają za pewnik to narażę się wielu na prawdziwe niebezpieczeństwo. Myślenie życzeniowe jest jedną z wielu form rozumowania umotywowanego. Nawet eksperci nie są całkowicie odporni na rozumowanie umotywowane. Dlatego tak ważne są procedury i otwartość upowszechnianych danych oraz wniosków z nich pochodzących.

„Wiara lub niewiara w ocieplenie klimatu jest częścią naszej tożsamości, mówi coś o tym, kim jesteśmy, kim są nasi znajomi i w jakim świecie chcemy żyć.” W różnych poczynaniach, nawet w działaniach eksperckich i naukowych staramy się dojść do wniosku, który pasuje do naszych pozostałych przekonań i wartości a im większa mamy wiedzę, tym więcej mamy argumentacyjnej amunicji, żeby się dokładnie wstrzelić w konkluzje, do której chcemy lub chcielibyśmy dojść.

Na dodatek myślimy i funkcjonujemy plemiennie. Setki tysięcy lat ewolucji człowieka nauczyły nas, że lepiej się nie wychylać. Że lepiej myśleć i mówić to samo, co większość w naszej grupie. Ale są ludzie z różnym zespołem autyzmu. Mniej przystosowani społecznie (mniejsze umiejętności i niższa „inteligencja społeczna”) a za to bardziej wierni zasadom. Trudniej im żyć w społeczeństwie ale z drugiej strony to może dzięki nim ludzkość się rozwija, przełamując ewolucyjną plemienność i przymus „krakania między wrony”.

Moją uwagę w omawianej książce zwróciły odniesienia, które wiążą się z edukacją na każdym poziomie. Na co dzień spotykamy się z różnymi rankingami, punktami, ocenami. „Wskaźniki statystyczne szkodzą najbardziej wtedy, gdy stosuje się je do kontrolowania świata zamiast do jego zrozumienia.” Przykładem jest chociażby uniwersytecka punktoza czy pozbywanie się słabszych uczniów by uzyskiwać lepsze wskaźniki w rankingach szkół. Ch. Goodhart w 1975 roku trafnie to ujął „Każda zaobserwowana prawidłowość statystyczna będzie miała tendencję do załamania się, gdy będzie na nią wywierany nacisk w celach kontrolnych.” A jak odnieść to do szkolnych ocen? „Gdy wskaźnik staje się celem, przestaje być dobrym wskaźnikiem”. W szkołach mamy uczenie się dla ocen, a w środowisku naukowym publikowanie dla punktów. A na początku była zwykła analiza bibliometryczna, adresowana do wydawnictw i bibliotek, które czasopisma najlepiej kupować. Gdy wskaźnik stał się narzędziem oceny i wartościowania awansu przestał należycie informować. 

Popełniamy różnorodne błędy poznawcze i interpretacyjne. Np. większość książek, które ludzie czytają, to bestsellery. Ale większość książek nie staje się bestsellerami. I dalej - większość pomysłów na książkę nigdy nie zostaje zrealizowana i nie stają się książkami. Gdy więc piszesz to nie łódź się, że będzie to bestseller. Może nawet nie uda się tego wydać i upublicznić.

Błąd przeżywalności to jedno z określeń, które pojawia się w omawianej książce. Błąd przeżywalności jest wtedy, gdy skupiamy się na analizie tego, co przetrwało (przeżyło). Sukcesy się celebruje, o porażkach się zapomina i w konsekwencji widzimy tylko fragment całości i rzeczywistości. Żeby dobrze poznać zjawisko, nawet statystycznie, trzeba pytać się o to, co zostało pominięte, czego brakuje. Ważne jest to zwłaszcza w medycynie. Ciekawe odkrycia publikuje się, a badania niekonkluzywne albo nieudane próby odtworzenia poprzednich wyników, mają pod górkę. Trudniej jest je opublikować. W medycynie próbuje się docierać do tych pominiętych i nieudanych badań klinicznych. Np. wprowadza się procedurę katalogowania wniosków badawczych a potem sprawdza się czy wszystkie zostały opublikowane. A jeśli nie to próbuje się docierać do tych „niepublikowalnych” materiałów. Kiedyś druk papierowy był kosztowny, teraz dane gromadzone elektronicznie są znacznie mniej kosztowne i łatwiejszy jest do nich dostęp. O ile są gromadzone i udostępniane. Nieudane doświadczenia czy próby powtórzenia wcześniejszych doświadczeń są także wartościowe do analiz. Dają pełniejszy obraz, razem z tymi opublikowanymi. Pozwalają uniknąć lub zmniejszyć wpływ błędy przeżywalności.

Dlaczego pojawiają sie publikacje niedopracowane i niezbyt należycie sprawdzone? „Jeśli ma się wynik, który wydaje się zdatny do publikacji, ale nie do końca pewny, logika nauki każe próbować go sfalsyfikować. Niestety, logika grantów i awansów akademickich każe jak najszybciej go publikować i nie sprawdzać go zbyt uważnie.” Czasopisma i uczeni, znajdujący się pod presją chętniej wysyłają do druku zaskakujące wyniki, oparte na słabych dowodach. Mechanizm nauki – wielość niezależnych badaczy i naukowców, sprawdzanie i potwierdzanie, jest jakimś remedium na te słabostkę. Czasem to trwa ale działa. „Jeśli wynik robi wrażenie, to czemu go nie opublikować?” W konsekwencji mamy nieproporcjonalnie większa szansę na publikacje ciekawych, ale błędnych wyników. Nie zawsze im więcej danych tym lepiej. Zależy jak dane są zbierane i czy są reprezentatywne.

W nauce czasem można spotkać się ze zwyczajem tworzenie hipotez po poznaniu wyników. Ale jeśli jest to wniosek wyciągnięty po badaniach, to należałoby sformułować hipotezę i zabrać nowe dane, aby tę hipotezę sprawdzić. Praktyka bywa inna. Ma być hipoteza? To jest na początku publikowanej pracy. Ale czy była ta hipoteza postawiona przed zabraniam danych do analiz statystycznych?

Czasem obrabia się statystycznie dane na różne sposoby a do publikacji wybiera jedynie te, które są przydatne, „ładne’, które są zaskakujące lub pasują do koncepcji lub paradygmatu. W zasadzie należałoby pokazać wszystkie, nawet te, z których nic nie wynika. Ale brakuje miejsca i trudno opublikować dłuższe prace. Ponadto mogłoby być to wentylem do publikowania nic nie wartych danych czy analiz. Lepiej chyba gromadzić dane w bazach komputerowych z powszechnym dostępem dla innych. „Standardowe metody statystyczne mają na celu wykluczenie otrzymania przypadkowych wyników. Jednakże połączenie złudzenia publikacyjnego z luźnymi praktykami badawczymi oznacza, że można się spodziewać, iż wśród prawdziwych odkryć znajdzie się znaczna liczba statystycznych przypadków.” A więc nie są to odkrycia rzeczywiste. Można liczyć, że nauka to proces zespołowy i kumulatywny, że dopiero wiele różnych badań i publikacji daje obraz lepszy i wtedy przypadkowe koincydencje zestawiane są z rzeczywistymi zależnościami. Przykładem niech będzie Salinella, która długo czekała na usunięcie z podręczników do zoologii. „Błędne wyniki znacznie częściej są zaskakujące, a jednocześnie niezbyt absurdalne, co czyni je ciekawymi. Ten „filtr ciekawości” jest niezwykle potężny.” Lepiej jest mieć nawet niedoskonałe standardy niż żadne. Dlatego nauka się rozwija mimo różnych ludzkich ułomności poznawczych.

Większość z nas nie będzie przekopywać się przez dziesiątki publikacji czy danych. Będziemy polegali na pojedynczych materiałach w mediach. Dziennikarstwo naukowe jest niezwykle ważne. Odwalają za nas dużo potrzebnej pracy. Ale jak każde bywa dobre i złe. Dobry dziennikarz naukowy spróbuje znaleźć miejsce na wyjaśnienia opisywanego zjawiska. Jego tekst będzie się czytało dużo lepiej bo zaspokoi ciekawość czytelnika i pomoże zrozumieć fakty.

Jedną z dziesięciu rad, których udziela autor opisywanej książki jest „pytaj jakich danych brakuje”. W badaniach zauważono, że konformizm (z wyjątkiem Japonii) był niższy w społeczeństwach, które socjologowie określali jako indywidualistyczne a większy w społecznościach określanych jako kolektywistyczne (tam, gdzie większa jest więź społeczna). Na nasze myślenie i widzenie tak jak inni ma wpływ społeczeństwo, kultura społeczna, w której żyjemy. Na szczęście świat jako całość nie jest jednolity. Częściej zgadzamy się z grupą znajomych niż z nieznajomymi. Nasza ewolucyjna kolektywność, plemienność ciągle w nas tkwi. Ani to dobrze ani źle, tak po prostu jest. Co więcej zauważalne jest  zróżnicowanie płciowe, bowiem w całości męskie grupy są mniej konformistyczne niż stuprocentowo żeńskie grupy. Indywidualizm kontra wspólnotowość. 

Algorytmy stały się narzędziami do szukania wzorców w dużych zbiorach danych. Big data lepiej pomagają nam opanować komputerowe algorytmy i statystyki. Same dane jednak nie wystraczą do zrozumienia. „Pozbawiona teorii analiza samych korelacji jest nieuchronnie słaba. Jeśli nie mamy pojęcia co stoi za korelacją, nie mamy pojęcia, co może sprawić, że korelacja ustanie”. Statystyka, zwłaszcza bazująca na dużych danych, pozwala nam dostrzec wzorce w zjawiskach i przyrodzie. Takie, których nie dostrzegamy „na oko”. 

Algorytmy, wykorzystujące różne dane, stały się ważne np. w ocenie nauczycieli. W omawianej książce możemy znaleźć przykład z USA. Nauczyciele byli w stanie oszukać algorytm, co zaniżało wyniki uczciwych nauczycieli. W zebranych danych „może być tyle szumów, że ocena kompetencji nauczyciela to zadanie, z którym nie poradzi sobie żaden algorytm”. Problemem jest nadmierne zaufanie do jakości lub kompletności zbioru danych.

Dlaczego alchemia zeszła na margines, mimo że zajmowali się nią wybitni ludzie? Bo obserwacje były tajne i prywatne. W tle była chęć odkrycia przemiany ołowiu w złoto. Bogactwem nikt nie chciał się podzielić. Inaczej jest w nauce i z danymi ogólnie dostępnymi. O sukcesie nauki przesądziła transparentność i otwartość a nie lepsze umysły. Żaden alchemik nie chciał się dzielić swoimi potencjalnie przydatnymi poznawczo porażkami z pozostałymi alchemikami. Bo co z odkrycia, jak zmienić ołów w złoto gdyby wszyscy wiedzieli jak to zrobić? Nauka popełnia sporo błędów, naukowcy czynią wiele pomyłek a mimo to, lub dzięki temu, sama nauka i wiedza ludzka się rozwija. „Otwarta społeczność naukowa czyni ogromne postępy, alchemia została zdyskredytowana w ciągu jednego pokolenia.” Alchemię praktykowano w sekrecie natomiast nauka funkcjonowała i funkcjonuje w otwartej debacie. Bo uważana była za niepraktyczna i niedochodową? Teraz takie firmy jak Google (dysponujące ogromnymi zasobami danych i algorytmami) nie są bardziej skłonne do dzielenia się swoimi zbiorami danych niż Newton swoimi eksperymentami alchemicznymi. Tak, tak, i Newton zajmował się alchemią. Algorytmy oparte na tajnych danych mogą oznaczać zmarnowaną szansę na odkrycia naukowe i zrozumienie świata lub odkrycie nieznanych jeszcze wzorców. Genom ludzki udało się poznać szybciej w otwartej nauce niż w tajnych laboratoriach prywatnych koncernów, nastawionych na zysk. Bo dane były otwarte i dostępne dla wszystkich naukowców. Utrzymywanie zbiorów danych i algorytmów w tajemnicy to sposób działania alchemików. Można oczywiście prywatne zbiory danych publikować z pewnym opóźnieniem, tak by wilk był syty i owca cała. W ten sposób można nie utracić ogromnej wartości poznawczej. Starsze dane przestają mieć wartość dla celów komercyjnych lecz dalej stanowią dużą wartość dla celów badawczych i naukowych.

A jak statystyką posługują się kandydaci, startujący w wyborach? „Branie własnych liczb z sufitu to częściej taktyka totalitarnych dyktatorów niż kandydatów w demokratycznych wyborach."

Korzystanie ze statystyk daje korzyści dzięki lepszym, szybszym decyzjom rządów, firm, organizacji i osób prywatnych. Warto więc prowadzić niezależne od władzy instytucje gromadzące i udostępniające różnorodne dane statystyczne. Publicznie dostępne dane statystyczne mogą pomóc zrozumieć ważne kwestie społeczne. A dzięki temu łatwiej podejmować dobre i właściwe decyzje.

W komentowanej książce sporo jest zdań o celowej dezinformacji, zawartej w różnych zestawieniach atrakcyjnych graficznie w połączeniu z danymi statystycznymi. Jak na nie patrzeć by zrozumieć i nie dać się omamić, oszukać? Przeglądają infografiki warto je weryfikować i mieć dostęp do publicznie dostępnym danych. Dlatego społeczeństwa powinny zadbać by takie wiarygodne i publicznie dostępne dane statystyczne były.

Nasze odgórne założenia mają dużą moc. Przez nie filtrujemy docierające do nas nowe informacje. Jeśli się zgadzają z naszymi założeniami, z tym czego się spodziewamy, to chętniej je przyjmujemy (te informacje). Mamy skłonność do unikania niewygodnych prawd. Na dodatek nasze umysły uzupełniają brakujące dane i dlatego widzimy to, co chcemy zobaczyć lub ro, czego się spodziewamy. Widzimy i słyszymy to, co chcemy usłyszeć i zobaczyć. 

Tim Harford w kilku miejscach podkreśla, że niezwykle ważna jest otwartość umysłu i skłonność do rewizji własnego zdania, A na koniec, jako podsumowanie, formułuje dziesięć przykazań"

10 przykazań statystyki:

1.  Powinniśmy nauczyć się zatrzymywać i przyglądać naszym reakcjom na określone twierdzenia, zamiast je zaakceptować lub odrzucać z powodu tego, co czujemy.
2. Powinniśmy zawsze próbować połączyć spojrzenie z lotu ptaka, oparte na danych statystycznych, ze spojrzeniem z perspektywy robaka a więc wynikających z naszych osobistych doświadczeń.
3. Powinniśmy zapoznać się z opisem danych i zapytać samych siebie, czy na prawdę je rozumiemy.
4. Szukać porównań i kontekstów, by przyjrzeć się każdemu twierdzeniu z odpowiedniej perspektywy.
5.  Sprawdzać, skąd pochodzą statystyki i jakich danych nie uwzględniają.
6. Zapytać, czego brakuje w danych, które mamy przed sobą i czy nie wpłynęło to na nasze wnioski.
7.  Zadawać trudne pytania, dotyczące algorytmów i dużych zbiorów danych, przyjmując, że należy podchodzić do nich z inteligentną otwartością.
8. Zwracać większą uwagę na podstawę oficjalnych danych statystycznych, a czasem również bohaterskich statystyków, którzy je chronią.
9. Z podejrzliwością podchodzić do pięknych wykresów i grafik.
10. Powinniśmy zachować otwarty umysł i upewnić się, czy przypadkiem się nie pomyliliśmy, czy nie zmieniły się fakty.

Zdrowe zaufanie rodzi się z pytań a nie ślepej akceptacji. Im bardziej jesteśmy ciekawi tym mniejsze znaczenie ma nasza plemienność. Ciekawość i otwarty umysł są ważne.

Tim Harford „Jak ogarnąć świat i odróżnić fakty od wyobrażeń”, Wydawnictwo Otwarte, Kraków 2021