Wprowadzenie do debaty brzmiało tak: „Zdaniem wielu naukowców nowy przelicznik ewaluacyjny jest skomplikowany i wymaga jeszcze większej koncentracji na zdobywaniu punktów za publikację, a zmiana systemu oceny dorobku naukowego niesie konsekwencje związane z cyklem pracy naukowej, które nie są do końca jasne. Inni twierdzą, że wprowadzone zmiany systemowe nie wnoszą istotnej różnicy na poziomie funkcjonowania pojedynczych pracowników naukowych i zostały wprowadzone po to, aby stopniowo modyfikować system w kierunku odejścia od tzw. punktozy. Naukowcy zwracają też uwagę na to, że nowe zasady w różnym stopniu dotykają różne dyscypliny.
Jaka jest najbardziej racjonalna ścieżka postępowania? Jak przeliczać swoje publikacje, aby dobrze zaplanować własną strategię publikacyjną? A może nowe reguły nie wymagają żadnych zmian w działaniach pracowników naukowych, a jedynie sposobu zarządzania uczelniami?”
Pierwsze pytanie w debacie dotyczyło ewaluacji dorobku naukowego, jego silnych i słabych stron. Od razu w mojej głowie pojawiło się pytanie kto/co ma być ewaluowane i dla kogo. Dostrzegam co najmniej trzy różne punkty widzenia: pracownika, podatnika i instytucji. To są różne i tylko częściowo zazębiające się obszary. Choć ta sama metoda i te same punkty.
Sama algorytmizacja i automatyzacja ma swoje ograniczenia. Bo jak jest rubryka, to trzeba ją wypełnić (bez względu czy ma jakikolwiek sens w tym konkretnym przypadku). Dobrze ilustruje to przykład, jaki zamieścił Michał Rusinek w książce o Wisławie Szymborskiej („Nic zwyczajnego. O Wisławie Szymborskiej” Wyd. Znak, Kraków 2016). Po wojnie jej znajomy – Henryk First - starał się o paszport. M.in. miał wypełnić trzy rubryki, odnoszące się do jego ojca. Co robił przed wojną? Prowadził Księgarnię Salonu Malarzy Polskich przy ul. Floriańskiej w Krakowie. Co robił w czasie wojny? Zginał. Co robi teraz (po wojnie)? Wypełniający dokument wpisał „nadal nie żyje”.
Naukowiec. Praca twórcza i badawcza jest trudna, bo nie tak łatwo dostrzec jej rezultaty, a każdy człowiek potrzebuje poczucia sprawstwa i sensu. Prace badawcze w terenie czy laboratorium czasem trwają długo. Żmudne zbieranie materiału, opracowywanie, analizowanie, godziny spędzone przy aparaturze i na rozmyślaniu. Czy coś z tego wynika? Nie widać efektów? Referat na konferencji czy zwłaszcza publikacja jest takim widocznym efektem. Coś namacalnego co można pokazać. Można więc uważać, że w jakimś stopniu liczba publikacji jest jakąś formą ewaluacji dla pracownika naukowego (z rozróżnieniem na publikacje oryginalne, krótkie doniesienia konferencyjne, monografie itd.). I tak było przez lata. Ale gdy znacząco wzrosła liczba naukowców, potaniał druki i pojawiło się mnóstwo czasopism i książek same liczby publikacji systematycznie rosły. Stąd naturalna tendencja do wyodrębniania ważniejszych i mniej ważnych czasopism. Te ważniejsze to takie, do których zagląda więcej osób. Jest więc większa szansa, że zamieszczony tam artykuł ktoś przeczyta i odniesie się do badań. Po drugie w „lepszych”, tych bardziej wymagających (bo mają nadmiar nadsyłanych prac więc mogą wybierać), staranniejsza jest praca redakcyjna i recenzencka. To dodatkowe wsparcie, sprawiające lepsze dopracowanie publikacji.
Pierwsze punktacje i rankingi stworzone zostały przez bibliotekarzy – chcieli wiedzieć jakie czasopisma kupować (a więc nie po to by wspierać poczucie sensu i sprawstwa naukowców). Na wszystkie nie stać ani finansowo ani magazynowo, więc może kupować do biblioteki takie, które są częściej czytane? To można sprawdzić w danej bibliotece przez liczbę wypożyczeń. A globalnie? Przez liczbę cytowań: jeśli jakieś czasopismo jest częściej cytowane to znaczy, że ktoś to musi czytać. Przy okazji, pośrednio korzystają sami naukowcy bo dostają jakieś narzędzie ewaluacji. Niejako zastępcze. Ale innych, lepszych nie ma. Jest oczywiście uznanie innych specjalistów, ale to bardzo trudno zalgorytmizować i policzyć. Zamiast oceny cyfrowej jest ocena opisowa, bardzo niewygodna dla urzędnika.
Przecież nie po to się pisze artykuły naukowe i książki by były lecz po to by ktoś je przeczytał (publikacje to jedna z form komunikacji naukowej, jedna ale nie jedyna). A czy ktoś do takiej ogromnej liczby tekstów zagląda? W ciągle wyodrębniających się subdyscyplinach i wąskich specjalnościach? Kiedyś takim punktem odniesienia było uznanie innych badaczy i liczba cytowań. Trzeba je było wyszukiwać ręcznie, potem znacząco pomogły komputerowe algorytmy. Pojawiły się punkty za lepsze i gorsze publikacje, różnego typu indeksy. Automatyzacja ułatwia uzyskiwanie tak rozumianych informacji zwrotnych (ten temat szerzej podejmę niżej). Liczba łatwa do pokazania, tak jak indeks Hirscha. Tak jak ocena w szkole. Łatwo ją pokazać, znacznie trudniej poprawnie zinterpretować. Tak jak uczniowie w szkole tak i naukowcy zaczęli publikować „dla oceny”.
Podatnik. Nauka finansowana jest przez podatnika. Co on z tego ma? Pracuję na państwowym uniwersytecie, w całości utrzymywanym ze środków publicznych. Jak wygląda ewaluacja z puntu widzenia podatnika? Najpierw przekazuje fundusze na moje badania (infrastruktura, pensja, koszty badań), potem pieniądze na opublikowanie w dobrych, zagranicznych czasopismach…. Które nie są dostępne dla podatnika, bo gdy chce przeczytać to musi zapłacić za dostęp do czasopisma. W rezultacie nic lub niewiele sam podatnik nie skorzysta bo system oceny wymusza publikowanie za granicą (przez takie algorytmy padły liczne, polskie czasopisma, np. hydrobiologiczne). Bardziej korzysta z tego globalna społeczność naukowa i globalne czy zagraniczne koncerny. Dlaczego? Bo podstawa są bazy danych. Ktoś musi wprowadzić do baz danych tytuły czasopism, tytuły prac, afiliacje utworów itd. Z oczywistych względów brakuje tam czasopism polskojęzycznych. Nie zbudowaliśmy własnego, krajowego systemu, ani europejskiego, dlatego jedyny dostępny to amerykański. Kiedyś był także w ZSRR. Wiemy, że transfer wiedzy z uczelni wyższych do gospodarki się odbywa. Lecz obecny system oceny pracowników i instytucji nie jest korzystny dla polskiego podatnika i nie uwidacznia tego transferu. Trudno więc ocenić podatnikowi czy i co dobrze działa w polskiej nauce. Całkowicie pominięta jest kulturotwórcza rola uniwersytetu.
Instytucja. Wskaźniki, punkty, sloty to sposób pomiaru czy efektywnie wydatkowane są pieniądze na badania naukowe. Ale czy jest to efektywny sposób pomiaru? Instytucje, naciskane z góry, chcą mieć jak najszybciej rezultaty w postaci dobrych wskaźników. Sposób wygodny bo widać liczby. Liczby łatwo się porównuje. Ale czy poprawnie interpretuje? Nie wszystko co da się policzyć liczy się w życiu. I nie wszystko to co się liczy w nauce da się prosto policzyć. Rząd chciałby pochwalić się dużą liczbą polskich uczelni na czołowych pozycjach w rankingach międzynarodowych, np. liście szanghajskiej. Stąd tendencja do kreatywnej księgowości, poprzekładania ludzi i uczelni tak, by wypaść najlepiej. Od takiej działalności nie podniesie się poziom polskiej nauki (ani naukowcy, ani podatnicy nic nie zyskują). Jeśli mają być szybko wyniki (a tak właśnie jest) to można na różne sposoby poprawić rankingową wartość liczbową, ludzi poprzesuwać na inne stanowiska itd.. Liczne działania, pochłaniające czas i umysły, z których nic, ale to nic nie wynika dla jakości polskiej nauki.
Niech za przykład posłuży sport. Początkowo celem było podniesienie zdrowia społeczeństwa przez rozwój tężyzny fizycznej szerokich kręgów społecznych, by jak najwięcej osób było aktywnych, w tym sportowo. Budowano stadiony, boiska, rozwijano kluby sportowe. Szybko się skomercjalizowały i mamy przede wszystkim biznes, mistrzostwa… i kibiców lub kiboli, siedzących przed telewizorem z piwem i czipsami lub demolujących miasta po rozgrywkach. Gdy „nasza drużyna” wygrywa to mamy powód do dumy…. I nic więcej. Na uniwersytety przez pryzmat rankingów też tak się patrzy, by rząd i naród był dumny z dobrego miejsca na międzynarodowym podium. I tak jak w sporcie dążenie do wyniku często skutkuje różnorodnym dopingiem (ze stratą dla zdrowia) tak i w naukowych punktozach i slotozach oddalamy się od pierwotnego celu. Wyciskamy z „zawodników” ile się da, nie patrząc na koszty i sens. Pamiętacie zdrowotne skutki „hodowli” sportowców w NRD?
Dla kogo jest więc punktowa ewaluacja? Na dodatek powiela one niezdrowe i szkodliwe metody szkolnego uczenia się dla stopni.
Wróćmy do algorytmów, publikacji i autorów. Nie powstały by pomóc naukowcom w ich autoewaluacji. Ale są pomocne. Tak jak siekiera może być przydatna do wbijania gwoździ – narzędzie powstało do innego typu prac, ale od biedy, zastępczo jakoś gwoździe można wbijać. Na pewno lepiej niż pięścią.
Algorytm zawęża bardzo złożoną i różnorodną rzeczywistość. W mniejszym czy większym stopniu zawsze algorytmom wymyka się kreatywność i przyszłość. Bo w chwili tworzenia skupiają się na tym, co powszechnie znane. Budowanie algorytmu trwa a w tym czasie świat się zmienia. Algorytmy zawsze są spóźnione, bo trzeba lat by to, co zaistnieje nowego w końcu uwzględniono w algorytmach. Bo żeby uwzględnić trzeba zmieniać algorytmy. A to zawsze jest wysiłek organizacyjny i finansowy. Można powiedzieć, że to co najwartościowsze w nauce będzie się wymykało algorytmom. Liczyć się będzie przeszłość i standardowość. Przeciętność.
Co na przykład wymyka się starej i wprowadzanej punktacji? Nowe formy komunikacji i upowszechnienia wiedzy naukowej. Liczą się tylko publikacje, te papierowe i te elektroniczne. Kiedyś liczyły się także wystąpienia na konferencjach ale ponieważ są trudniejsze do wystandaryzowania i policzenia, to zostały pominięte. Publikacje są łatwe do zautomatyzowania (identyfikacja czasopisma i jego pozycji w rankingu, liczby stron, afiliacji autorów). I tego systemu zazdrośnie strzegą wielkie i małe wydawnictwa (koncerny wydawnicze). One zawsze zarabiają, czy to na płatnych czy na czasopismach open source. A weźmy na przykład wystąpienia typu TED, rozwijające się od końca lat 80. XX wieku. Wprowadziły zupełnie nowa jakość wystąpień ustnych. Kilkunastominutowe wystąpienia, nagrywane i udostępniane teraz w internecie. Niektóre mają po kilka milionów wyświetleń! Ogromny zasięg upowszechniania wiedzy i odkryć naukowych. Sprawczość i wpływ na rzeczywistość jest wielka. Ale w rankingach i punktowej ocenie ich nie znajdziecie. Podobnie z wykładami i referatami konferencyjnymi. Kiedyś dostępne były dla nielicznych uczestników konferencji, teraz nagrywane, udostępniane on line lub umieszczane w repozytoriach cyfrowych i przez wiele lat oglądane są przez coraz to nowych odbiorców. Rosnące znaczenie w upowszechnianiu wiedzy naukowej i w komunikacji naukowej a zupełnie niewidoczne w obecnych punktozach i slotozach. Za jakiś czas się pojawią, za kilka, - kilkanaście lat. W wtedy komunikacja w nauce gdzie będzie?
Moim zdaniem obecny i ten najnowszy system oceny pracowników jest archaiczny i niczego praktycznie nie zmienia. Dyskutujemy czy mieszać łyżeczką w lewą czy w prawą stronę ale nie dosypujemy do szklanki z herbata cukru. Od samego mieszania herbata nie zrobi się słodsza.
c.d.n.
Obejrzyj tę debatę w zapisie wideo
Brak komentarzy:
Prześlij komentarz