Ewaluacja uczelni i rankingi przypominają mi szkolne uczenie się dla ocen. Czyli skoncentrowanie aktywności i wysiłku nie tyle dla zdobycia własnej wiedzy i rozwoju co uzyskanie odpowiednich ocen. Czytelnik, z perspektywy własnego doświadczenia z pewnością dostrzeże przykłady, gdy osoby uzyskiwały wyższe oceny niż wynikało by to z ich wiedzy i osoby, które nie uzyskiwały dobrych ocen, bo nie poświęcały swojej energii tam gdzie trzeba. Nie prosiły, nie zabiegały, nie wyliczały co uzyskają za każdą aktywność i co się bardziej opłaca albo „z czego pytają”. Jak skutkuje taki mechanizm w szkole? Odpowiedzią ucznia „a czy będzie za to piątka?”. Czyli czy dana aktywność przełoży się na cyfrowo wyrażony efekt i świadectwo z czerwonym paskiem. Jeśli weźmiemy pod uwagę, że znaczna część takich umiejętności przydatna jest tylko w szkole a nie w przyszłej pracy czy na studiach, gdzie inaczej trzeba się uczyć, to łatwo zauważyć, że ten mechanizm kształtuje złe postawy. Postawy, które nie przynoszą długofalowego sukcesu. A czy ewaluacja uczelni przyniesie dobre efekty w postaci lepszych badań czy tylko lepsze miejsce w rankingu?
Mogłem ale nie musiałem przechodzić na mniej prestiżowy etat dydaktyczny. Ale teraz dalej pracuję naukowo i publikuję tyle tylko, że bez presji wyrabiania slotów. Publikuję tam, gdzie uważam, że znajdę najwięcej czytelników moich badań, nie przeliczam na sloty i nie dobieram współautorów do prac pod kątem „ile punktów mi to przyniesie”. Czy pracuję mniej efektywnie? Wątpię. I nie jestem wyjątkiem. Praca twórcza nie lubi poganiania i biznesowych wskaźników na akord. Większa liczba publikacji w lepiej punktowanych czasopismach wcale nie przekłada się na lepsze i ważniejsze odkrycia. Mimo, że te dobre odkrycia naukowe rzeczywiście publikowane są w „lepszych” czasopismach. Przynajmniej statystycznie rzecz ujmując.
Moda na efekty rankingowe szeroko rozlała się w społeczeństwie i wśród decydentów. Być może to skutek wieloletniej edukacji w szkole dla ocen? Od uniwersytetów i nauki oczekuje się sukcesów jak od drużyny piłkarskiej. By pielęgnować dumę narodową. Co zrobić by polska nauka była na wyższej pozycji w międzynarodowych rankingach, a więc władza czy elektorat poczuł się dobrze jak po wygranych mistrzostwach w piłce nożnej? Zainwestować i czekać na efekty? Można przecież na skróty. Były przecież pomysły na różną „kreatywną księgowość”, np. połączenia instytutów naukowych PAN w jeden uniwersytet, przynajmniej na papierze. Wskaźniki pewnie byłyby dobre. Albo pomysł z wybraniem najlepszych profesorów i formalnie połączenia w jeden uniwersytet rozproszony. Miałbym dojeżdżać z Olsztyna do Poznania? Byleby na papierze był efekt widoczny w rankingach. Na szczęście tych scenariuszy nie zrealizowano.
Wiele pojedynczych czołowych uniwersytetów amerykańskich ma budżet większy lub porównywalny z całymi nakładami w Polsce na naukę. Aby uzyskać lepsze wyniki na arenie międzynarodowej wystarczyłoby zwiększyć nakłady na naukę i szkolnictwo wyższe. Wybierany jest nieco inny wariant. Stworzyć takie kryteria, które zmobilizują polskich naukowców do lepszej pracy przy tych samych finansach. A w zasadzie zdywersyfikują fundusze i skierują większy procent do kilku wybranych a reszta musi zniknąć. W rezultacie będzie wrażenie podwyżki, bo nieliczeniu dostaną więcej a sumarycznie wyjdzie na to samo. Tyle, że przy okazji na prowincji zniknie kilka uczelni, które pełnią tam bardzo ważną rolę kulturotwórczą. I budują lokalny kapitał ludzki oraz kapitał naukowy. Co przekłada się na efekt społeczny w skali całego kraju. A czy obecny system grantów NCN nie promuje aktywnych, z pomysłami i z dorobkiem? Czy nie jest wystarczający by kierować dodatkowe środki na naukę do najlepszych?
Posłużę się jeszcze jednym sportowym przykładem. By duże kluby pierwszoligowe miały dobry „narybek”, sport musi być powszechny, łącznie z małymi klubami wiejskimi czy powiatowymi. Z większej populacji łatwiej o talenty piłkarskie. To wydaje się oczywiste. Myślę, że w nauce i edukacji jest podobnie.
Po co skomplikowane kryteria naukowe, skoro i tak nie są stosowane. Tak jak można było się spodziewać, jest i będzie sterowanie ręczne. Po co skomplikowane formuły bibliometryczne jeśli dla wybranych czasopism i środowisk stosuje się ręczne dopisywanie do list ministerialnych? Cały wysiłek praktycznie po nic. Dostanie ten kto miał dostać? Czy system ewaluacji zmieni sposób pracy naukowców? Wskaże im na nowe działania? Osobiście i subiektywnie śmiem wątpić. Ręczne poprawianie podważa wiarygodność całego systemu. Ale dowartościowuje niektóre wybrane środowiska. O to chodziło?
Moja koleżanka, pani profesor, już dawno temu powiedziała: „czy naukowcy to idioci? Raczej nie, dość łatwo dostosują się do systemu, zarówno indywidualnie jak i instytucjonalnie”. Skoro mamy uczyć się dla ocen, to podjęte zostaną działania, przynoszące efekt rankingowy. Wiele uczelni zrobiło reorganizację, część pracowników przeniesiona została na etaty dydaktyczne, inni wpisani zostali w dyscypliny nieoceniane. Słabiej oceniany dorobek został ukryty. W punktacji będzie to lepiej wyrażone ale czy sumarycznie od tego podniesie się jakość pracy badawczej i dydaktycznej? Śmiem wątpić. Zmieniają się także indywidualne strategie: zamiast pracy zespołowej wewnątrz jednostki współpraca będzie realizowana z innymi naukowcami, tak by zdobyte punkty liczyły się każdemu. Takie cudowne rozmnożenie punktacji. Zwykłe dostosowanie się do systemu. Sporo energii i czasu pracowników idzie więc nie na rzeczywiste badania lecz na dostosowywanie się do systemu. Uczelnie dostosowują się to kryteriów ewaluacji a pracownicy do ustanawianych na uczelni kryteriów oceny. Ja w części przed tym uciekłem i mogę dzięki temu spokojnie pracować naukowo i dydaktycznie, choć na etacie uznawanym za gorszy. To cena jaką płacę za komfort spokoju i braku konieczności „uczenia się dla ocen”. W szkole też tego nie lubiłem.
Jakie już ponieśliśmy straty: upadek wielu polskich czasopism, obecnych na rynku międzynarodowych. Opłacało się nam dopłacać do publikowania w zagranicznych czasopismach, bo miały wyższą punktację a nasze czasopisma naukowe miały za mało dobrych artykułów do publikowania. A mogliśmy przecież zainwestować intelektualnie w rozwój tychże czasopism. Co przyniosłoby efekt również prestiżowy za jakiś czas. Ale na to trzeba świadomej wizji i wytrwałości. Pamiętam z pierwszych lat swojej pracy, że z dobrych, polskich czasopism hydrobiologicznych otrzymywałem honorarium autorskie (wydawane w języku angielskim). Teraz muszę dopłacać za publikowanie w czasopismach zagranicznych, z których część okazuje się „drapieżnymi”, a więc nastawionymi na zysk i kreującymi iluzoryczną prestiżowość. Przebiły się rankingach z wyższą punktacją…
I jeszcze na koniec o roli uniwersytetów prowincjonalnych (kapitał ludzki). Jednym ze skutków długofalowych wdrażanej ewaluacji będzie stopniowy upadek uczelni prowincjonalnych. A przecież w swoim regionie pełnią ważną funkcję kulturotwórczą i budująca kapitał naukowy. To z nich w dużym stopniu wypływa wiele innowacji dla lokalnej gospodarki. Nie da się wszystkiego łatwo zmierzyć i policzyć. Żadne prestiżowe miejsce kilku wybranych polskich uniwersytetów na listach międzynarodowych nie zastąpi roli edukacyjnej i kulturotwórczej tychże prowincjonalnych uczelni.
Po co polskiemu społeczeństwu nauka i uniwersytety? Czy są jak kluby sportowe by uzyskiwać lepsze wyniki w zawodach międzynarodowych, czy by przekładały się na efekty gospodarcze i lepszą jakość życia? Nie wszystko da się łatwo zmierzyć i policzyć. Trzeba zaufania do uniwersytetów i naukowców. Tak jak w każdej społeczności znajdą się osoby przeciętne, wybitne i bezproduktywni leserzy. Jeśli zabierzemy za dużo czasu na sprawozdawczość to mniej zostanie energii i czasu na rzeczywiście twórczą i odkrywczą pracę naukowców. Mniej efektywni naukowcy zawsze się znajdą i zawsze sobie poradzą bo sporo czasu i energii stracą na dobrą strategię „uczenia się dla ocen”. Może lepsze będzie mniej gęste sito, które ułatwi spokojną pracę najzdolniejszym niż zbyt gęste sito, które co prawda odsieje bardziej słabych ale i zamęczy najlepszych.
wersja robocza tekstu opublikowanego w Wieściach Akademickich
Czachorowski S., 2021. Ewaluacja, przed którą uciekłem na etat dydaktyczny, by spokojniej pracować naukowo. Wieści Akademickie, (Czasopismo Uniwersytetu Przyrodniczego w Poznaniu) 2021/4 (264), str.: 51-52 (ISSN 1429-3064. Link do numeru z tekstem (plik pdf)
Ciekawa kwestia - w ogóle z tymi publikacjami to jest jakieś szaleństwo - Lamża kiedyś opowiadał ile to artykułów naukowych tylko z jednej dziedziny ukazuje się codziennie na świecie i ze nie ma takiej osoby która była by w stanie to wszystko przeczytać, już nie mówiąc o prowadzeniu własnego życia i badań (oczywiście poza jakimiś bardzo szczegółowymi specjalizacjami), zważywszy też na to że bez umiejętności interdyscyplinarnych, trudno jest pchnąć często własne badania do przodu to mamy już solidny kłopot, bo kto ma czas by śledzić własną dyscyplinę i jednocześnie zaczytywać się w opracowaniach dotyczących czegoś kompletnie innego, ale co może przez przypadek rzucić nowe światło na własne badania?
OdpowiedzUsuńZ drugiej strony jak zauważyłem nauka już od kilku dekad nie rozwija się liniowo. Działa bardziej na zasadzie procesów rozproszonych. Pewne rzeczy zostają wzmocnione inne wygaszane. Spory w tym chaos i trudno na pierwszy rzut oka stwierdzić dokąd to prowadzi - ale przecież na tych samych zasadach działa ludzki mózg i sztuczna inteligencja - a że działa to udowadniać nie trzeba.
Czy zatem system oceniania naukowców jest zły? Jest urzędniczy, bo urzędnicy muszą mieć jakieś kryteria. Czy system braku ocen był by lepszy? Prawdopodobnie nie. Badania inżynieryjne czy technologiczne weryfikuje rynek. A kto zapłaci za możliwość przeczytania ile larw powiedzmy chruścika znajduje się na jednym metrze kwadratowym jakiegoś strumienia. I nie chodzi o to że są to badania małowartościowe - owszem są ważne, ale ich się urynkowić nie da. A skoro się nie da, to trzeba się zgodzić na jakąś formę ewaluacji.