A gdyby tak... ewaluacja zajęć na telefonie

 

Świat już nie dzieli się na ten realny i ten wirtualny. Świat jest już hybrydowy. My ludzie, żyjemy w świecie hybrydowym, w którym wirtualność przenika się z realnością. Na stałem co chwila zmieniamy uwagę z bycia w kontakcie bezpośrednim i bycia w komunikacji online oraz przeżywania świata wirtualnego. Jesteśmy zanurzeni w hybrydowym świecie. A przynajmniej nasze myśli i doznania. 

Powyższa grafika tylko częściowo związana jest z tematem wpisu na blogu. Przykład z restauracji, na stoliku nalepiony jest qr kod z linkiem do menu. Siedzisz przy stoliku, czekasz na kelnerkę lub kelnera, żeby podał ci menu. Ale możesz wyjąć telefon i sam szybciej sprawdzić. Lub też w trakcie konsumpcji myślisz o czymś więcej i ponownie sięgasz do menu. Oczywiście, możesz skorzystać z Google Mapy i tam szukać menu i zdjęć z potrawami. Za qr kodem kryje się oferta przygotowana przez restaurację czy cukiernię. Na Google Mapie będzie społeczna, kumulatywna opinia konsumentów. Nad pierwszym możesz - jako właściciel restauracji - w pełni panować i uaktualniać, łącznie z filmikami i zdjęciami. Ale wymaga to wysiłku. To drugie zrobią za ciebie konsumenci. Łatwo przyjdzie ale efekt nie jest wiadomy. To tylko tło do właściwego tekstu i rozważań.

Skoro takie qr kody (odczytywane przez telefony mobilne) są już w restauracjach (przynajmniej niektórych) to dlaczego nie miałoby być ich na uczelni? I nie, nie chodzi o zamawianie kawy czy ciastek. Mam na myśli ewaluację zajęć. Taki qr kod linkujący to prostej strony, zintegrowanej z USOSem na przykład. By pracownik szybko dostał informacje zwrotną.

A gdyby tak oceniać (ewaluacja) wykłady (i referaty na konferencjach) na telefonie komórkowym w trakcie ich trwania. Tak jak oceniamy hotele na Booking.com czy na lokale i muzea na Google Mapach. Łatwość dostępu i wygoda. QR kody do apki na sali wykładowej, przylepione na pulpitach (zamiast gryzmołów nudzących się studentów). Lub wyświetlany na pierwszym slajdzie tytułowym wykładu. 

Od dawna nagłaśniany jest problemy ze zbieraniem ankiet ewaluacyjnych na koniec semestru. Uczelnie stosują je od kilku lat, są zintegrowane z USOSem. Pytania są tam lepsze lub gorsze. Bo skoro trzeba robić - to robimy ale czasem bez głębszej analizy i optymalizacji. Taka ewaluacja ma sens jeśli spływa dużo ankiet. A jeśli jest ich zaledwie 5 % to niewiele wiadomo. Jest tylko przerost formy nad treścią.  Na dodatek wypełniają także studenci, którzy na wykłady nie przychodzili wcale lub rzadko. Piszą więc cokolwiek lub tylko na podstawie przypadkowej obecności na wykładzie. Jak zachęcić studentów do wypełniania takich ankiet na koniec semestru? Niektórzy się obawiają, że skoro to przez system jest generowane to nie ma pełnej anonimowości. Ale to raczej mit. Jak zachęcić do wyrażania swoich opinii? Nagrodami losowanymi na koniec? Poczuciem sprawstwa czyli, że ich praca w wyrażanie opinii rzeczywiście jest analizowana i coś z tego wynika? Zazwyczaj aktywni są ci, którzy byli bardzo zadowoleni lub bardzo niezadowoleni. Emocje ułatwiają aktywność. A co ze zdecydowaną większością? Jaki jest realny obraz danych zajęć? Z takimi dylematami borykają się uczelnie od dłuższego czasu.

Zatem może qr kody i szybka ocena - informacja zwrotna w czasie wykładu? Z wykorzystaniem  pamięci krótkotrwałej oraz wrażenia po danym wykładzie. Nie wyklucza to oceny całościowej, po całym kursie, z refleksjami i pewnym dystansem. Opisywana propozycja zwiększałaby interaktywność i poczucie wpływu. Kod mógłby być generowany na wykładzie. A może jeden stały do całego kursu?

To oczywiście korzyści. A jakie są zagrożenia? Częste wykorzystywanie może zbytnio nużyć i męczyć. Przecież nie chcemy zbyt często udzielać różnych opinii. To punkt widzenia studenta a jak to jest od strony wykładowcy? Czy nie byłoby  zbytnim stresowaniem to poczucie wiecznego oceniania? Czy nie powodowałoby zbytniego przywiązywania uwagi to aktualnego oceniania? Przesadne nastawienie na bieżące oceniania zamiast na długofalowy efekt?  Na pewno wykładowca miałby szybszą informację zwrotną. Miałby czas i możliwości poprawienia lub uzupełnienia formy lub treści prowadzonych zajęć. Co z informacji, którą dostaje kilka miesięcy po zakończonych zajęciach? Może zmienić dopiero w kolejnych semestrach. 

W takiej aplikacji można umieścić możliwość zadawania pytań kierowanych do wykładowcy. Kończysz wykład lub ćwiczenia i od razu masz wgląd w reakcje studentów, wraz z ewentualnymi pytaniami, zadanymi anonimowo. Szybka informacja zwrotna. Przecież telefon komórkowy praktycznie każdy student ma przy sobie. 

Sama aplikacja to nie wszystko. Pytania ankietowe muszą być sensowne w sensie interpretacyjnym. Bo jaki sens ma pytanie "czy wykładowca był przygotowany"? Tego student (słuchacz) nie jest w stanie wiedzieć. O to pyta przełożony, bo chce wiedzieć. Ale musi zapytać inaczej by z odpowiedzi wywnioskować czy wykładowca był przygotowany do zajęć czy nie. Przygotowania nie widać (to wie tylko sam wykładowca - a czy chciałby ujawnić?). Ktoś może się długo przygotowywać a efekt będzie mizerny lub nieadekwatny. Ktoś inny, z długim stażem, nie przygotuje a wypadnie dobrze (bo wcześniej przygotowywał i trenował, nabywał wprawę). Pytań nie może być zbyt wiele i muszą być dobrze przemyślane by dawały wiarygodną i sensowną odpowiedź. Odpowiedź ważna dla samego wykładowcy (to jego informacja zwrotna) jak i być może dla pracodawcy (może interesować program jak i kompetencje pracownika - by na tej podstawie modyfikować program studiów i dobór kadry do realizacji zajęć).

W podobny sposób mogliby oceniać referaty uczestnicy na konferencjach. Z jednej strony szybka informacja zwrotna (z ewentualnymi pytaniami - bo nie zawsze jest na to czas w ciągu trwania konferencji) a z drugiej informacja dla organizatorów konferencji. Wiedza na przyszłość kogo warto prosić o głos z referatem, a kto jest "złodziejem czasu" i marudą. W wersji konferencyjnej można pytać o trzymanie się czasu (konferencyjni złodzieje czasu potrafią rozłożyć nie jedną konferencję) o sposób referowania (logiczny wywód czy marudzenie), radzenie sobie z techniką (mikrofon, komputer, prezentacja). Dla prelegenta byłaby to także cicha, szybka i dyskretna informacja zwrotna.

Podobnie można byłoby oceniać prowadzących sesję: czy radzą sobie ze złodziejami czasu (bo jeśli jeden zabierze czas to kolejni referenci są w dużo gorszej sytuacji), czy aranżuje dyskusję itp. Taka aplikacja może w powiązaniu z Research Gate? Organizatorzy konferencji wiedzieliby kogo prosić o przewodniczenie sesji by całość konferencji przebiegała sprawnie i z dużą korzyścią dla uczestników.

I w końcu opcja z oceną konferencji. Dla organizatorów to szybka informacja zwrotna. Przecież nie o wszystkich niedociągnięciach uczestnicy powiedzą wprost. A byłby to proces samodoskonalenia na swoim i cudzym przykładzie. Tak jak są rankingi czasopism naukowych tak może byłyby punkty za konferencje. Uczestnik wiedziałby gdzie warto jechać i czy cena warta jest zapłacenia. 

Czy te powyższe pomysły nie są zbyt śmiałym marzeniem? Czy to trudne organizacyjnie i technologicznie? A może bariery są czysto społeczne i psychiczne? Tracilibyśmy komfort wykładania i uczestnictwa w konferencjach? Poczucie ciągłego oceniania i przesyt technologii może wywoływać poczucie zagrożenia brak komfortu. Wszystko zależy od pytań i co z tym zrobimy. Zupełnie tak samo jest z ocenami w szkole - oceny mogą być dobrą informacją zwrotną ale mogą być też źródłem niepotrzebnego stresu i blokującego stresu. Na dodatek nie wszyscy studenci czy słuchacze na konferencji z takich możliwości skorzystają. A czy częściowa informacja zwrotna warta będzie włożonego wysiłku?

Być na wykładzie z telefonem w ręku (lub na konferencji) nabiera zupełnie nowego znaczenia. 

*  *  *

Jedną z efektywniejszych metod uczenia się, jest szybkie sprawdzania nabytej wiedzy w praktyce, Mam problemy z pisaniem (jestem dyslektykiem). Robię sporo błędów literowych, automatyczna korekta nie jest wystarczająca bo czasem zmieniany jest sens słów i zdania. Muszę kilkakrotnie pokazać. Niektóre błędy literowe, składniowe, logiczne dostrzegam dopiero ko kolejnym czytaniu z długa przerwą. Nieustannie poprawiam teksty zamieszczone na blogu. W międzyczasie niektóre są przedrukowywane w innych miejscach a redaktorzy zazwyczaj nie sprawdzają uważnie tekstu i publikują z drobnymi błędami. Ja u siebie na blogi za jakiś czas poprawię, ale przedruk pozostaje z błędem. A może generatywna sztuczną inteligencję wykorzystać do poprawiania? Niżej jedna z prób z Chatem GPT, który miał za zadanie wystąpić w roli redaktora i nanieść poprawki. Z efektu nie byłem zadowolony, bo w niektórych miejscach pojawiły się błędy składniowe oraz zmiana sensu wypowiedzi. Niemniej poprawki naniesione na wygenerowanym, poprawiony tekście zajęły tyle samo czasu co poprawianie mojego oryginalnego tekstu.  Tek pisany w korekcyjno-redaktorskiej pracy ChatGPT niżej, pod zdjęciem.

Współczesny świat nie dzieli już się na rzeczywistość i wirtualność. Teraz jesteśmy częścią hybrydowego świata, w którym rzeczywistość splata się z wirtualnością. Nasza uwaga nieustannie oscyluje między bezpośrednim kontaktem a komunikacją online oraz doświadczaniem wirtualnego świata. Zanurzeni jesteśmy w hybrydowej realności. A przynajmniej nasze myśli i wrażenia.

Przykład z restauracji tylko częściowo odnosi się do głównego tematu tego wpisu na blogu. Na stoliku znajduje się naklejony kod QR z linkiem do menu. Gdy czekamy na obsługę, możemy sięgnąć po telefon i szybko sprawdzić ofertę. Albo, w trakcie posiłku, chwila zastanowienia może nas skłonić do ponownego sięgnięcia po menu. Oczywiście, możemy też skorzystać z Google Maps, aby przeszukać menu i obejrzeć zdjęcia dań. Za kodem QR kryje się oferta przygotowana przez restaurację lub cukiernię, a na Google Maps znajdziemy opinie społeczności. Nad pierwszym źródłem mamy pełną kontrolę jako właściciele restauracji, możemy aktualizować, dodawać filmy i zdjęcia. Drugie jest bardziej oddane w ręce konsumentów, co jest wygodne, ale efekty nie zawsze są przewidywalne. To tylko tło dla głównego tematu tekstu i rozważań.

Skoro kody QR, odczytywane przez telefony komórkowe, są już obecne w niektórych restauracjach, dlaczego nie można by ich wprowadzić na uczelniach? Nie, nie chodzi o zamawianie kawy czy ciastek. Mam na myśli ocenę zajęć. Prosty kod QR, który prowadzi do strony zintegrowanej z systemem USOS, na przykład. To pozwoli pracownikom szybko otrzymywać informacje zwrotne.

A co by się stało, gdybyśmy oceniali wykłady (i referaty na konferencjach) na bieżąco, korzystając z telefonów komórkowych podczas ich trwania? Podobnie jak oceniamy hotele na Booking.com lub lokale i muzea na Google Maps. To jest wygodne i łatwo dostępne. Kod QR do aplikacji na sali wykładowej, umieszczony na pulpitach, zamiast długopisowych gryzmołów na blatach czy pulpitach. Lub wyświetlany na pierwszym slajdzie wykładu.

Problemy z ankietami ewaluacyjnymi na koniec semestru są znane od dawna. Uczelnie stosują je od kilku lat, są zintegrowane z systemem USOS. Pytania w tych ankietach bywają lepsze lub gorsze. Często są wykorzystywane ale bez dogłębnej analizy i optymalizacji. Ewaluacja ma sens, gdy zbieramy dużą ilość ankiet. Jeśli tylko 5% studentów bierze udział, informacje stają się niewystarczające. Ponadto, ankiety często wypełniają studenci, którzy rzadko uczestniczą w zajęciach. Jak zachęcić ich do udziału? Nagrodami na zakończenie semestru? Poczuciem, że ich opinie są naprawdę brane pod uwagę? Aktywni są zwykle ci, którzy są bardzo zadowoleni lub bardzo niezadowoleni. Emocje sprzyjają aktywności. Ale co z resztą? Jaki jest rzeczywisty obraz zajęć?

Czy kod QR i szybka ocena w czasie rzeczywistym mogą rozwiązać te problemy? Wykorzystując pamięć krótkotrwałą i wrażenia po wykładzie. Oczywiście, nie wyklucza to oceny ogólnej po zakończeniu kursu, z większym dystansem. Opisana propozycja zwiększałaby interakcję i poczucie wpływu. Kod QR mógłby być generowany podczas wykładu. Albo być jednym stałym kodem dla całego kursu.

To oczywiście przynosi korzyści. Ale jakie są ryzyka? Częste korzystanie z takich narzędzi może znużyć. Nie chcemy przecież cały czas wyrażać opinii. Jak to będzie postrzegane z perspektywy wykładowcy? Czy nie będzie to stresujące, wrażenie ciągłego oceniania? Czy nie spowoduje to nadmiernego skoncentrowania się na ocenach w czasie wykładów? Szybka informacja zwrotna dla wykładowcy jest oczywiście zaletą. Daje czas na poprawki i ulepszenia.

A może można by dodatkowo umożliwić studentom zadawanie pytań wykładowcy za pośrednictwem aplikacji? Po zakończeniu wykładu lub ćwiczeń mielibyśmy dostęp do reakcji studentów i ewentualnych anonimowych pytań. Szybka informacja zwrotna. Przecież praktycznie każdy student ma przy sobie telefon komórkowy.

Sama aplikacja to jedno, ale pytania ewaluacyjne muszą być dobrze przemyślane, aby dostarczać sensownych odpowiedzi. Pytanie "Czy wykładowca był przygotowany?" może być trudne do oceny przez studenta. To pytanie, które bardziej interesuje przełożonych. Muszą je zadać w inny sposób, aby uzyskać odpowiedź na to, czy wykładowca był właściwie przygotowany. Przygotowanie jest niewidoczne dla studentów, a więc ich ocena może być subiektywna. Dlatego pytania muszą być przemyślane tak, aby dostarczały wiarygodnych i sensownych odpowiedzi. To ważne zarówno dla wykładowcy, jak i potencjalnych pracodawców.

Podobnie można by oceniać referaty na konferencjach. Szybka informacja zwrotna dla uczestników, ale także dla organizatorów, którzy wiedzieliby, kogo warto zaprosić do głoszenia referatu, a kto nie przynosi wartości dodanej. Wersja konferencyjna może zawierać pytania o czas trwania prezentacji, sposób prowadzenia oraz radzenie sobie z technicznymi aspektami. Dla prelegentów byłaby to cenna i dyskretna informacja zwrotna.

Podsumowując, czy pomysły te nie są zbyt odważne? Organizacyjnie i technologicznie są wykonalne, ale istnieją także bariery społeczne i psychologiczne. Czy zechcielibyśmy wprowadzić taki system? Czy nie wpłynęłoby to negatywnie na komfort prowadzenia zajęć i uczestniczenia w konferencjach? Czy uczucie ciągłego oceniania i przesyt technologią nie spowoduje poczucia dyskomfortu? To zależy od pytania i sposobu jego wykorzystania. Jak w przypadku ocen w szkole, mogą być one cenną informacją zwrotną, ale także źródłem stresu. Warto zastanowić się, czy wkład w implementację takiego systemu będzie adekwatny do uzyskiwanych korzyści.

 *  *  *

W modelach językowych takich jak Chat GPT można mówić uogólnieniami, wnioskami, rekomendacjami. Ale można także pokazywać konkretne przypadki. Tu zabrakło jeszcze oryginalnego (niepoprawionego) tekstu i promptu. Wtedy łatwiej byłoby ocenić co z czego wynika z które błędy językowe mogły być źle zinternetowane przez algorytm. Ja ćwiczę i zastanawiam się do czego i jak wykorzystywać narzędzie, które jest już dostępne. I wiedzieć co jest ograniczeniem narzędzia (algorytmu) a co brakiem wprawy w korzystaniu z tego narzędzia (poprawność instrukcji w prompcie). 

To ja wracam do okazjonalnej nauki AI. Czytelników proszę o opinie i wasze doświadczenia z algorytmami językowymi. Do czego i jak wykorzystywać a do czego nie próbować bo i tak nie będzie dobrych rezultatów.

PS. Oba zdjęcia mojego autorstwa. Mam zapas do ilustrowania wpisów na blogu ale czasem eksperymentalnie używam grafiki generowanej przez AI