Doświadczyłem na sobie jak AI uczy o AI, były mikrodoświadczenia i mikrofrustracje

Przyglądam się z zaciekawieniem...

 

Sporo słyszałem o możliwościach wykorzystania AI w edukacji oraz o personalizacji nauczania. Trafiła mi się okazja, aby wypróbować to na sobie. Zapisałem się na krótki i bezpłatny kurs poświęcony jednemu z narzędzi AI. Struktura wyglądała obiecująco, a pierwsze wrażenia też były dobre. Jednak potem pojawiły się spore wątpliwości i dostrzegłem słabe strony.

Być może nie wynika to z istoty samych narzędzi AI, lecz z behawiorystycznego zaprojektowania kursu. Albo zawinił człowiek, albo narzędzie zostało źle wytrenowane. Ciągle mam nadzieję, że obietnice dotyczące tworzenia kursów z AI mogą być spełnione. Umocnił się jednak wniosek, że wszystko zależy od koncepcji. Być może łatwiej jest wykorzystywać podejścia behawiorystyczne i dydaktykę instrukcyjną niż dydaktykę konstruktywistyczną? W każdym razie sama nowoczesność narzędzi AI nie wystarczy do przygotowania dobrego szkolenia.

Z uznaniem przyjąłem podzielenie kursu na kilka części, z których każda składała się z kilkuminutowych lekcji zakończonych testem i cząstkowym certyfikatem. Zapewniono więc częste powtarzanie i mikropoświadczenia. Drugim dobrym elementem było przedstawienie każdej lekcji w trzech wersjach do wyboru: animacja z głosem lektora (imitująca prezentację), tekst (transkrypt lub tekst pierwotny do generowani audio i animacji) i nagranie audio.

Jako wzrokowiec korzystałem z wersji z animowaną prezentacją. Narzędzia AI umożliwiają szybkie i łatwe przedstawienie tej samej treści w formie tekstowej i audio. Generowany głos był raz żeński, raz męski. Jednak regularność tej naprzemienności po kilkunastu lekcjach zaczęła być nudna. Była bowiem zbyt jednostajna i przewidywalna. Jest to mały mankament, zapewne łatwy do wyeliminowania.

Jeszcze jedną zaletą takiego kursu było to, że mogłem do niego przysiąść, gdy miałem wolną chwilę, jednego dnia było to dłużej, innego krócej. W dowolnym momencie mogłem też kontynuować. A gdybym zechciał to mógłbym powtarzać wybrane fragmenty, łatwe do wyszukania w strukturze kursu.

Po każdym kilkuminutowym module uczestnik otrzymywał test do wykonania (aby przejść dalej), a w razie pozytywnego zaliczenia – mikropoświadczenie (certyfikat). To tutaj, moim zdaniem, ujawniła się pierwsza poważna wada. Jak wywnioskowałem po jakości tych testów, podstawą dydaktyczną kursu był czysty behawioryzm. Proste do wdrożenia, łatwe do zautomatyzowania: podaj treść, zrób test, zalicz. To podejście jest proste do implementacji przez AI, ale kompletnie nie nadaje się do nauczania złożonych zagadnień, jakim jest na przykład sztuczna inteligencja.

Jak wyglądało sprawdzanie wiedzy? W dużym stopniu test sprawdzał pamięciowe zapamiętanie trzeciorzędnych szczegółów. Były i elementy sprawdzające rozumienie, ale te ginęły w masie irytujących i w gruncie rzeczy mało ważnych szczegółów. Sam wielokrotnie tworzyłem testy i wiem, że najprościej jest tworzyć pytania do pojedynczych informacji. Czyli szukamy w treści jakichś prostych danych i umieszczamy je w teście.. Łatwo się to tworzy, ale wartość dydaktyczna bywa często mizerna.

Przy którymś module trafiłem na problem. Nie zapamiętałem szczegółów i kilkukrotnie nie zaliczyłem tego testu. Wymóg zaliczenia (np. 60% poprawnych odpowiedzi) oraz mechanizm wielokrotnych prób (pokazuje błędne odpowiedzi, można próbować kilka razy) prowadził do patologicznej strategii nauki: zgadywania i dedukowania, którą odpowiedź wybrać, by zaliczyć, zamiast dążenia do faktycznego rozumienia.

Całość w małym stopniu uczyła rozumienia zagadnienia. Było to raczej "wyćwiczenie się" w zdawaniu danego testu, a nie w posługiwaniu się wiedzą. Wystarczyło słuchać wyrywkowo, aby wyłapać szczegóły, które pojawią się w pytaniach. Doskonale znam ten mechanizm z dydaktyki. Uczy to jedynie uczenia się pod testy i egzaminy – typowy efekt dydaktyki opartej na behawioryzmie.

Tak, wiem, sprawdzanie wiedzy za pomocą testów nie jest łatwe. Dlatego w swoich przedmiotach unikam testów. Przygotowanie testu, który w wiarygodny sposób sprawdza wiedzę, jest pracochłonne i wymaga wieloaspektowego sprawdzania jego trafności. Rodzi się pytanie: jak zatem sprawdzić wiedzę? Czy można do takich kursów włączyć elementy zadań sprawdzających zrozumienie zagadnienia? Czy AI potrafi coś takiego? Najpierw musiałby wiedzieć o tym architekt kursu. A potem można próbować zapromptować i wygenerować odpowiedni sposób.

Drugim, sporym mankamentem było sporo „wypełniaczy”. Na sali wykładowej są to różnego rodzaju wypełniacze czasu, by wypełnić przepisowe 1,5 godziny wykładu lub by dać chwilowy oddech słuchaczom. Nie da się  utrzymać uwagi i pełnego skupienia non stop przez dwie godziny wykładu. Ale jak sądzę w kursie online nie jest to potrzebne. Bo słuchacz w dowolnym momencie może zatrzymać, przemyśleć, nawet odtworzyć fragmenty i kontynuować.

Moje największe rozczarowanie dotyczyło zawartości merytorycznej. Kurs był pełen ogólnikowej treści (wypełniacza), typowej dla materiałów generowanych maszynowo przez LLMy. Oczywiście, ludzie "z krwi i kości" też na wykładach czasem „leją wodę”. Ja jednak odebrałem to jako typowy dla generatywnych modeli językowych "potok słów", który brzmi poprawnie, ale nie wnosi głębi.

LLM-y łatwo, na podstawie małego promptu (małego wsadu słownego), budują bardziej rozbudowane i spójne stylistycznie zdania. A może w całym kursie projekczyciel (architekt treści edukacyjnej) za mało przygotował treści merytorycznej? Może zadowolił się tym, że tak łatwo jest tworzyć dobrze wyglądające lekcje? Owszem, było trochę przydatnych informacji ogólnych i trochę szczegółów jak korzystać z jednego, konkretnego narzędzia (umyślnie pomijam nazwę). Ale dałoby się to zawrzeć w 1/3 całego kursu. Ja odczuwałem, że jest mało praktycznych informacji. Choć pojawiły się przydatne wskazówki, były one silnie rozmyte w morzu ogólnej treści.

I jeszcze jeden mankament. Dość szybko dało się odczuć, że cały kurs to reklama jednej firmy i jednego narzędzia. Czuć było reklamowy charakter przekazywanej treści. W rzeczywistości kurs ten był w dużej mierze reklamowym tutorialem jednego konkretnego narzędzia – pokazującym, jakie jest ono "świetne", ale nie uczącym efektywnego korzystania z niego w szerszym kontekście. Może "grzechem pierwotnym" nie jest samo AI, tylko lokowanie produktu?

Najpierw było "wow", ale potem szybko pojawiła się nuda i lekkie rozczarowanie. Zamiast głębokiej analizy, dostałem powierzchowny przegląd. Na koniec był test końcowy, który w sumie zbierał chyba dokładnie te same pytania testowe z każdego modułu. I nie przeszedłem tego testu, nawet w dwóch podejściach. Zawsze brakowało mi kilku procentów do przekroczenia progu. Mogłem oczywiście wrócić do odpowiedniej lekcji i wynotować szczegóły (moim zdaniem mało istotne dla istoty zagadnienia i korzystania z narzędzia). Mogłem też trochę "postrzelać" i w końcu bym przebrnął. Jednak straciłem motywację. Ten certyfikat przestał być dla mnie atrakcyjny, abym się o niego trudził. Przecież przy tym kombinowaniu niczego sensownego bym się już nie nauczył. Może tylko sposobu zaliczania testów. A tego akurat nie chciałem się uczyć.

To doświadczenie stanowi dla mnie cenną lekcję o stanie edukacji wspomaganej przez AI. Oczywiście, "jedna jaskółka wiosny nie czyni". Obawiam się jednak, że łatwość tworzenia takich kursów zaowocuje wysypem mało wartościowych szkoleń w pięknie i nowocześnie wyglądających opakowaniach.

Zabrakło indywidualizacji, tak przecież często podkreślanej jako atut szkolenia z AI. Zabrakło elementu, który obiecuje AI — spersonalizowanego uczenia się. Treść była statyczna, uniwersalna, nie dostosowana do moich pytań czy poziomu wiedzy. Nie dostałem rzeczywistego feedbacku, ponieważ punktów z tych testów nie traktuję jako oceny kształtującej. A ponawiane próby zdania testu nie było rzeczywistym powtarzaniem treści.

Jest zapewne potencjał AI dla edukacji, ale prosta, behawiorystyczna implementacja (treść + test) go marnuje. AI może generować testy, ale ludzki ekspert musi zaprojektować koncepcję i instrukcję kursu, stawiając na sprawdzanie rozumienia, a nie na zapamiętywanie szczególików.

Zatem wadą szkolenia, które przeszedłem, jest kiepska koncepcja dydaktyczna, oparta na przestarzałym behawioryzmie. Jeśli tworzyć szkolenie z AI, to warto chyba wykorzystać potencjał AI, by uczyć krytycznego myślenia i rozwiązywania problemów, a nie odtwarzania definicji. Indywidualizacja musi być realna, a nie tylko ogólnikowo obiecywana.

Podsumowując, przeszedłem kurs, otrzymałem mikropoświadczenia cząstkowe, ale poziom zrozumienia zagadnienia zwiększył się marginalnie. To było świetne doświadczenie testowe na temat możliwości automatyzacji edukacji, ale słabe doświadczenie edukacyjne. AI może zautomatyzować produkcję treści i testów, ale nie zastąpi przemyślanej, celowej i głębokiej dydaktyki. A może wystarczy dobrze wytrenowany agent AI, wykorzystujący dydaktykę konstruktywistyczną? Narzędzia sztucznej inteligencji szybko się rozwijają. Więc tylko czekać na takie nowinki. To tak jak z samochodem – nie wystarcza wypasiona maszyna, trzeba kierowcy, który wie dokąd jechać. Przecież, nie chodzi o to, by jechać gdziekolwiek lecz jechać z sensem i do istotnego celu.

Czy Wy również spotkaliście się z kursami online, w których forma (szybkość generacji, certyfikaty) przyćmiła treść i realną wartość edukacyjną? Podzielcie się swoimi doświadczeniami w komentarzach! A może podacie przykładu dobrych dydaktycznie kursów stworzonych z AI?