Nie widzę rozsądnej odpowiedzi poza „to zależy”. Zależy to od pytania: niektóre pytania z zaskoczenia nie są w rzeczywistości tak trudne i rozsądnie można je zadać na teście bez specjalnego przygotowania, podczas gdy inne są rzeczywiście bardzo trudne. Zależy to również od uczniów: od doświadczonych i utalentowanych uczniów możesz wymagać więcej niż od typowych początkujących.

Z pewnością nie ma reguły, która mówi, że możesz zadawać tylko pytania testowe, które są podobne do poprzednich pytań. widziałem. Czasami zadawanie nietypowych pytań może być doskonałym sposobem oceny, jak dobrze uczniowie opanowali materiał. Jednocześnie pytania testowe, które są zbyt nieznane lub trudne, mogą być nieproduktywne. To zachowanie równowagi, które można rozwiązać na wiele różnych sposobów, w zależności od stylu osoby piszącej test.

Każde pytanie w teście powinno dotyczyć materiału kursu. Jednak wiele razy profesor może próbować nauczyć czegoś głębszego niż niektórzy uczniowie. To właśnie stwarza pytanie „zaskakujące”: profesor pyta coś, co wymaga opanowania materiału lub wglądu w jego głębsze znaczenie, a uczeń nauczył się materiału tylko na stosunkowo niewielkim poziomie.

Na przykład, kiedy byłem asystentem technicznym na dużym studium licencjackim ze sztucznej inteligencji, uczono dwóch rzeczy jednocześnie. Podstawową koncepcją przewijania się przez całą klasę był sposób myślenia o reprezentacji danych i rozkładzie problemów. W ramach tego nauczania uczniowie zapoznali się również z szeregiem standardowych algorytmów sztucznej inteligencji. Testy zazwyczaj obejmowały wariantowe algorytmy, których uczniowie nigdy wcześniej nie widzieli. Słabi uczniowie, którzy poznali standardowe algorytmy, ale nie podstawową koncepcję, często radzili sobie źle i narzekali na pytania „niespodzianki”, ponieważ pytano ich o algorytm, którego nigdy wcześniej nie widzieli. Silni uczniowie, którzy uczyli się podstawowej koncepcji, nie mieli żadnych problemów.

Generalnie więc napotkanie pytania „niespodzianki” oznacza, że ​​uczeń nie nauczył się głębszych pojęć, które profesor próbuje przekazać . Gdzie tkwią problemy pedagogiczne, profesor czy studenci, to zupełnie inne pytanie ...

Myślę, że zależy to od tego, co nazywasz „pytaniem niespodzianką”. Zwykle podczas projektowania testów nie chcesz, aby wszystkie pytania miały tę samą trudność. Zamiast tego chciałbyś zadać kilka podstawowych pytań, aby dowiedzieć się, kto faktycznie nie „dostał” podstawowych komunikatów (i dlatego powinien zawieść), niektóre pytania pośrednie, które większość uczniów będzie w stanie odpowiedzieć, gdyby się uczyli, oraz niewielka liczba trudnych problemów, które mają na celu oddzielenie doskonałych od dobrych uczniów.

W moich testach pytania „zaskakujące” często stanowią „trudną” część testu. Piszę je z pełnym oczekiwaniem, że tylko 10% do 20% klasy będzie w stanie je wykonać, ale to jest w porządku - i tak nie cała klasa powinna mieć najlepszą ocenę. W ten sposób ja i inni wiemy po kursie, kim byli studenci, którzy naprawdę zrozumieli materiał i którzy właśnie dużo się uczyli.

Na marginesie: Uczę w kraj europejski, w którym zwykle występuje rozkład Gaussa w całym spektrum ocen - nie jest tak, jak w USA, gdzie „B” jest często już uważane za złą ocenę. Ponadto, przynajmniej na studiach licencjackich, nierzadko zdarza się, że więcej uczniów zdaje egzamin niż ma najlepszą ocenę.

To, co sprawia, że ​​pytania „zaskakujące” są trudne dla niektórych uczniów i atrakcyjne dla wielu nauczycieli, to fakt, że faktycznie testują zrozumienie , umiejętności przekazywania i umiejętność zastosowania wiedzy w przeciwieństwie do mechanicznego zapamiętywania wcześniej wyuczonych procedur. Łatwo to zobaczyć na przykładzie „formuły”. Uczeń, który się uczył, może zastosować wzór (wie, jak to działa i jak go stosować oraz w jakich warunkach), ale tylko uczeń, który naprawdę rozumie matematykę, która się za nim kryje, może udowodnić, że wcześniej tego nie omawiali.

Moim zdaniem rzetelne pytanie egzaminacyjne opiera się na jednym lub wszystkich z poniższych:

1. Materiał omawiany lub prezentowany w czasie kontaktu z klasą.
2. Materiał z dowolnego pozycje na liście lektur kursu.
3. Podstawowy materiał z dowolnych kursów wstępnych.
4. Materiał, który można właściwie uznać za powszechną wiedzę dla uczniów na tym etapie edukacji (podstawowa matematyka, podstawowe użycie języka angielskiego itp.).
5. Wiedza, którą można rozsądnie wyprowadzić jako logiczną konsekwencję liczb 1. – 4. Tutaj „rozsądny” jest skalibrowany do poziom kursu. Znacznie więcej należy oczekiwać od absolwentów, którzy przygotowują się zasadniczo do wykonywania punktu 5. przez resztę swojego życia zawodowego.

Z mojego doświadczenia wynika, że ​​pytania „zaskakujące” zwykle pojawiają się, ponieważ ( ) uczniowie nie wywiązali się ze swojego obowiązku zapoznania się z materiałem w punktach 1. i 2. lub ponieważ (b) uczniowie nie są na tyle zdolni / zaznajomieni z tematem, aby przeprowadzić logiczne wnioski z rozdziału 5.

W obu przypadkach uważam, że profesjonalistą jest zadawanie pytań, które opierają się na wszystkich punktach 1. —5. Jako pedagodzy, głównym obowiązkiem zawodowym nauczycieli akademickich jest decydowanie o odpowiednim materiale i dostarczanie go w sposób jasny, a także przeprowadzanie ocen, które pozwolą zidentyfikować sukcesy uczniów w opanowaniu tego materiału. Pytanie, które nie „zaskakuje” większości uczniów, może sprawdzić to mistrzostwo tylko w ograniczonym zakresie, ponieważ pozostawia niewiele możliwości odróżnienia uczniów, którzy naprawdę opanowali przedmiot, od tych, którzy po prostu wykonali dobrą robotę zapamiętywania na pamięć. Dlatego uważałbym „pytania z zaskoczenia” za podstawowe narzędzie wypełniania przez profesorów ich obowiązków zawodowych jako nauczycieli.

Moja dziedzina to matematyka. Zawsze starałem się zadać przynajmniej jedno pytanie, które wyglądało zupełnie inaczej niż wszystko, co uczniowie z pewnością widzieli wcześniej (choć oczywiście opierało się na odpowiednim materiale) lub wymagało od nich połączenia kilku pomysłów, których wcześniej mogli nie mieć musiał połączyć. Na egzaminie z rachunku różniczkowego pierwszego roku miałbym co najwyżej kilka pytań tego typu; Na egzaminie na kursach teoretycznych i na kursach z matematyki sztuk wyzwolonych miałem na ogół sporo takich pytań obok pytań bardziej rutynowych, obejmujących zakres trudności. Oczywiście wszystkie pytania wymagały od uczniów napisania czegoś, czy to dowodu, wyjaśnienia, czy zwykłej rutynowej kalkulacji, a częściowe zaliczenie było zawsze dostępne.

Powinienem zaznaczyć, że nie wystawiałem oceny do dowolnej zadanej skali. Zawsze wolałem skonstruować egzamin, który chciałem, a następnie zinterpretować wyniki. Rzeczywiście, nie chciałem przypisywać ocen listowych do poszczególnych egzaminów, woląc zarezerwować ten bolesny obowiązek na koniec kursu, kiedy miałem tyle danych, ile miałem zamiar zdobyć. Nie trzeba dodawać, że zawsze wyjaśniałem to wszystko na początku kursu i jeszcze raz przed pierwszym egzaminem. Wyjaśniłem również, że nie miałem oczekiwań, do których większość amerykańskich studentów jest przyzwyczajona: ogólnie okazało się, że uczniowie klasy A (poza rzadkim przerywaczem krzywej) osiągnęli średnią 80-85% przez cały semestr - i nie byłem szczególnie hojny z ocenami A. Średnia 50% to generalnie stałe C.

Wszystkie moje prawdziwe testy analityczne (byłem studentem) były ponad 50% nowymi twierdzeniami do udowodnienia. Należało się spodziewać, że trzeba będzie myśleć nieszablonowo, aby zdać egzamin. I powiedziałbym, że nauczyłem się o rząd wielkości więcej w tej klasie, niż na jakiejkolwiek innej, wykonując bardziej standardowe testy. Ale to jest kurs dla seniorów, a umiejętność pisania dowodów od zera była umiejętnością, której uczy się stopniowo na wielu kursach na niższym poziomie.

Można argumentować, że umiejętność zaliczania testów ogólnych z pytaniami wymagającymi odkrywania do niejasno poruszonego materiału lub metod, które obejmują łączenie technik w sposób niewidoczny na zajęciach, jest kulminacją edukacji. Jeśli tak jest w rzeczywistości, rozsądne byłoby wprowadzenie go wcześnie, aby rozwinąć umiejętność syntezy nowych odpowiedzi na podstawie omówionego materiału.

Ale ważne jest, aby uczeń poznał niezbędny materiał do syntezy odpowiedzi. Nie zadawaj pytań dotyczących teorii miary na pierwszym teście w rzeczywistej analizie. Na przykład zadaj pytanie, które wymaga użycia najmniejszej górnej granicy właściwości liczb rzeczywistych w trudny sposób.

Wolę system, w którym problemy z zadaniami domowymi są największym wyzwaniem. Nie jestem też zwolennikiem systemu, w którym praca domowa jest oceniana, ponieważ utrudnia to wybór dobrych zadań domowych. Chodzi o to, że uczniowie uczą się najlepiej, gdy dużo walczą, aby rozwiązać trudne problemy. Należy wtedy zaakceptować fakt, że uczniowie mogli nie poradzić sobie dobrze z konkretnym problemem, nawet jeśli są jednymi z najlepszych. Zadania domowe z oceną lub bez, nadal należy składać prace domowe i przechowywać dokumentację dotyczącą postępów ucznia.

Egzamin powinien służyć jedynie jako podstawowy test, który wszyscy studenci, którzy poważnie podchodzili do kursu, powinni z łatwością zdać. Nie ma możliwości, aby rzucić wyzwanie uczniom na egzaminie, który trwa tylko kilka godzin, ponieważ możesz rzucić im zadanie domowe, nad którym będą musieli pracować przez kilka dni.

Egzamin powinien być oceniany w połączenie z pracą domową. Przy ocenie egzaminu należy wziąć pod uwagę pracę domową każdego ucznia (z oceną lub bez). Jeżeli okaże się, że zapis pracy domowej jest niezgodny z wykonaniem egzaminu, należy zaprosić studenta do rozmowy z Prof. na dany temat. Może się zdarzyć, że uczeń był zdenerwowany i nie widział rozwiązania prostych problemów, takie kwestie można poprawić na egzaminie ustnym, zwłaszcza jeśli student nie wie, że spotkanie jest w rzeczywistości tajnym egzaminem ustnym.

Może się również zdarzyć, że uczeń nie wiedział zbyt wiele o przedmiocie i po prostu skopiował zadania domowe od innych uczniów, co stanie się jasne po rozmowie z uczniem, a uczeń otrzyma ocenę niedostateczną ocena z przedmiotu.

Nauczyciele zadają uczniom pytania, których nie znają już od samego początku nauczania. W jaki inny sposób nauczyciel może zmusić ucznia do wyjścia ze swojej strefy komfortu, w której odpowiedzi zostały jasno określone, a zamiast tego pomóc mu poszerzyć jego zdolności umysłowe. Ważne jest, aby pytania były związane z nauczanym przedmiotem, ale jeśli zadam ci pytanie dotyczące rzeczywistych przypadków światowych, a nie hipotetycznych, będzie to wymagało nieszablonowego myślenia. Tak, to jest profesjonalne. Nie dzieje się tak, jeśli są to pytania, na które klasa nie przygotowała ucznia.

Spośród odpowiedzi udzielonych do tej pory, ta, która jest najbliższa mojemu myśleniu, dotyczy xLeitix, a dodatkowa uwaga dotycząca kontekstu również ma zastosowanie.

Teraz

Czy profesor może zadawać „zaskakujące” pytania na teście?

To może być profesjonalne. Jak powiedziałem w komentarzu, nieprofesjonalne jest zadawanie takich pytań wyłącznie w celu obalenia jak największej liczby uczniów.

Ponadto nie bardzo lubię przymiotnik niespodzianka w tytule: niespodzianka to coś nieoczekiwanego, ale jeśli profesor wyraźnie ostrzega studentów, że na egzaminie znajdą problemy, które nie zostały rozwiązane w trakcie kursu, nie ma zdziwienia. Zatem w dalszej części będę mówić o „nowych” problemach.

Głównym celem egzaminów i testów jest ocena stopnia opanowania / zrozumienia przez uczniów (niewielkiej części) określonego przedmiotu. Jak dobrze wyjaśnili inni, nowe pytania lub problemy mogą dać wskazówkę, jak głębokie jest to zrozumienie.

Ale oprócz wyżej wymienionego celu głównego, egzaminy i testy mogą mieć również cele drugorzędne:

• Egzamin może być okazją do nauczenia się nowych rzeczy. Dobrze zdefiniowany rozdział między uczeniem się a weryfikacją, który zwykle ma miejsce na kursie, jest czymś, co drastycznie się kończy, gdy zaczyna się pracę, nawet w środowisku akademickim. Uczenie się i weryfikacja w życiu codziennym są naprawdę przeplatane i często uczenie się musi odbywać się wraz ze stresującą weryfikacją. Tak więc nowy problem podczas egzaminu może być okazją do kontynuowania nauki w bardziej „niezabezpieczony” sposób.
• Egzamin może być wskazówką, jedną z wielu, że to, czego nauczono na lekcjach, nie jest całą historią, a poza lekcjami jest znacznie więcej: nowe problemy z pewnością dostarczają tego przesłania.
• Dla profesora egzamin jest okazją do wyłowienia dobrych studentów, którym zaproponuje pracę dyplomową. Stawianie nowych problemów może być sposobem na znalezienie uczniów zdolnych do samodzielnego myślenia.

Dlatego na egzaminach często przedstawiam nowe problemy, pamiętając o powyższych punktach.

Aby nie być zbyt ogólnym, zróbmy przykład związany z moim doświadczeniem . Kilka lat temu prowadziłem kurs dotyczący czujników, przetworników i układów kondycjonowania sygnałów dla absolwentów elektroników. Część pisemna egzaminu polegała na jednym zadaniu dotyczącym projektowania lub analizy układu kondycjonowania sygnału lub oceny niepewności pomiaru danego przetwornika. Ze względu na obszerność tematu, w ramach kursu nie można było opisać ani wszelkiego rodzaju czujników i przetworników, ani wszystkich możliwych układów kondycjonowania sygnałów. Postanowiłem więc, że każdy egzamin będzie składał się z nowego problemu, gdzie „nowy” oznacza:

• Problem dotyczący przetwornika nieopisany na kursie. Rzeczywiście, tekst egzaminu zawierał krótki opis tego rodzaju przetwornika.
• Problem dotyczący analizy i / lub projektowania obwodu kondycjonowania sygnału nie został opisany na kursie. Od studentów, będących inżynierami elektronikami, oczekiwano umiejętności analizy układów elektronicznych, nawet o umiarkowanej złożoności. W trudniejszych przypadkach udzielano wskazówek.
• Problem dotyczący znanego przetwornika zastosowanego w nieznany sposób.

Egzaminy były otwartymi książkami i uczniowie mogli przynosić rozwiązania wszystkie poprzednie egzaminy i wszystkie notatki z zajęć. Po części pisemnej, jeśli była zaliczona, odbywał się egzamin ustny, który dotyczył bardziej materiału klasowego.

Jaki był wynik tego rodzaju egzaminu? Kurs został ogólnie bardzo dobrze przyjęty przez studentów, nawet jeśli egzamin uznano za trudny: odsetek powodzenia wyniósł około 30% (ocena zaliczająca 60%). Główny zarzut dotyczył liczby ćwiczeń rozwiązywanych na zajęciach, ale dzieje się tak na wszystkich rodzajach kursów. Moja odpowiedź na tę skargę była taka, że ​​rzeczywiście istniały ograniczenia czasowe, które uniemożliwiły nam rozwiązanie większej liczby problemów, ale tak czy inaczej, bez względu na liczbę problemów rozwiązanych podczas kursu, na egzaminie znaleźliby nowy (czasami studenci proszą o więcej rozwiązanych problemów w nadziei, że wyczerpią one wszystkie możliwe przypadki).

Na podstawie tego i innych doświadczeń na przestrzeni 15 lat myślę, że uczniowie mogą stawić czoła nowym problemom na egzaminach, o ile dobrze wyjaśnione są motywacje a zwłaszcza jeśli kurs jest tego wart.

Nie sądzę, aby miało to cokolwiek wspólnego z byciem profesjonalistą, ale w jakim stopniu jest to uczciwe i / lub pożądane, zadawaj takie pytania.

Dla mnie użyteczność nieoczekiwanych pytań, które całkowicie zaskakują uczniów, zależy również od tego, w jakim systemie oceniania są używane, i nie zostało to uwzględnione w innych odpowiedziach. W przypadku testów opartych na krzywej / testach opartych na normach jednym z punktów egzaminów jest rozróżnianie uczniów, więc trudne pytania z zaskoczenia mogą być przydatne np. sprawdzić, czy uczniowie lepiej zrozumieli dany temat. W takim systemie rozsądne (i do pewnego stopnia pożądane) jest, aby tylko niewielka część uczniów mogła odpowiedzieć na niektóre pytania.

W systemie oceniania opartym na kryteriach / zorientowanych na cele, najlepiej byłoby, gdyby uczniowie dokładnie wiedzieć, jaka wiedza jest potrzebna do uzyskania określonej oceny. W przypadku takich kryteriów oceniania całkowicie nieoczekiwane pytania mogą być bardziej problematyczne. Jednak to, co jest nieoczekiwanym pytaniem, jest również do pewnego stopnia subiektywne, a kryteria uczenia się mogą również wyraźnie określać podstawowe rozumienie i umiejętność zastosowania materiału w nowych sytuacjach. Mimo to, jeśli duża część uczniów nie rozumie lub nie odpowiada na trudniejsze pytania z zaskoczenia, może to częściowo być postrzegane jako porażka nauczyciela / kursu (co niekoniecznie ma miejsce w przypadku oceniania według krzywej), ponieważ może to oznaczać, że nauczyciele zawiedli przekazać wymaganą wiedzę lub cele uczenia się potrzebne do uzyskania określonej oceny (alternatywne wyjaśnienia to np. wysokie standardy celów lub niezainteresowani, leniwi lub słabi uczniowie).

Nie ma problemu z pytaniami z zaskoczenia, o ile stanowią one niewielką część ocen i powiesz uczniom, że mogą być takie pytania.

Niektórzy z moich profesorów układaliby testy w następujący sposób: 40% podstawy, 40% średniozaawansowany, 10% trudny, 10% niespodzianka.

Jeśli znasz i rozumiesz wszystkie podstawy, mógłby niezawodnie zeskrobać przepustkę.

Gdybyś dobrze omówił i zrozumiał cały materiał, mógłbyś dostać dobrą ocenę.

Gdybyś wyszedł poza ramy i opanował materiał na kursie i miał dobrą wiedzę ogólną w tej dziedzinie, mógłbyś uzyskać ocenę doskonałą lub doskonałą.

Podobał mi się ten system, co oznaczało, że w późniejszych latach mogłem generalnie przeciągać uczniów, których uczyłem, przez egzamin na podstawie przewidywalnych rzeczy, a ty również zostałeś nagrodzony za samodzielną naukę.

Widzę, że ten problem obejmuje kilka poziomów informacji:

Na dole mamy zapamiętane informacje o kursie. Nie należy prosić studentów o powielanie definicji , faktów, aksjomatów i innych podstawowych informacji, które nie pojawiły się jeszcze w materiale kursu.

Następnie mamy „ techniki ”. Szczególnie w matematyce uczymy się technik rozwiązywania trudnych problemów. W innych dziedzinach techniki manifestują się jako metody, których używamy do wnioskowania, typy rozumowania, których używamy do interpretowania nowych sytuacji. Są one bardzo ogólne (jak integracja przez części, sztuczka epsilon nad n z wczesnych kursów analitycznych lub mniej sztywna logika, jak szerokie historyczne pojęcie, że głód odpowiada niestabilności, która zwiększa prawdopodobieństwo rewolucji) i można je łączyć na wiele interesujących sposobów. Wiele dobrych, nieznanych problemów można napisać przy użyciu znanych technik. Bardzo stosowne może być poproszenie uczniów o opracowanie nowej techniki rozwiązywania problemu w teście, o ile intuicyjny skok jest w pewnym stopniu uzasadniony. To jest osąd ze strony profesora, który może odzwierciedlać profesjonalizm.

Zdolność uczniów do adaptacji nowych technik zależy na ogół od ich zrozumienia szerokich nadrzędnych koncepcji . Opracowywanie zupełnie nowych koncepcji prawdopodobnie nie należy do sprawdzianów, ponieważ studenci raczej nie będą w stanie ich dobrze opanować pod presją egzaminacyjną. Ogólnie rzecz biorąc, egzaminy są metodą oceny aktualnej wiedzy studentów / zrozumienia materiału kursu. Powiedziałbym, że bardziej sprawiedliwe i właściwe jest wprowadzenie zupełnie nowych pojęć do pracy domowej i do wykładu, tak aby studenci mieli większe możliwości ich przyswojenia.

Moja odpowiedź jest nieco stronnicza na korzyść studentów, ponieważ miałem złe doświadczenia z takimi pytaniami.

TL; DR; Pytania „z zaskoczenia” są dobre i konieczne w niektórych przypadkach, ale nie sprawiają, że stanowią one 50% egzaminu.

Kiedy byłem studentem, mieliśmy kilku profesorów, którzy zaczęli zadawać ci pytania z zaskoczenia, kiedy ty wypadnij stosunkowo dobrze na egzaminie (ustnym). Wtedy mogą znaleźć coś, czego nie znasz i poważnie obniżyć ogólny wynik lub nawet Cię zawieść.

Byli profesorowie, którzy zadawali pytania niespodzianki na egzaminach pisemnych, oceniając je jako 40-50% samego testu.

Osobiście tego nienawidzę. W moim przypadku doprowadziło to do sytuacji, w której próbujesz nie uczyć się ogólnego materiału kursu, ale przewidywać pytania niespodzianki. Student ma więcej niż jeden kurs w tym samym czasie i czasami nie ma wystarczająco dużo czasu (lub zainteresowania), aby dogłębnie zrozumieć wszystkie kursy (poza programem) i po prostu chcesz zaliczyć kurs z oceną 75% lub w ogóle.

To oczywiście zależy od kierunku studiów. Jeśli jest to coś w rodzaju fizyki teoretycznej, konieczne jest posiadanie umiejętności myślenia nieszablonowego.

Podobało mi się podejście jednego z moich nauczycieli. Na egzaminie można uzyskać 110-115%, a ocena jaką otrzymujesz jest w 100%. 90% można uzyskać za pomocą zwykłych pytań, a 20–25% za pytania „z zaskoczenia”. Więc jeśli pilnie się uczysz, możesz uzyskać dobrą ocenę, a jeśli spędziłeś więcej czasu na tym przedmiocie, możesz nawet poruszyć drobne problemy pytaniami „niespodziankami”.

Wydaje mi się, że zależy to od szczegółów, kraju (inna kultura edukacyjna) i przedmiotu (niektóre z nich są w rzeczywistości ciężkie, inne bardziej skoncentrowane na rozwiązywaniu problemów).

Tak się składa, że ​​pochodzę z miejsce, w którym student, który potrafi rozwiązywać tylko te problemy z dziedziny STEM, które wyraźnie pokazały się na wykładzie lub przypisane jako lektura, uznawany jest za raczej mierny (poziom C). Zakładam, że są też różne podejścia edukacyjne.

Z drugiej strony, zadawanie pytania z niebieskiego może być niedozwolone i po prostu podłe.