Pytanie:
Oceniam egzaminy razem z kolegą, ale nie zgadzam się z ich oceną. Co powinienem zrobić?
Bollehenk
2018-10-24 12:30:27 UTC
view on stackexchange narkive permalink

Ostatnio, razem z kolegą z innego działu, zdałam egzaminy (50 szt.). Czułem, że mój kolega przyznaje zbyt wiele punktów za błędne / niepełne odpowiedzi. Na przykład przyznawanie punktów za samo wpisanie informacji na temat pytania (wartość i jednostki parametrów) na arkuszu odpowiedzi; lub przyznawanie punktów za skopiowanie jednej z formuł z arkusza z formułami do arkusza odpowiedzi, gdy nie jest to szczegółowo opisane w szablonie ocen

Podczas oceniania egzaminów omówiłem to z kolegą i zdecydowałem się przeważnie przestrzegać jego „system przyznawania punktów”, tak aby nie tworzył niesprawiedliwej klasyfikacji między podgrupami całej populacji. Później omówiłem to ponownie, ale czuję, że mój kolega nie jest chętny do zmiany swojego stylu oceniania.

Jakie następne kroki mógłbym podjąć? Czy konieczne jest, aby cała uczelnia miała taki sam styl oceniania?

ps: Kurs jest prowadzony przez ich wydział i pomagam od tego roku, ponieważ pokrywa się z moją wiedzą. Ma zdawalność ~ 50%.

ps2: Nie chodzi o to, że jego system przyznawania punktów jest tak luźny, że uczniowie z 3/10 nagle otrzymają 6/10, ale z pewnością zmieni to wynik zaliczenia kursu dla niektórych uczniów.

Dlaczego uważasz, że Twój kolega daje za dużo punktów?Ludzie będą się nie zgadzać, to po prostu fakt w życiu, i jeśli nie możesz podać solidnych, obiektywnych argumentów, że jest zbyt `` przegrany '' (co, jak wyobrażam sobie, jest niemożliwe podczas oceniania, ponieważ różni ludzie inaczej oceniają różne części odpowiedzi), brzmijak po prostu musisz się zgodzić, aby się nie zgodzić
Przykłady: Przyznawanie punktów za samo wpisanie informacji na temat pytania (wartość i jednostki parametrów) na arkuszu odpowiedzi.Lub przyznawanie punktów za skopiowanie jednej z formuł z arkusza z formułami do arkusza odpowiedzi, jeśli nie zostało to szczegółowo opisane w szablonie ocen.
@Bollehenk - na jakim poziomie to się odbywa?Przyznawanie ocen cząstkowych za identyfikację prawidłowych technik (formuł) nie * koniecznie * brzmi nieracjonalnie, chociaż wyodrębnienie wartości / jednostek może być dyskusyjne w zależności od ilości pracy wymaganej do ich wyodrębnienia oraz poziomu nauki.
Czy równie ważne jest, aby przyszedł tutaj i zadał to samo pytanie, ale powiedział, że „przyznajesz zbyt mało punktów za błędne / niepełne odpowiedzi”?
Przydałoby się wiedzieć, w jakiej dziedzinie się to znajduje. Subiektywność jest znacznie wyższa w niektórych dyscyplinach (klasyka, filozofia) niż w innych (inżynieria mechaniczna ... itd.).
@J ... biorąc pod uwagę, że przykłady to wartości, jednostki, parametry i formuły, zaryzykowałbym zgadywanie w polu STEM.
Co myślisz o innym wydziale wymagającym zmiany sposobu oceniania własnych kursów?
@Kevin Nie widziałem nic na ten temat w pytaniu, ale teraz widzę, że zostało to odnotowane w komentarzach.Powinien prawdopodobnie zmienić te szczegóły w pytaniu.
Siedem odpowiedzi:
Ben
2018-10-24 14:43:35 UTC
view on stackexchange narkive permalink

Niech każda osoba oceni inne pytania , a nie różne uczniów.

Konsekwencja w ocenianiu jest ważna i jest to niesprawiedliwe dla uczniów, jeśli ich oceny zależą w dużej mierze od przydzielenia ich pracy oceniającemu. Z tego powodu, jeśli musisz podzielić obowiązki oceniania z innym kolegą za konkretny element oceny, najlepiej jest podzielić obowiązki związane z oceną za pytania , zamiast dzielić ocenę uczniów . Na przykład jedna osoba wystawia oceny Q1-3 na wszystkich papierach , a druga ocenia Q4-6 ze wszystkich arkuszy . W ten sposób każdy uczeń jest oceniany przez tę samą osobę za to samo pytanie. (Logistycznie rzecz biorąc, każdy z was powinien ocenić swoje pytania na połowie arkuszy, a następnie zamienić się nimi.)

Wygląda na to, że ten statek już płynął, a Ty popełniłeś początkujący błąd dzielenia ocen dla uczniów, różni ludzie oznaczający różnych uczniów. Wygląda na to, że próbowałeś omówić to ze swoim współpracownikiem, ale wyczerpałeś już próby zmiany jego oceny . W takim przypadku, nawet jeśli twój własny styl oceniania jest lepszy od twojego kolegi, dostosowanie się do jego poziomu oceny na potrzeby tej oceny jest prawdopodobnie rozsądną drugą najlepszą opcją, po prostu po to, aby zachować spójność poziomu przyznawanych ocen . W przyszłości staraj się unikać tego problemu razem, dzieląc oceny na pytania zamiast na uczniów.

Muszę się zgodzić, dzielenie pytań jest DUŻO lepsze niż dzielenie uczniów i próbowałem obu w przeszłości.
A właściwie to dziwne, że ta metoda nie jest obowiązkowa / egzekwowana przez uniwersytet
Na pierwszym egzaminie z matematyki, który napisałem, ocenianie było wykonywane w czasie poniżej 24 godzin przy użyciu „linii montażowej”, a każdy z TA oceniał jedno pytanie.Gdy pierwszy TA oceni pierwsze pytanie z pierwszego egzaminu, drugi TA może rozpocząć pracę nad drugim pytaniem z pierwszego egzaminu, czas realizacji jest zminimalizowany i żaden egzamin nie przechodzi przez żadne miejsce w procesie wymiany.Następnie osobisty asystent prof. Podsumował tylko punkty, a profesor podpisał egzamin.
Mój przyjaciel robi TA w Kanadzie i używają dokładnie tego systemu.W rzeczywistości arkusze papieru są skanowane, oprogramowanie dzieli obrazy na różne pytania, a asystentowi przypisuje się jedno z pytań i równolegle dokonuje oceny online, więc kto jest szybszy, nie musi czekać na innych asystentów przed uzyskaniemegzaminy do oceny.Oczywiście wymaga bardzo dobrego systemu do skanowania i dzielenia, w przeciwnym razie jest to niewykonalne.
Z tego właśnie powodu używamy zszytych arkuszy odpowiedzi, w których każda odpowiedź na każde pytanie musi być umieszczona na oddzielnym arkuszu.Po zdaniu egzaminów rozdzieramy je na części i rozdajemy pytania oceniającym, tak aby jeden oceniający otrzymał wszystkie arkusze z określonym pytaniem
@damian Dziękuję, że wreszcie uświadomiłeś mi, dlaczego musiałem wpisać swoje imię i nazwisko / identyfikator na każdej stronie (niektórych) moich egzaminów.
Spójność w ocenianiu jest (prawie) niemożliwa IMHO.Jej domniemanie jest zarozumiałością.Ale - dzielenie pytań jest rzeczywiście dobrą rzeczą.
@mbrig niekoniecznie jest to spowodowane tym, że wiele osób zaznacza oddzielne strony, umieszczenie swojego imienia i nazwiska na każdym arkuszu gwarantuje, że jeśli strona zostanie z jakiegokolwiek powodu luźna, nadal będzie można ją dopasować do właściwego ucznia.
Warto zaznaczyć, że to jeszcze nie jest idealne rozwiązanie: jeśli na egzaminie są pytania typu A i B, a poprawiasz tylko typy B, może się zdarzyć, że uczniowie o podobnym poziomie umiejętności, ale jeden jest dobry na poziomie A, a drugidobry na poziomie B, uzyskaj zupełnie inne oceny.Jeśli to możliwe, uważam, że dobrze jest nie dzielić pytań na podstawie typu pytania
@David kilka powodów, dla których to podejście nie jest obowiązkowe.Jednym z nich jest to, że w przypadku dużych klas (wielu setek) jest to niewykonalne.Innym jest to, że posiadanie wielu markerów pozwala na moderację, uniemożliwiając punktowanie jednego pytania w zupełnie inny sposób niż inne.Ale jeśli masz wiele znaczników pytania, musisz mieć schemat oceniania, który jest uzgodniony przez wszystkie znaczniki i jest przestrzegany (chociaż może ewoluować, gdy napotykane są różne prawidłowe odpowiedzi).
@DaveCousineau może tak być, ale jeśli zostaniesz poproszony o wykonanie jednego ćwiczenia na stronę - lub coś podobnego - myślę, że poprzedni komentarz jest całkiem słuszny ...
Chociaż rozwiązuje to praktyczne aspekty uzyskiwania przez uczniów takiej samej oceny z tego samego pytania, nie rozwiązuje to problemu, że schemat oceniania drugiej osoby jest przede wszystkim niezadowalający;nie rozwiązuje też aktualnego problemu: dwie osoby oceniające to samo pytanie różnymi metodami.To rozwiązanie zapobiegłoby temu problemowi, ale nie rozwiązałoby go po jego wystąpieniu
R.M.
2018-10-24 20:04:24 UTC
view on stackexchange narkive permalink

Ostateczną odpowiedzialność za prowadzenie kursu, w tym za ocenianie *, ponosi rekordowy instruktor. Wygląda na to, że nie jesteś nauczycielem rekordu, a raczej kimś, kto pomaga w ocenianiu, tak naprawdę nie jest twoim miejscem, aby określić, co jest, a co nie jest właściwe.

Jeśli nie zgadzasz się z inny oceniający na temat oceniania egzaminów i nie może rozwiązać tego problemu, korzystając z informacji już przekazanych (powiedziałeś, że szablon oceniania był niewystarczający, aby to zrobić), wtedy należy omówić to z osobą prowadzącą ten kurs ( rekordowy instruktor) i zobacz, co o tym mówią.

Teraz z pewnością nie chcesz im zawracać głowy każdym najmniejszym szczegółem ocen, ale jeśli jest to przypadek różnic na dużą skalę, gdzie filozoficzne różnice w sposobie przeprowadzania ocen w znaczący sposób zmieniłyby oceny uczniów, dokładnie w ten sposób osoba prowadząca kurs powinna pośredniczyć.

Zwróć uwagę, że sprawy stają się nieco bardziej złożone, gdy jest to kurs zespołowy, w którym jest wielu „głównych” instruktorów. Jednak w takich sytuacjach zwykle jest tak, że każdy instruktor przejmuje prowadzenie w określonym temacie. W związku z tym powinni być traktowani jako główna opinia w kwestiach specyficznych dla ich tematu. (Kwestie, które dotyczą wielu tematów, powinny być rozstrzygane za obopólną zgodą „głównych” instruktorów.)


*) Z zastrzeżeniem, że niektóre kursy muszą spełniać normy wydziałowe lub akredytacyjne. Ale nawet w takich przypadkach to instruktor jest odpowiedzialny za upewnienie się, że te standardy są przestrzegane.

Ta odpowiedź wydaje się mylić administracyjne pojęcie odpowiedzialności z akademickim pojęciem odpowiedzialności.Mówiąc prosto, nie lubię niesprawiedliwych ocen i słabej praktyki akademickiej w moich modułach, nawet jeśli nie jestem formalnym liderem modułu.
@DmitrySavostyanov Z pewnością nie sugeruję, że powinieneś znosić nieuczciwe praktyki lub że nie powinieneś brać odpowiedzialności akademickiej za swoje działania, jeśli nie jesteś instruktorem.Mówię tylko, że osobą, która jest ostatecznie odpowiedzialna za sposób prowadzenia kursu, jest osoba, której nazwisko znajduje się w katalogu kursów.- Pytanie PO jest jedną z dwóch osób, które mają uczciwe różnice filozoficzne dotyczące interpretacji niejednoznacznej rubryki.Wskazałem tylko, że powinni skonsultować się z osobą odpowiedzialną za rubrykę.
kwah
2018-10-25 05:02:02 UTC
view on stackexchange narkive permalink

W mojej instytucji typowe jest podwójne oznaczanie 20% zgłoszeń w celu standaryzacji / moderacji.

Może to oznaczać, że 80% zostanie oznaczonych pojedynczo, a 20% zostanie oznaczonych podwójnie, lub może to oznaczać, że dwa markery oceniają po 60% każdy (2x nakładanie się 10%). W przypadku ocen o niskiej wadze jest to uważane za zalecaną najlepszą praktykę, chociaż jest obowiązkowe w przypadku ocen o dużej wadze.

Jeśli w Twojej instytucji nie istnieją takie rozwiązania dotyczące standaryzacji / moderowania ocen, być może warto zasugerować, że to (lub coś podobnego) zostało wdrożone.

Nie znając swojego działu, trudno powiedzieć, czy jest to właściwe (lub wykonalne), zaimplementowane dla Twojej obecnej kohorty zgłoszeń, w przeciwnym razie bądź częścią nacisku na wprowadzenie szerszej zmiany.


Kilka uwag na temat tego procesu, dla ciekawskich:

Tam, gdzie istnieje różnica między wieloma znacznikami dla każdego indywidualnego zgłoszenia, to do markerów należy ustalenie uzgodnionej oceny. W przypadku, gdy nie można uzgodnić uzgodnionej oceny, zostaje ona eskalowana w ramach działu mediacji.

W przypadku stwierdzenia znaczącej różnicy między wieloma znacznikami w wielu zgłoszeniach, cała kohorta musi zostać podwójnie zaznaczona (a wszelkie różnice w ocenie należy uzgodnić, jak opisano powyżej). Naszym punktem odniesienia dla „znaczącej różnicy” jest średnie odchylenie (korekta)> = 7%.

einpoklum
2018-10-25 04:06:50 UTC
view on stackexchange narkive permalink

Po pierwsze, @ Ben sugestia, aby podzielić oceny w pionie, a nie w poziomie - pytania zamiast uczniów - jest dobra i praktyczna niezależnie od wszystkiego innego.

Biorąc to pod uwagę, sugeruję rozważ następujące kwestie:

  1. Porzuć fantazję, a może lepiej mówiąc: zarozumiałość, że ocenianie jest spójne. Tak nie jest ze względu na zillion czynników: egzaminy nie mają stałego poziomu trudności; dystrybucja zdolności uczniów nie zsynchronizowana z kształtowaniem krzywej ocen; poczucie wagi błędów jest różne dla tej samej osoby przy pierwszych spotkaniach i przy drugich; nastroje się zmieniają; nieświadome uprzedzenia (na przykład: wobec ludzi z niechlujnym pismem); i tak dalej.
  2. Spróbuj zaplanować dyskusję na temat zasad oceniania dla wszystkich oceniających i autorów egzaminów przed następnym egzaminem (w następnym semestrze?). W tej dyskusji przedstaw konkretne scenariusze wymagające dokładniejszego osądu, a nie tylko „ile punktów za jakie pytanie”.
  3. Rozważ argumentowanie za bardziej szczegółową oceną kursu. Jestem fanem Pass / Fail (lub Pass / Fail / Excellent) i nie lubię skal liczbowych, zwłaszcza 0..100 lub stopni ułamkowych. Mogę być pewny spojrzenia na kogoś i powiedzenia „Tak, rozumiesz, czego tutaj nauczyliśmy, zdasz”. lub „Nie, nie rozumiesz - przegrywasz”. A jeśli ktoś jest z pogranicza, to jest kwestią polityki, czy go zdać, czy oblać (osobiście miałbym skłonność do porażki). Ale naprawdę nie potrafię uzasadnić, dlaczego ktoś ma 63 lata, a inny 64,7. Wydaje mi się, że pomagam tylko w jakimś arbitralnym mechanizmie przemysłowej manipulacji masą, przypisując tego rodzaju liczby ludziom.

PS - Te trzy sugestie są w większości ortogonalne.

„* Porzuć [fantazję / zarozumiałość], że ocenianie jest spójne. To nie jest *”.W rzeczy samej.Jest to niedostatecznie reprezentowane w tym wątku, ale także na uniwersytetach.Ocena może mieć wpływ na lata czyjegoś życia: nie każdy jest prostym szóstką lub całkowitą porażką, więc dla wielu uczniów te różnice mają wpływ.Osobiście zwykle mi się to udawało, ale widziałem wielu studentów, którzy ciężko pracowali, a potem oblewali kurs, podczas gdy ich rówieśnicy zdawali, nawet jeśli ci rówieśnicy byli równie lepsi, jak gorsi.Nie tylko styl / uprzedzenia oceniania, nawet studiowanie właściwych stron stwarza wariancję.
@Luc: Myślę, że wyjaśniasz, że ocenianie nie zawsze jest „trafne”, a nie „spójne”.Mówiłem o ocenianiu nadesłanych prac, które, jak można by argumentować, są tej samej jakości i reprezentują tę samą znajomość materiału.
Ocena jest niespójna, ale to zła rzecz.Lepiej jest spróbować zwiększyć spójność niż ją zmniejszyć.
fjack
2018-10-26 05:19:14 UTC
view on stackexchange narkive permalink

Otrzymane odpowiedzi są naprawdę doskonałe. Chciałem tylko dodać jedną małą obserwację. Mówisz, że zdawałeś te egzaminy

z kolegą z innego działu

i że

Kurs jest prowadzony przez ich wydział i pomagam od tego roku, ponieważ pokrywa się z moją wiedzą.

Jak sam przyznajesz, są mniej więcej gościem w swoim dziale, wyświadczając im przysługę, pomagając. Oznacza to, że ostatecznie nie jesteś odpowiedzialny za oceny .

Dmitry Grigoryev
2018-10-24 20:25:07 UTC
view on stackexchange narkive permalink

Jeśli znaczna liczba ukończonych prac została oceniona przez różne osoby, możesz rozważyć dodanie poprawki, tak aby prace wykonane przez każdego oceniającego miały tę samą średnią ocenę (i najlepiej taką samą wariancję). Nie eliminuje to wszystkich niespójności, ale przynajmniej sprawia, że ​​ocenianie jest statystycznie sprawiedliwe.

W teorii brzmi dobrze, ale jak to osiągnąć?
Rzetelność statystyczna jest dobra tylko w przypadku raportów statystycznych.Dla uczniów musisz wyjaśnić, dlaczego punkty są przyznawane / odbierane, a także przekazać przydatne informacje zwrotne i sugestie dotyczące ulepszeń.
afrothetics
2018-10-26 03:23:29 UTC
view on stackexchange narkive permalink

Doskonała dyskusja i czytanie komentarzy sprawia mi przyjemność. Jako student, podczas moich pierwszych dwóch lat stanąłem w obliczu skrajnych w dwóch przypadkach uprzedzeń. Tylko dzięki wytrwałości i mentorowaniu dwóch profesorów udało mi się to pokonać. Zatem naczelną zasadą w mojej własnej karierze nauczycielskiej było pozwolenie uczniom na sukces lub porażkę z ich własnych zasług .

Podobnie jak @einpokum, nienawidziłem krzywej dzwonka, wierząc, że jest zarówno przestarzała, jak i niesprawiedliwa. Jednym z goryli w sali jest fakt, że niektórzy studenci na każdym kampusie, głównie poprzez różne organizacje, zwłaszcza te z grecką literą, mają dostęp do egzaminów i dokumentów niż studenci niepowiązani. Jako doktorant zgubiłem szereg prac ocenianych przez profesorów, którzy zostawiali je przed wydziałami. Jako profesor, kilka przesłanych mi prac, które uznałem za plagiat. Ochrona uczciwości oceny uczniów jest obowiązkiem instytucji.

Z własnego doświadczenia wynika, że ​​po pierwszym roku nauczania na poziomie college'u wprowadziłem coś, co nazwałem oceną rozwojową , wierząc że nauczyciele są odpowiedzialni za zapewnienie ram, w których wszyscy uczniowie mają szansę odnieść sukces. Jest to koncepcja, której nauczyłem się w przedszkolu od dwóch bardzo inteligentnych nauczycieli i od tamtej pory pozostawała w mojej świadomości. Ich zastosowanie miało wyłącznie charakter środowiskowy. Podejście, które zastosowałem, było również ekologiczne, ale skupiało się na ocenie uczniów i było trzystopniowe:

  1. Uczniowie przystąpili do egzaminu, który został oceniony przeze mnie, a później przez innych jako liczby studentów na moich kursach ogólnych wzrósł z mniej niż 20, gdy zaczynałem, do ponad 100.

  2. Gdy znane były oceny, uczniowie mogli ubiegać się o ponowne przystąpienie do egzaminu przez połowę punkty za każde pytanie, które „przegapili” na egzaminie wstępnym. Zostałyby dodane do ich wcześniejszej oceny.

  3. Jeśli nadal nie są usatysfakcjonowani, mogli przystąpić do egzaminu ustnego przed całą klasą, a następnie ocenić ich wyniki.

Chociaż było kilku, którzy zdecydowali się na # 2, nikt nie ubiegał się o opcję 3. Miałem nadzieję, że przynajmniej jeden z nich określi, w jaki sposób uczniowie zareagują.

Dopiero po zakończeniu drugiej fazy uczniowie razem przeszli egzamin, aby podzielić się swoimi przemyśleniami o każdym pytaniu i oczekiwanych odpowiedziach. Później zostało to zmodyfikowane, aby uczniowie mogli zdawać egzamin z asystentami studentów lub innymi profesorami, w zależności od kursu.

Drugą zasadą mojej oceny, której ostatecznie nauczyli się uczniowie, było to, że trzy poprzednie egzaminy miały mniej wpływ na ich końcową ocenę niż na kompleksowy finał; oraz, że te egzaminy i dyskusja uzupełniająca miały na celu pomóc im osiągnąć lepsze wyniki w finale. W rzeczywistości uczeń mógłby słabo radzić sobie na wszystkich innych egzaminach (z wyjątkiem słabej frekwencji lub w inny sposób niespełniającego minimalnych parametrów), uzyskać ocenę A z egzaminu końcowego i ocenę A na ocenę. Niektórym studentom bez wątpienia wydawało się to prezentem, ale dostali lepszą ocenę. Czemu? Uważałem, że finały nie miały na celu uzyskania określonej procentowej oceny w stosunku do wszystkich innych kryteriów, ale sprawdzenie tego, czego uczniowie kompleksowo nauczyli się ogólnie z przedmiotu kursu. Egzaminy końcowe były jedną z moich podstawowych przyjemności, podobnie jak wyśmienita kawa, którą piłem, aby przejść przez nie. :)

Mogę dodać, że egzaminy nie były jedynymi czynnikami składającymi się na ocenę końcową, ale recenzje książek, raporty o prelegentach lub aktywności na kampusie związane z zajęciami lub quizy, które wywołali, nie zadając pytań wywołane moim pytaniem pod koniec każdego kursu - czy są jakieś pytania? Podejrzewam, że podobnie jak wielu z was, nauczanie obejmuje uczenie się złożonych koncepcji i redukowanie ich do poziomu ósmej klasy, aby większość uczniów pierwszego i drugiego roku mogła zrozumieć, o czym mówimy.



To pytanie i odpowiedź zostało automatycznie przetłumaczone z języka angielskiego.Oryginalna treść jest dostępna na stackexchange, za co dziękujemy za licencję cc by-sa 4.0, w ramach której jest rozpowszechniana.
Loading...