Empiryczne dowody na związek między wynikami GRE a wynikami studiów podyplomowych

Istnieje obszerna metaanaliza Kuncel et al (2001), która empirycznie ocenia korelacje między różnymi aspektami GRE z wieloma kryteria oceny podyplomowej.

Opierając się na setkach badań i tysiącach uczestników, GRE wykazuje rozsądne korelacje z podyplomowymi GPA (tj. obserwowane około r = 0,21 do r = 0,43). Podobne korelacje pojawiły się między GRE a ocenami studentów na wydziale.

Korelacje GRE z produktywnością badań i liczbą cytowań publikacji były mniejsze, ale nadal pozytywne. Nie jest to zaskakujące, biorąc pod uwagę, że są to wyniki bardziej odległe i istnieje wiele pozanaukowych powodów, dla których ludzie mogą lub nie mogą kontynuować kariery naukowej lub uzyskiwać wyniki do publikacji.

Autorzy doszli więc do wniosku, że GRE jest ważnym predyktor szerokiego zakresu wyników absolwentów. Zauważyli również, że „testy przedmiotowe wydają się być lepszymi predyktorami niż testy werbalne, ilościowe i analityczne”.

Ogólnie rzecz biorąc, decyzjom o wyborze pomaga standaryzacja, a duża część osiągnięć akademickich obejmuje pomiar podstawowych umiejętności. W ten sposób GRE łączy w sobie zarówno standaryzację, jak i pomiar kompetencji.

Odpowiedź na komentarze

W innych odpowiedziach i komentarzach pojawiło się kilka uwag, które skomentuję tutaj:

• Konflikt interesów: @msw napisał, że „uważają cytowany artykuł za śmieciowy, ponieważ ETS dostarczył wszystkie dostępne dane”. Ogólnie rzecz biorąc, nie uważam wyników w metaanalizie za zaskakujące. Większość testów, takich jak GRE, ma zazwyczaj dość silną korelację z ogólnymi zdolnościami poznawczymi. Z tysięcy niezależnych badań wynika, że ​​wyniki IQ dość dobrze korelują zarówno z ocenami w szkole, jak i wynikami w pracy (tj. W zakresie r = 0,50; zob. Przegląd konsensusu terenowego Neisser i in. 1996). Wyniki pokazują korelacje mniejsze niż 0,50, ale nie jest to zaskakujące, biorąc pod uwagę niektóre kwestie związane ze standaryzacją, praktyką, ograniczeniem zakresu, specyfiką domeny itd.
• Przekonanie, że nie ma korelacji na podstawie danych osobowych obserwacja : Zwróć uwagę, że jeśli korelacja wynosi około 0,20, oznacza to, że wyjaśniono 4% wariancji. To pozostawia do wyjaśnienia ogromną ilość rozbieżności w działaniu. Nie byłoby zaskoczeniem, gdybyśmy spotkali wielu ludzi, którzy dobrze sobie radzili w GRE i biedni na studiach magisterskich lub odwrotnie. W związku z tym problematyczne jest poleganie na osobistych doświadczeniach, jeśli chodzi o ocenę trafności testów, w przypadku których takie korelacje mogą być jedynie skromne.
• Małe korelacje są przydatne : chociaż korelacja 0,20 jest niewielka, nadal może pomóc w podejmowaniu decyzji dotyczących wyboru. W szczególności, oceniając przydatność narzędzi selekcji, należy porównać ważność danego narzędzia z innymi dostępnymi narzędziami (np. Wywiady, GPA, referencje itd.). Nie jestem tak zaznajomiony z wynikami w dziedzinie selekcji absolwentów, ale z pewnością w dziedzinie selekcji pracowników, która jest dość analogiczna, testy zdolności poznawczych mają tendencję do większej korelacji niż wywiady, referencje itp. (Do kompleksowej metaanalizy pracowników selekcji, patrz Schmidt i Hunter, 1998). To powiedziawszy, najlepsze decyzje selekcyjne zazwyczaj uzyskuje się poprzez integrację wielu narzędzi selekcji. Co więcej, mała korelacja powinna również podkreślać osoby, które uzyskują słaby wynik w GRE, że nie jest ona aż tak przewidywalna, a zatem nie powinna zniechęcać osoby do kontynuowania studiów podyplomowych.
• Czy szkolenie unieważnia GRE? : @ user8134 napisał „wiele osób znacząco poprawia swoje wyniki GRE, biorąc udział w kursach w firmach przygotowujących, takich jak Kaplan. Wygląda więc na to, że test GRE nie mierzy żadnych wewnętrznych zdolności / talentów niezbędne do ukończenia szkoły ”. Zgadzam się, że indywidualne różnice w treningu i przygotowaniu do GRE mogą mieć wpływ na wyniki testów. To powiedziawszy, jeśli scharakteryzujesz wyniki testu, aby były określane przez prawdziwe umiejętności, trening i wariancję błędów, to spodziewałbym się, że prawdziwa zdolność pozostanie znacznie większym źródłem wyjaśnienia w wynikach testów. Opiera się to na ogólnych obserwacjach dotyczących testowania oceny opartej na umiejętnościach. Ogólnie rzecz biorąc, stopień, w jakim szkolenie jest problemem, zależy od tego, ile materiały egzaminacyjne uczą danego testu. Ogólnie założyłbym, że zmniejszyłoby to potencjalną ważność GRE, ale GRE byłby nadal użyteczny. Ponadto w wielu instrumentach selekcji można lepiej wykorzystać szkolenia i czynniki uciążliwe. Można na przykład uczyć ludzi, jak formułować swoje CV lub odpowiadać na pytania podczas wywiadów. Takie szkolenie jest potencjalnie źródłem wariancji błędów, ale nie unieważnia całkowicie CV i wywiadów.
• Dlaczego ktoś miałby obchodzić podyplomowe GPA? (@JeffE) @JeffE dalej zauważa "w programach doktoranckich jedyną rzeczą, która naprawdę ma znaczenie, jest dorobek naukowy studenta". Niektóre kursy podyplomowe obejmują znaczące, stopniowane zajęcia, a inne nie. W przypadku kursów, które obejmują znaczące zajęcia, takie zajęcia zapewniają bardziej znormalizowany sposób pomiaru wyników podyplomowych. Zatem słuszność GRE w przewidywaniu takich wyników nie jest zaskakująca. I w ten sposób przypuszczalnie moglibyśmy uogólnić to, wskazując na to, jak ludzie radzą sobie w mniej standardowych aspektach wyników podyplomowych. Oczywiście jest tu skok wnioskowy, ale ogólnie wyniki w pokrewnych dziedzinach mają tendencję do korelacji (np. Zajęcia z matematyki z wynikami badań w matematyce); nie jest doskonały, ale nadal jest dodatnią korelacją. Ponadto, jeśli badanie walidacyjne obejmuje zajęcia podyplomowe, w których każdy otrzymuje najwyższe oceny i takie dane są mieszane z badaniami, w których oceny są ważnymi miernikami osiągnięć, służyłoby to jedynie osłabieniu obserwowanej korelacji. Zatem sugerowałoby to, że korelacja między GRE a GPA podyplomowych jest wyższa niż wykazana w metaanalizie. Ponadto metaanaliza podaje korelacje z wynikami badań i są one słabsze, ale nadal pozytywne. Raportuje również korelacje z ocenami przełożonych.
• Lepsze alternatywy dla GRE : w żadnym z moich uwag powyżej nie zalecam koniecznie korzystania z GRE. Opracowanie skutecznego systemu selekcji i rekrutacji, czy to na zatrudnienie, czy na studia podyplomowe, jest zadaniem złożonym. To powiedziawszy, większość systemów selekcji podyplomowych chciałaby uzyskać wiarygodną i ważną miarę zdolności akademickich. GRE, testy IQ, inne testy umiejętności, licencjackie GPA, wszystkie mają wystarczające dowody ważności. Generalnie ważna jest standaryzacja i wydajność. Na przykład administrowanie własnymi narzędziami selekcji zajmuje więcej czasu, podczas gdy stosowanie wcześniej istniejących środków, takich jak GPA i GRE, jest bardziej wydajne.
• Etyka wymagająca od kandydatów zapłaty pieniędzy za ukończenie GRE: Kilka osób krytykuje GRE, twierdząc, że jego ukończenie kosztuje kilkaset dolarów. Myślę, że jest to całkowicie uzasadnione pytanie, ale na pytanie o trafność predykcyjną można odpowiedzieć osobno. Taka opłata mogłaby potencjalnie dyskryminować kandydatów o niskich dochodach. To powiedziawszy, przypuszczalnie opłata w porównaniu do utraconych zarobków związanych z ukończeniem studiów podyplomowych jest dość niska.

Referencje

• Kuncel, NR, Hezlett , SA, & Ones, DS (2001). Kompleksowa metaanaliza predykcyjnej ważności egzaminów dyplomowych: implikacje dla selekcji i wyników absolwentów. Biuletyn psychologiczny, 127 (1), 162. PDF
• Neisser, U., Boodoo, G., Bouchard Jr, TJ, Boykin, AW, Brody, N., Ceci , SJ, ... & Urbina, S. (1996). Inteligencja: znane i niewiadome. Amerykański psycholog, 51 (2), 77. PDF
• Schmidt, F. L., & Hunter, J. E. (1998). Trafność i użyteczność metod selekcji w psychologii personelu: praktyczne i teoretyczne implikacje 85 lat wyników badań. Biuletyn psychologiczny, 124 (2), 262. PDF

To dobre pytanie. Nie byłem fanem GRE od ponad 20 lat, chociaż (przy odrobinie szczęścia miałem na nim wystarczająco dobry numer, że mi to nie zaszkodziło ...) wielu jest. Będąc w komisjach rekrutacyjnych i bardzo zaangażowanym w programy dla absolwentów od ponad 30 lat, miałem wiele okazji, aby zobaczyć (nie) korelację sukcesu w matematyce dla absolwentów z wynikami z egzaminów przedmiotowych GRE. (Pozostałe części są często przydatne głównie jako testy znajomości języka angielskiego.)

Oczywiście świat byłby prostszy, gdyby wyniki egzaminów przedmiotowych GRE naprawdę mogły wykazać talent dla wyższej matematyki. Zwracamy uwagę, że Educational Testing Service (w New Jersey, który tworzy GRE i inne rzeczy) jest nastawiony na zysk, który ma żywotny interes w utrzymaniu widocznego znaczenia swoich produktów.

Koszt jest niefortunny, i z pewnością dyskryminuje ludzi, których waluta nie konkuruje dobrze z dolarem.

Mglisto przydatna informacja dostarczona przez GRE jest taka, że ​​cóż, tak, jest to jedyna rzecz, którą zrobiłaby większość wnioskodawców, a zatem jeśli ktoś nalega na „proste porównania”, to jedyna rzecz, która na to pozwala. Oczywiste jest, że porównanie GPA jest jeszcze bardziej bezcelowe.

Znam komisje rekrutacyjne, które po prostu klasyfikowały kandydatów według wyniku testu przedmiotowego GRE. Tam! Gotowe! :)

Nie, nie przejmuję się zbytnio liczbami GRE, ale w pewnym sensie cieszę się, że robią to niektóre komisje rekrutacyjne, w taki sposób, że niedoceniane akcje są dobrymi wartościami inwestycyjnymi.

Myślę, że elitarne programy dla absolwentów używają testu przedmiotowego GRE jako wygodnego filtra, ponieważ wybiera on nieco „szybkość / spryt” i mogą sobie pozwolić na „utratę” niektórych perspektyw, ponieważ mają tak wielu, którzy są „szybcy / sprytni”.

W Stanach Zjednoczonych posiadanie wyniku testu przedmiotowego GRE jest również oznaką świadomości, że ludzie oczekują, że go zdasz. Dlatego nie ma tak wielkiego znaczenia, jaki jest czyjś wynik, ale ten _jest_świadomy_ ... nawet jeśli są to tylko "oczekiwania".

Podsumowując, nie, nie widzę w tym sensu. Ale istnieją ekonomiczne zachęty dla ETS, aby nadal zarabiać pieniądze. A wiele komisji rekrutacyjnych w matematyce ma osobiste upodobania, które sprawiają, że lubią (zbyt) proste kwantyfikacje liczbowe, więc ... jesteśmy.

Edycja: jak zauważa @msw w komentarzu, rzeczywiście, gdyby GRE mierzył znaczące osiągnięcia akademickie skumulowane na przestrzeni kilku lat ... byłoby dziwne, że można by pożytecznie skorzystać z kursów „przygotowawczych” oferowanych przez ETS. :)

Tak, wydajność na GRE prawdopodobnie jest dobrym wskaźnikiem tego, jak dobrze dziecko może sobie poradzić w wielogodzinnym teście wielokrotnego wyboru itp. Tak, jeśli sprawimy, że kolejne zajęcia będą podobne do tego (!?), wówczas dajemy moc predykcyjną GRE. Nie, nie polecam robić wszystkiego wielokrotnego wyboru! Ale, co zdumiewające, niektórzy ludzie wierzą, że można to zrobić, i rzekomo zaoszczędzi nam wszystkim dużo pracy.

Oczywiście, te rzeczy mierzą coś i dają liczby, które mogą manipulować. Są ludzie, których nieubłaganie pociąga możliwość podjęcia ostatecznych decyzji w tych kategoriach, nawet jeśli znaczenie liczb jest niejasne. Tymczasem czytanie listów polecających i osobistych oświadczeń jest oczywiście niełatwe do oszacowania. Oczywiście!

Gdyby naprawdę „standardowe testowanie” mogło powiedzieć, co chcą insynuować jego promotorzy, byłoby to rzeczywiście wygodne. Ale znowu, kilkadziesiąt lat doświadczenia wskazuje, że testy te nie wskazują, czy ludzie mogą podtrzymywać zainteresowanie przez ponad 4 lata, ciężko pracować przez ponad 4 lata, nadal rozwijać wrażliwość naukową i tak dalej. . I te drugie kwestie okazują się znacznie ważniejsze dla uzyskania doktoratu. Na podstawie bezpośredniej obserwacji około 700+ absolwentów oszacowałbym, że mniej niż 20 wypadło lub poniosło porażkę z powodu braku zdolności intelektualnych lub braku wcześniejszej wiedzy. Dominuje raczej utrata zainteresowania tematem lub kwestie osobiste (zdrowie psychiczne / fizyczne). Ta moja „próbka” obejmuje bardzo szeroki zakres wyników GRE, a nawet GPA.

Bardziej anegdotycznie, kilka konkretnych przykładów utkwiło mi w pamięci, z bardzo niskim percentylem w teście przedmiotowym GRE (dolne 10 procent ...), ale wyjątkowe osiągnięcie w pracy na zajęciach, wstępach i pracy dyplomowej. Potencjał tych ludzi był łatwo widoczny w listach polecających i osobistych oświadczeniach.

W moim dziale wyniki GRE są używane głównie jako kalibracja dla studentów, którzy mają dobre oceny, ale pochodzą z uniwersytetów / programów, których nie znamy i których jakości nie jesteśmy w związku z tym pewni. Dla uczniów, którzy mają dobre referencje z dobrych programów, GRE jest prawie nieistotny.

Kilka kwestii:

Odp. komentarz pana Anglima, podejrzany problem dot. wszelka korelacja między wynikami GRE a sukcesem na grad. szkoła jest taka, że ​​wiele osób znacznie poprawia swoje wyniki w GRE, biorąc udział w kursach w firmach przygotowawczych, takich jak Kaplan. Wydaje się więc, że test GRE nie mierzy żadnych wrodzonych zdolności / talentów niezbędnych do uzyskania stopnia.

Inną kwestią jest to, że GRE jest formą pracy przymusowej: ETS wykorzystuje jedną z sekcji egzaminu (tylko, która część jest nieznana zdającemu) jako dane do przyszłych egzaminów, tj. sekcja nie jest wliczana do wyniku testu. Zasadniczo oczekuje się, że będzie pracować dla ETS za darmo, wytwarzając wysokiej jakości dane, za które trzeba będzie dużo zapłacić, lub może nie być w stanie wyprodukować samodzielnie. GRE wydaje również książki przygotowujące do egzaminów, które kosztują ponad 20 USD za sztukę.

Teraz ETS może znaleźć sposób na obejście tego problemu, pytając, powiedzmy: „Może być sekcja w tym teście, jako dane do przyszłych egzaminów: jeśli taki istnieje, czy byłbyś skłonny do niego przystąpić, czy wolisz go pominąć? ”. To - poproszenie cię o bezpłatną pracę - jest nieetyczne, IMO, jeśli nie nielegalne. A odpowiedzią BS na to (zadzwoniłem do nich) ETS jest: „Cóż, jeśli się nie zgadzasz, nie przystępuj do testu”. Problem polega na tym, że niektóre programy wymagają tego, aby ubiegać się o stopień. programy; ETS to Frank Burns testujący.

@Jonathan, gdybyś kiedykolwiek znalazł się na drugiej stronie, zobaczysz ogromną liczbę świetnych aplikacji od najlepszych studentów najlepszych uniwersytetów w Boliwii lub na Madagaskarze. Jak wypadają na tle najlepszych studentów czołowego uniwersytetu w Idaho? Albo prymusem z przeciętnego uniwersytetu w Massachusetts? Jeśli przyznajesz studentom, którzy planują ich używać jako asystentów, skąd wiesz, że ten student z Nepalu zostanie zrozumiany przez twoich uczniów w Tennessee, którzy serdecznie śmieją się z akcentów nowojorskich i kalifornijskich?

GRE pełni rolę takiego filtra i jako takie jest najtańszym, najłatwiejszym w użyciu narzędziem dostępnym dla szkół wyższych w USA. Jeśli możesz dostać pieniądze UNESCO na zaprojektowanie i wdrożenie wersji programu, która byłaby bezpłatna dla międzynarodowych kandydatów, być może dostaniesz za swoje wysiłki Nobels fredspris . (Nie jest to taki nierealny pomysł, jak się wydaje: alternatywny, swobodnie dostępny system operacyjny znany jako Linux został opracowany przez entuzjastów i pod wieloma względami zastąpił UNIX).

Jednym słowem, standaryzacja.

Kiedyś zadałem to pytanie koledze i doceniłem odpowiedź, jaką otrzymałem.

Zasadniczo wykładowca powiedział mi: „W GRE podoba mi się to, że jedyny sposób, w jaki mogę porównać jabłka z jabłkami. ”

Następnie wyjaśnił:„ Jak mogę porównać 3,2 GPA na Uniwersytecie X z 3,7 GPA na Uniwersytecie Y? Nie mogę. Ale na najmniej z wynikami GRE, mogę porównać dwóch uczniów na równych szansach. ”

Moja riposta była taka, że ​​wysoki wynik GRE niekoniecznie jest dobrym wskaźnikiem potencjału w szkole wyższej, chociaż może być dobry wskaźnik do określenia ilości czasu, jaki potencjalny student spędził na przygotowaniach do testu. (Mam wiele punktów z mojej książki ćwiczeniowej How to Ace the GRE .)

Chętnie się zgodził i zapewnił mnie, że to tylko jeden element układanki. Biuro rekrutacyjne ma tylko tyle do zrobienia: transkrypcja, wynik GRE i być może list motywacyjny „Dlaczego chcę iść do szkoły podyplomowej”.

Moglibyśmy wyrzucić GRE, ale wtedy byłoby o wiele mniej informacji, na których można by oprzeć decyzje o przyjęciu.

Moje przeczucie podpowiada mi, że negatywy obejmują koszty i kłopoty kandydata oraz ograniczoną możliwość przewidzenia, jak uczeń faktycznie będzie postępował. Ale muszę przyznać, że mój kolega miał rację z jego perspektywą „jabłka w jabłka”.

To wyjaśnia jakość naszych doktoratów, prawda? Osobiście uważam, że amerykański system edukacji jest znacznie bardziej pogrążony w głupich i właściwie niebezpiecznych formalnościach niż szkoły w Europie, ogólnie mówiąc. Byłem zaskoczony, gdy dowiedziałem się o tym z pierwszej ręki, ponieważ powszechny konsensus jest taki, że Europa cierpi z powodu wielu bezcelowych formalności, których nie mają Stany Zjednoczone. Problem w tym, że jest to błąd kategorii: skomplikowane formalności biurokratyczne: tak; większa formalność społeczna: czasami zależy; formalności edukacyjne, niekoniecznie. Istnieje również różnica między formalnością a sztywnością. Podczas gdy tytuły są ważniejsze w Europie, gdy zwracamy się do siebie nawzajem, w rzeczywistości mogą wymusić bardzo zdrowe relacje między studentem a profesorem, co umożliwia pojawienie się zdrowej elastyczności i nieformalności. Zwykła kultura „kumpla” w USA jest w rzeczywistości zbyt przyjacielska, co zachęca do braku szacunku i myślę, że reakcją na nią jest pewien rodzaj kipiącej sztywności, która przejawia się w niezdrowej i dominującej wielokrotnie relacji student-profesor. Ale błądzę. Kiedy osobiście doświadczyłem amerykańskiej edukacji, wydawała się infantylna w jej wykonywaniu, a GRE należą do tego zestawu rzeczy, które przyczyniają się do kultury małostkowości (inne rzeczy obejmują doktrynę „publikuj lub giń”, która spowodowała eksplozję BS i Wypełnianie CV bzdury i „kariera akademicka” (mam nadzieję, że to dobrze przekłada się na angielski). Podczas gdy w Europie są egzaminy wstępne, przyjęcie do szkoły podyplomowej odbywa się według innych kryteriów. Nie zawsze jest to optymalne, ale z pewnością mniej irytujące niż ten test bez nonsensu.

Przy okazji uważam, że wspomniane powyżej korelacje są właśnie problemem. Popełniają ten sam błąd, wyciągając sztywne i często błędne wnioski z bardzo słabego wyboru danych.

Uważam, że edukacja uniwersytecka na całym świecie została zrujnowana przez presję, aby wszyscy przez nią przeszli. To, co masz, to w większości przypadków gloryfikowane szkoły zawodowe, w których miliony kandydatów przepychają się tak, jakby przechodzili przez wojskowy egzamin wstępny, w którym wąskie wskaźniki poświęcają złożoność na rzecz pomiarów prostej rutyny. Jest bardzo korporacyjny i podatny na wyścig szczurów. Szkoła podyplomowa powinna być ostatnim miejscem, w którym przejawia się tego rodzaju małostkowość, a jednak ...

Podsumowanie: GRE są wynikiem kultury, współczesnej (amerykańskiej) kultury uniwersyteckiej, podobnie jak głupie innowacje niemieckiego uniwersytet, który starał się oznaczyć i odłożyć każdego człowieka na określone miejsca w maszynie Rzeszy.