Pytanie:
Proces recenzowania otwarty i niewidoczny
user102
2012-03-07 15:21:52 UTC
view on stackexchange narkive permalink

Pytanie, nad którym zastanawiałem się od jakiegoś czasu, dotyczy tego, czy istnieje rzeczywisty dowód na to, że proces recenzowania ślepego (tj. gdy recenzenci są anonimowi, a recenzje niepublikowane) jest lepszy niż otwarty (tj. gdzie recenzenci są nieanonimowe i / lub recenzje są publikowane wraz z zaakceptowanymi artykułami).

Zasadniczo, ilekroć kwestionuję fakt, że proces recenzowania na ślepo nie gwarantuje żadnej jakości (co w jakiś sposób zwykle zbiega się z otrzymaniem kiepskiej recenzji artykułu ...) anonimowość ma kluczowe znaczenie dla procesu recenzowania. Ale czy jest na to jakiś dowód? Nie wierzę, że istnieje doskonały system, ale po prostu nie jestem pewien, dlaczego ślepy (lub nawet podwójnie ślepy) jest uważany za najlepszy (lub „najmniej gorszy”).

"Lepszy"? Co to znaczy „lepiej”?
@JeffE: Dobre pytanie, powiedziałbym, że poprawa jakości, w perspektywie krótko- i długoterminowej, wyników naukowych.
Ciekawe pytanie, zwłaszcza biorąc pod uwagę, że publikowanie i komentowanie w AcademicSE nie jest ślepe, podczas gdy głosy w górę iw dół są.
Powiązane pytanie o to, dlaczego takie recenzje są konieczne: https://academia.stackexchange.com/questions/101400/will-a-conference-paper-submission-have-greater-credibility-if-a-teacher-is-a-co
Sześć odpowiedzi:
#1
+23
Joel Reyes Noche
2012-03-07 16:51:10 UTC
view on stackexchange narkive permalink

Badanie z 2008 roku zatytułowane Recenzja w czasopismach naukowych - perspektywa społeczności naukowej: badanie międzynarodowe miało na celu „pomiar postaw i zachowań społeczności akademickiej w odniesieniu do recenzowania”. Niektóre cytaty z podsumowania:

Preferowano podwójnie ślepą recenzję. Chociaż normalne doświadczenie badaczy w większości dziedzin polegało na przeprowadzaniu przeglądu z pojedynczą ślepą próbą, zapytani o to, która opcja jest ich preferowana, preferowano podwójnie zaślepioną recenzję, przy czym 56% wybrało tę opcję, a następnie 25% - pojedynczą ślepą próbę13. % dla otwartej i 5% dla recenzji po publikacji. Otwarta wzajemna recenzja była aktywnym zniechęceniem dla wielu recenzentów, a 49% stwierdziło, że ujawnienie ich nazwiska autorowi zmniejszyłoby prawdopodobieństwo, że będą recenzować.

i

Podwójnie ślepa ocena została uznana za najbardziej skuteczną. Recenzja podwójnie ślepa miała najwięcej respondentów (71%), którzy postrzegali ją jako skuteczną, następnie (w kolejności malejącej) jedno ślepe (52%), po publikacji (37%) i otwarte recenzowanie (27%).

artykuł z 2008 roku w Nature (i poprawka) omawia powyższe badanie, ale artykuł jest o recenzji z podwójnie ślepą próbą w porównaniu z recenzją z pojedynczą ślepą próbą, a nie o recenzji w ciemno i recenzji otwartej.

Ten artykuł wydaje się dobry, ale wydaje się, że dotyczy problemu ślepej recenzji w porównaniu z podwójną ślepą, która jest nieco inna niż ślepa kontra otwarta. (Właściwie nie mogę teraz uzyskać dostępu do łącza, nature.com nie odpowiada, więc spróbuję przeczytać go później).
Możesz również sprawdzić http://www.nature.com/nature/peerreview/index.html.Zgodnie ze źródłem, o którym wspomniałem w moim poprzednim komentarzu: „W 2006 r. Czasopismo Nature przeprowadziło próbę otwartej recenzji; to nie był sukces - pomimo zainteresowania badaniem, tylko niewielka część autorów zdecydowała się na udział i otrzymano tylko kilka komentarzy, z których wiele nie było merytorycznych. Opinie sugerowały „, że wśród badaczy istnieje wyraźna niechęć komentarze ”.
Dziękuję, drugi link (opublikujresearch.net) odpowiada na pytanie, które mnie interesuje. Czy mógłbyś przeformułować swoją odpowiedź, aby ją uwzględnić?
Ponadto zauważę, że nie udowadniają, że otwarta recenzja obniża jakość, ale tylko, że recenzenci są bardziej niechętni do recenzowania, gdy jest otwarta. Po pierwsze, gdybyśmy mieli model, w którym recenzenci byliby opłacani za recenzję, niechętnie robiliby to za darmo, ale to nie znaczy, że darmowy model jest najgorszy. Po drugie, naprawdę chciałbym wiedzieć, jak zmienia się ta postawa w.r.t. do bycia w post lub przed internetowym pokoleniem badacza.
Dwukrotnie zredagowałem moją odpowiedź, aby uwzględnić dwa powyższe komentarze. Usunąłem również moje dwa wcześniejsze komentarze, ponieważ przeniosłem ich zawartość do mojej odpowiedzi. Sugeruję, abyś nie wymazywał swoich komentarzy, ponieważ pozostawia to zapis Twojej „otwartej recenzji” mojego „artykułu”. :)
Dziękuję za redagowanie, przyjmuję odpowiedź, bo to chyba najbardziej „obiektywne”, jakie mogę uzyskać :) Ale podtrzymuję swój komentarz, że nie jest pokazane, że otwarte recenzowanie obniża samą jakość, ale tylko, że ludzie są niechętni (ale ja też przyznać, że bardzo trudno byłoby zmierzyć różnicę w jakości).
Odpowiada to na pytanie „Czy autorzy _ wolą_ ślepe recenzowanie na otwieranie recenzji?” Jednak pierwotne pytanie dotyczyło tego, czy recenzowanie w ciemno jest _właściwie_ lepsze_ niż recenzowanie otwarte - czy istnieją opublikowane dowody na to, że ślepe recenzowanie _ faktycznie_ prowadzi do publikacji o wyższej jakości?
@JeffE, co do pierwszego zdania, masz rację. Już dwukrotnie zauważył to Charles Morisset. Jeśli chodzi o twoje drugie zdanie, to obecnie nie znam żadnego.
#2
+9
Sylvain Peyronnet
2012-03-08 05:42:25 UTC
view on stackexchange narkive permalink

Zabawne jest to, że w tej kwestii większość ludzi od razu wspomina o „uczciwej” stronie problemu, a nie o stronie „jakości”. W przypadku drugiej strony myślę, że to nie ślepe / otwarte recenzje, które są trafnym pytaniem , ale raczej kwestia publiczno-prywatna. Jeśli recenzje są zawsze publiczne, to przypuszczam, że ich jakość wzrośnie, ponieważ dyrektor generalny / redaktor naczelny będzie naciskał w ten sposób, aby zapewnić, że konferencja / czasopismo będzie miało doskonałą reputację. Osobiście nie chcę / muszę wiedzieć kto recenzuje moje prace, ale ja chcę ORAZ potrzebuję recenzji wysokiej jakości, a one są wtedy niezwykłe. Wszyscy wiemy dlaczego: za dużo artykułów, za dużo recenzji do zrobienia, mało czasu ...

To bardzo dobra uwaga i może to być skuteczne rozwiązanie. Ponadto recenzja często zawiera cenne informacje (takie jak potencjalna powiązana praca lub różne interpretacje), które mogą być pomocne dla czytelnika.
Innym potencjalnym ustawieniem, które się tu pojawia, recenzenci mogą być ślepi na autorów (aby zapobiec nieuczciwości i uprzedzeniom ze względu na płeć) na początku, ale nie musi być na odwrót. Zasadniczo pojedyncza ślepa, ale odwrotnie, tradycyjnie stosuje się pojedynczą ślepą!
#3
+7
Piotr Migdal
2012-03-07 17:09:31 UTC
view on stackexchange narkive permalink

Im więcej ujawnia się tożsamości autorów i recenzentów, tym mniej uczciwy może być proces recenzji. Taka otwartość może faworyzować już uznanych naukowców nad nowicjuszami.

W idealnym świecie recenzent podnosiłby te same obawy, gdy recenzował prace noblisty lub studenta. Ale ponieważ ludzie boją się nawet zadawać potencjalnie głupie pytania publicznie, byłbym naprawdę zaskoczony, gdyby mogli zastosować tę samą kontrolę niezależnie od tego, kogo recenzują.

Nawet w przypadku standardowego (pojedynczego) procesu ślepego , Słyszałem, że znany już naukowiec przesłał prace pod wymyślonymi nazwiskami, aby otrzymać uczciwe recenzje (po prostu nie pamiętam, kto).

Przykład Herberta S. Wilfa z przemówienia urodzinowego dla Donalda E. Knutha (wskazany przez Joela Reyesa Noche):

W latach osiemdziesiątych, na początku Journal of Algorithms, byłem redaktorem naczelnym , a Don [Donald Knuth] przesłał mi artykuł, którego autorem był on sam pod pseudonimem Ursula N. Owens, rzekomo z jakiejś małej uczelni w jakimś nieistniejącym miasteczku w Kansas. Powodem było to, że naprawdę chciał uzyskać twardą i merytoryczną opinię sędziego na papierze, a odkrył, że czasami sędziowie ciągnęli swoje ciosy z powodu jego nazwiska na górze kartki .

Proces podwójnie ślepej próby może być nawet bardziej korzystny, ale jednocześnie iluzoryczny (ponieważ temat, odniesienia i styl mogą ujawnić autora). Co więcej, tożsamość autora może czasami być korzystna (np. W celu porównania, czy nowe zgłoszenie ma coś nowego).

Nic z tego nie jest dowodem.

Ale zamiast liczyć szeregów recenzji, można spróbować porównać, jak łagodnie (lub surowo) są traktowani współautorzy, w zależności od ich statusu (tytuł naukowy, nazwa uczelni, sława / rozpoznawalność).

Rozumiem intuicję stojącą za „im więcej się ujawnia…”, ale jednocześnie zapewnienie anonimowości recenzentom pozwala niektórym osobom pisać złe recenzje (tj. Nie czytać artykułów, robić niechlujne komentarze itp.), A ja ” Chciałbym wiedzieć, czy argumenty za anonimowością przeważają nad argumentami przeciw.
Tak, zdaję sobie sprawę, że podpisywanie się własnym nazwiskiem jest dobre dla jakości. Jednak w przypadku przeglądu stronniczości i jakości są dwa różne czynniki. Jest bardzo prawdopodobne, że dostrajając poziom „ślepoty” można zamienić bezstronność na jakość. Więc problem może być trudniejszy niż tylko optymalizacja jednego parametru.
Nie twierdzę, że to łatwy problem :) Ale po prostu nie podoba mi się argument „ślepota jest dobra, bo inaczej może być stronniczość. Dlaczego? Ponieważ.”. Jako naukowiec chcę twardych dowodów, a nie tylko intuicji :)
Zgodnie z komentarzem zamieszczonym w http://mathoverflow.net/questions/45185/pseudonimy-of-famous-mathematicians „Donald Knuth użył pseudonimu Ursula N. Owens, przesyłając artykuł, aby uzyskać bardziej uczciwe recenzje (jak opisał Wilf na stronie 3 http://www.math.upenn.edu/~wilf/website/dek.pdf) ”
#4
+6
Lars Kotthoff
2012-03-07 23:39:29 UTC
view on stackexchange narkive permalink

Jednym z najbardziej przekonujących argumentów przemawiających za recenzowaniem w ciemno, jakie słyszałem, jest to, że uniemożliwia to osobom, których artykuł został odrzucony, wzięcie „zemsty” na recenzencie (świadomie lub nieświadomie). Weźmy na przykład starszego nauczyciela akademickiego, któremu odrzucono artykuł z powodu recenzji młodszego naukowca. Starszemu naukowcowi byłoby całkiem łatwo utrudniać postęp młodszemu.

Jest to podobne do tego, co Piotr poruszył, mówiąc, że jest to bardziej „uczciwy” proces.

Nie znam żadnych konkretnych przykładów.

Tak, i rozważ przypadek starszego naukowca, który zabija zgłoszenie kiepską recenzją albo dlatego, że nie ma czasu, albo co gorsza, ponieważ zgłoszenie pochodzi z jednoczesnych rozmów (podwójne zaślepienie nie jest tak wydajne) i kto wie, że nikt w komputerze nie będzie narzekał na jego kiepską recenzję, ponieważ jest starszy. Jak to jest lepsze?
Żeby było jasne, nie twierdzę, że opisany przeze mnie przypadek jest lepszy czy gorszy. Po prostu nie wiem. Rozumiem argumenty, dlaczego ślepa recenzja jest * dobra *, chciałbym zrozumieć, dlaczego jest * najlepsza *.
Twierdzę, że tego problemu nie rozwiązałyby otwarte recenzje. Jeśli jesteś na tyle starszy, że nie przejmujesz się opinią czołowych ekspertów w Twojej dziedzinie (tj. Członków PC), prawdopodobnie nie przejmujesz się też opinią innych ludzi.
To dobra uwaga, ale myślę, że trochę inaczej jest być w sytuacji, w której tylko krzesło PC wie, że twoja recenzja nie jest dobra i może nawet tego nie zauważyć, i publicznie krytykować artykuł, zwłaszcza gdy są one równoległe.
Rozumiem co masz na myśli. Odnosząc się do twojego poprzedniego komentarza, nie twierdzę, że ślepe recenzowanie jest najlepszym procesem i myślę, że coraz więcej osób też jest tego zdania. Z pewnością byłbym zadowolony z otwartego procesu recenzowania.
@Charles: Z mojego doświadczenia wynika, że ​​większość komputerów PC ma więcej kręgosłupa. Członkowie PC nie zawsze zauważają, że recenzja jest zła, ale kiedy to robią, narzekają bez względu na to, jak starszy / sławny jest recenzent.
#5
+3
D.W.
2012-05-02 01:25:11 UTC
view on stackexchange narkive permalink

Nie mam żadnych dowodów, ale jeśli chodzi o dane, możesz spojrzeć na warsztaty HotNets.

Podczas kilku pierwszych warsztatów program komisja opublikowała publiczne recenzje artykułów. Podczas procesu recenzowania członkowie komitetu programowego pisali recenzje w ciemno, jak to zwykle bywa (recenzenci byli anonimowi). Ale także, dla każdego opublikowanego artykułu, członek komitetu programowego napisał nową recenzję przeznaczoną do publicznego spożycia, podsumowującą opinię komitetu programowego na temat tego artykułu. Wiele publicznych recenzji było dość szczerych, zarówno jeśli chodzi o zidentyfikowanie zastrzeżeń do artykułu, jak i aspektów artykułu, które podobały się komitetowi programowemu.

Nie sądzę, że HotNets nadal to robi, ale możesz spróbować aby dowiedzieć się więcej o doświadczeniach społeczności HotNets z recenzjami publicznymi (publiczne? negatywne?). Myślę też, że były też inne warsztaty i konferencje informatyczne, na których również napisano publiczne recenzje, więc możesz też na nie spojrzeć.

#6
  0
wdlang
2018-12-19 15:38:45 UTC
view on stackexchange narkive permalink

Mogę podzielić się tylko niektórymi doświadczeniami.

Kiedy znajomy otrzymał prośbę o recenzję artykułu z czołowego czasopisma. Jego szef wiedział o tym i poprosił go o odrzucenie, ponieważ autorzy robili to, co on i jego szef.



To pytanie i odpowiedź zostało automatycznie przetłumaczone z języka angielskiego.Oryginalna treść jest dostępna na stackexchange, za co dziękujemy za licencję cc by-sa 3.0, w ramach której jest rozpowszechniana.
Loading...