Pytanie:
Dlaczego recenzowanie jest tak przypadkowe?
Allure
2018-08-13 11:43:06 UTC
view on stackexchange narkive permalink

8 artykułów naukowych, które zostały odrzucone przed zdobyciem nagrody Nobla

Analiza finansowania: naukowcy twierdzą, że alokacja dotacji NIH nie jest lepsza niż loteria

Ten sam artykuł ponownie przesłany do tego samego czasopisma po kilku latach często kończy się odrzuceniem z powodu „poważnych błędów metodologicznych”

Dla osób, których zawód jest zmienny Przy porządkowaniu pozornie przypadkowych obserwacji naukowcy z pewnością nie są konsekwentni w ocenie pracy innych naukowców. Czemu? Z pewnością nie wygląda to tak na wszystkich poziomach. Na przykład według witryny GRE,

W przypadku sekcji Analytical Writing każdy esej otrzymuje ocenę od dwóch przeszkolonych osób oceniających, przy użyciu sześciopunktowej skali holistycznej. W ocenie całościowej osoby oceniające są szkolone w zakresie przypisywania wyników na podstawie ogólnej jakości eseju w odpowiedzi na przydzielone zadanie. Jeśli dwa przypisane wyniki różnią się o więcej niż jeden punkt na skali, o rozbieżności rozstrzyga trzeci czytelnik GRE. W przeciwnym razie dwa wyniki każdego eseju są uśredniane.

Oznacza to, że rzadko zdarza się, aby dwa przypisane wyniki różniły się o więcej niż jeden punkt na skali, tj. Osoby oceniające esej GRE zwykle się zgadzają. Podobnie, o ile wiem, czytelnicy prac licencjackich, magisterskich, a nawet doktoranckich zwykle nie są diametralnie przeciwstawnymi ocenami na temat pracy. Jednak gdy dotrze do materiału na poziomie badawczym, recenzenci nie wydają się już zgadzać. Dlaczego?

Dzięki za linki, @Allure.Tak bardzo mnie odrzucono, jestem pewien, że moja nagroda Nobla jest w mailu.Lepiej zacznę przygotowywać moją mowę akceptacyjną.:)
To motywuje do zakupów publikacji https://academia.stackexchange.com/questions/115080/is-there-anything-that-has-been-tried-to-stop-publication-shopping
Ponieważ przestrzeń jest bardzo rzadka, niezbadana, a zatem istnieje niewiele statystyk w nowych obszarach, aby ocenić, jak dobra jest ta praca?
Warto zauważyć, że w przypadku dotacji PZH faktyczny wniosek był taki, że miejsce w 20% najlepszych było losowe, ale recenzenci byli w zasadzie zgodni co do tego, które wnioski znalazły się w górnych 20%.To bardziej zgodne niż twój przykład GRE.
Słyszymy tylko o kilku przypadkach, w których wzajemna ocena poszła nie tak.Ale w większości przypadków robi to, co powinien.
Podstawową kwestią jest to, że zarówno w przypadku recenzji, jak i nagród, nie ma (dobrego) obiektywnego sposobu oceniania / rangowania rzeczy --- por.https://academia.stackexchange.com/a/103167/19607
Powiązane: [Czy recenzenci mogą omyłkowo odrzucić artykuł dobrej jakości?] (Https://academia.stackexchange.com/questions/18540/is-it-possible-for-reviewers-to-mistakenly-reject-a-quality-papier)
[Nature wprowadziła recenzowanie dopiero w 1967 r.] (Http://michaelnielsen.org/blog/three-myths-about-scientific-peer-review/), więc artykuły z lat trzydziestych odrzucone przez Nature zostały odrzucone przez redaktora, a nie jakowynik wzajemnej oceny.
Należy wziąć pod uwagę możliwość, że niektórzy recenzenci są leniwi.
Częstym problemem jest brak powtarzalności.Otwarta nauka i otwarte dane pojawiły się jako odpowiedź: https://www.ncbi.nlm.nih.gov/pmc/articles/PMC4898932/ Następnie jest kwestia personelu spoza akademickiego podejmującego decyzje redakcyjne i słynne historie o bzdurnej maszynie-wygenerowane artykuły były akceptowane przez „szanowane” „tradycyjne” czasopisma.
* Jak trzech studentów MIT oszukało świat czasopism naukowych *: «w 2013 roku IEEE i Springer Publishing usunęły ze swoich witryn ponad 120 artykułów po tym, jak analiza francuskiego naukowca wykazała, że zostały one wygenerowane przez SCIgen» https://news.mit.edu/ 2015 / how-three-mit-studenci-oszukani-czasopisma-naukowe-0414
Powiązane https://academia.stackexchange.com/q/33031/532
@GEdgar: Nie.Inne przypadki obejmują: 1. Te, w których nie można w sposób trywialny wykazać, że recenzowanie było niewłaściwe. 2. Te, w których recenzje były niedbałe / niskiej jakości, ale ostatecznie zaakceptowały pracę do zaakceptowania lub odrzuciły pracę godną odrzucenia.3. Tych, w których autorzy nie mieli czasu, chęci i środków, aby nagłośnić to, co się wydarzyło.
@CountIblis według źródła, przed 1967 rokiem niektóre artykuły były recenzowane, a inne nie (decyzja należała do redakcji).Ponadto mit nr 2 skutecznie opisuje istotę tego pytania.
Kolejny dobry przykład: [NIPS] (https://en.wikipedia.org/wiki/Conference_on_Neural_Information_Processing_Systems) (jedno z najlepszych miejsc publikowania na temat systemów uczących się) przeprowadził naukowy [eksperyment spójności w 2014 r.] (Http: //blog.mrtz.org / 2014/12/15 / the-nips-Experiment.html).Wyniki nie były świetne - decyzje akceptacji / odrzucenia były znacznie bliższe przypadkowości niż deterministyce.
Jedenaście odpowiedzi:
user93911
2018-08-13 12:28:41 UTC
view on stackexchange narkive permalink

Dobre pytanie. Trudno odpowiedzieć. Kilka uwag:

  • recenzenci nie są przeszkoleni
  • recenzenci są anonimowi
  • recenzenci otrzymują pomniejsze opinie na temat ich wyników
  • recenzenci są także autorzy, walczący o te same fundusze / prestiż
  • recenzenci specjalizują się w wąskiej dyscyplinie
  • recenzenci są ochotnikami
  • recenzentów jest niewielu
  • system recenzji nie posiada zewnętrznego (niezależnego) systemu kontroli (audyt)
  • recenzentami są ludzie z własnymi zainteresowaniami, emocjami, zdolnościami

Biorąc pod uwagę te obserwacje, mało prawdopodobne jest oczekiwanie ujednolicenia dwóch sprawozdań z przeglądu. Następnie trudna decyzja przenosi się na zastępcę redaktora, który jest również wolontariuszem i nie specjalizuje się w dziedzinie autora.

Pozostawia pytanie, dlaczego jest to akceptowane, podczas gdy poza nauką tak by nie było. Szczerze mówiąc, nie wiem. Tylko kilka domysłów:

  • Nauka to potężny, odizolowany sektor, który rządzi się własnymi prawami?
  • Obecny system działa dla uznanych grup badawczych?
  • nie masz funduszy na szkolenie i przyciąganie wykwalifikowanych specjalistów / naukowców jako recenzentów?
  • Nie ma łatwego rozwiązania lub alternatywy?

Dodano na podstawie komentarza: - recenzenci są zajęci naukowcy-recenzenci nie są wynagradzani w karierze za przeprowadzanie recenzji

Dobra lista!Dodam, że recenzenci mogą nie mieć dużo czasu i spieszyć się z recenzowaniem artykułów, mimo że zgłosili się na ochotnika.Niektórzy ludzie mogą również nie być bardzo zainwestowani w dokonanie dokładnego przeglądu, ponieważ nie odnoszą bezpośrednich korzyści.Prawdopodobnie nie zdarza się to często, ale wydaje się prawdopodobne.
Coś nowego jest już w drodze!http://www.researchers.one/
Dziękuję, @Ian.W pełni się zgadzam i dodałem twoje punkty na dole mojego postu.
Dziękuję @Peacefull.Podążam za tobą tutaj.Nauka się zmienia.Właściwie uważam, że jest to bardzo interesujący czas, w którym naukowcy na całym świecie mogą i będą kształtować przyszłość nauki.
„Czasopisma nie mają funduszy na szkolenie i przyciąganie wykwalifikowanych specjalistów / naukowców jako recenzentów?”Powiedziałbym, że nie ma popytu na czasopisma, aby to robić i nie zamierzają tego robić, dopóki zapotrzebowanie ich do tego nie zmusi.
Ostatnia pozycja na tej liście jest w większości nieistotna, ponieważ rozbieżność między ludźmi może zostać znacznie zmniejszona - i jest znacznie zmniejszona w przypadku oceny GRE.
Ian Sudbery
2018-08-13 14:29:09 UTC
view on stackexchange narkive permalink

Największą różnicą jest to, że do poziomu pracy doktorskiej osoba oceniająca jest bardziej ekspertem niż oceniana. W prawie wszystkich tych przypadkach istnieje uzgodniony zestaw standardowych umiejętności, technik i wiedzy, których posiadania można oczekiwać od każdego asesora i względem każdego oceniającego jest oceniany.

To nie jest tak prawdziwe w przypadku pracy doktorskiej , ale w końcu, gdy promotor / komisja pracy doktorskiej zapali na zielono studenta, prawie wszystkie prace doktorskie są zdane.

To zdecydowanie nie jest prawda. W prawie wszystkich przypadkach osoba recenzowana będzie bardziej ekspertem w swojej pracy niż ktokolwiek dokonujący recenzji. Jedynymi wyjątkami będą bezpośredni konkurenci, a oni zostaną wykluczeni. Rozmawiamy na skraju ludzkiej wiedzy, różni ludzie mają różną wiedzę i różne zestawy umiejętności.

Jestem dość zaskoczony, że wyniki GRE są tak spójne. Od dawna wiadomo, że ocenianie esejów jest dość arbitralne (patrz na przykład Diederich 1974 [1]). Pamiętaj, że 1 ocena na 6-punktowej skali to 15% - całkiem duża różnica. W naszym dyplomie 70 i więcej to stopień I stopnia - najlepsza ocena, podczas gdy 55 to 2: 2, stopień, który nie zapewni ci rozmowy kwalifikacyjnej na większość stanowisk magisterskich. Utrata 15% na ocenie dotacji prawie na pewno spowoduje utratę stypendium.

Ale nawet aby osiągnąć ten poziom spójności, oceniający musieli otrzymać dość nakazową tabelę ocen. W badaniach nie ma takiej rubryki; nie ma z góry określonych kryteriów, według których mierzy się część badań, a każda próba ich przedstawienia zniweczyłaby w mniejszym lub większym stopniu sedno badania.

* „W badaniach nie ma takiej rubryki, nie ma z góry określonych kryteriów, według których badane jest badanie” *… naprawdę?Zdecydowanie uważam, że istnieją dobrze ugruntowane kryteria badania są oceniane według: (1) poprawności, (2) nowości, (3) trudności, (4) użyteczności, (5) odtwarzalności ...
@Mehrdad Już napotkasz problemy.Co oznacza „odtwarzalność” dla twierdzenia matematycznego?Co oznacza „poprawność” dla tekstu filozoficznego?I myślę, że każdemu byłoby trudno wystawić oceny liczbowe dla każdej z tych kategorii na podstawie pracy.I nie ma progu, powyżej którego papier jest akceptowany, a poniżej którego papier jest odrzucany.
@NajibIdrissi: To nie są problemy ... po prostu oceniasz wszystko, co nie ma zastosowania, jako nie dotyczy.Jeśli chodzi o wystawianie ocen liczbowych, byłbym jeszcze trudniejszy do wystawienia podobnych ocen numerycznych do eseju GRE, więc nie rozumiem, jak to jest tutaj kontrargumentem.
Brakuje przypisu rozszerzającego „Diederich 1974”.
Uważam, że [1] to „Diederich, P. B. (1974). Measuring growth in English. Urbana, IL: National Council of Teachers of English”.(https://eric.ed.gov/?id=ED097702) Inny pokrewny artykuł autora, z nieco bardziej użytecznym streszczeniem: Diederich, PB, French, JW and Carlton, ST (1961), FACTORS IN JUDGMENTS OF WRITINGUMIEJĘTNOŚĆ.Seria biuletynów badawczych ETS, 1961: i-93.[doi: 10.1002 / j.2333-8504.1961.tb00286.x] (https://doi.org/10.1002/j.2333-8504.1961.tb00286.x) (co oznacza „bezpłatny dostęp”, ale może to być tylko moja uczelnia)
@mehrdad - Twoje 2, 3 i 4 są bardzo subiektywne.
@Mehrdad to są kategorie kryteriów, a nie rubryka.To, czy dana praca spełnia którekolwiek z twoich kryteriów, jest, jak wspomniano powyżej, całkowicie subiektywne.Tymczasem esej typu GRE będzie miał bardzo szczegółowe kryteria: kiedy oceniamy eseje UG, esej zawiera 2 lub 3 stronicową listę odpowiedniej treści + przewodnik, który mówi takie rzeczy, jak: Treść - 5: Najczęściej nauczane treści (dozwolone są pewne luki),plus trochę treści pozanaukowych, 4: Treści najczęściej nauczane, ale z pewnymi lukami 3: Poważne luki ... Struktura - 5: Dobrze skonstruowane i logicznie szczelne spory itp.
„Jedynymi wyjątkami będą bezpośredni konkurenci, a oni zostaną wykluczeni”.- w zależności od branży, przeglądanie pracy bezpośrednich konkurentów może być bardzo powszechne, z dokładnie opisanych powodów.
Zostałem sprawdzony przez ludzi, którzy mają mniejszą wiedzę niż student, który przeczytał.Ta odpowiedź wyjaśniłaby pewną zmienność, a nie skrajną przypadkowość, której często doświadczamy.-1.
@einpoklum Absolwent w laboratorium, który robi dokładnie to, co jest recenzowane, i który ma czas na przeczytanie (w przeciwieństwie do jakiegokolwiek akademika, którego znasz) jest prawdopodobnie lepiej poinformowany niż recenzent.
Ray
2018-08-13 23:42:00 UTC
view on stackexchange narkive permalink

W odniesieniu do problemu odrzucanych dobrych prac , czynnikiem, o którym nie było jeszcze mowy, jest to, że konsekwencje przyjęcia fałszywego artykułu są znacznie gorsze niż odrzucenie dobrego papier. Jeśli dobry artykuł zostanie odrzucony, zawsze można go przesłać ponownie do innego czasopisma. A jeśli autorzy najpierw dokonają korekty zgodnie z komentarzami recenzenta, wersja, która zostanie opublikowana, może być lepiej napisana niż ta, która została odrzucona. Stracony jest tylko czas.

Ale jeśli fałszywa praca zostanie zaakceptowana , inni naukowcy mogą ją zobaczyć w literaturze, założyć, że jej wyniki są ważne i zbudować własną pracę na to. Może to spowodować znaczną stratę czasu ich części, ponieważ eksperymenty, które zależą od fałszywego wyniku, nie działają tak, jak powinny (co przynajmniej może prowadzić do wycofania fałszywego papieru, jeśli błędy są wystarczająco źle). A może unikną badań wzdłuż linii, która by zadziałała, ponieważ fałszywa publikacja sugeruje, że nie, lub, co gorsza, sami skończą z niedokładnymi wynikami i ostatecznie umieszczą kolejny artykuł ze złymi danymi w literaturze. Wszystkie te wyniki są znacznie gorsze niż zwykłe ponowne przesłanie artykułu, dlatego podczas recenzowania preferowane są fałszywe negatywy niż fałszywe trafienia.

To naprawdę najlepsza odpowiedź, ma najwięcej sensu i zawiera najmniej cynizmu.Nie jestem pewien, dlaczego nie jest to bardzo przychylne, ponieważ naprawdę wyjaśnia podstawowe wyzwania tego procesu (niebezpieczeństwo przyjęcia złej pracy).
To zdecydowanie dobra perspektywa i argument.Jednak obecnie również wiele fałszywych artykułów przechodzi proces recenzji.Mogę wskazać je w mojej dziedzinie.A dobre prace lub dobre prace z sprzecznymi wynikami nie dają rady.Mam przykład, w którym zabijano ludzi, ponieważ opublikowany artykuł stał się standardem (w medycynie), a artykuły przeciwne zostały odrzucone (co spowodowało bardzo złych i rozczarowanych naukowców). Osobiście uważam, że naukowiec nigdy nie odczuwa ulgi w ocenie jakości opublikowanych artykułów.Nie polegam na tym, że artykuł zostanie opublikowany.Używam własnych umiejętności oceniania.
Ponadto nic nie wskazuje na to, że odrzucone dokumenty były złe w momencie złożenia pierwotnego wniosku i dopiero po ich poprawieniu były wystarczająco jasne, aby można było je opublikować.Rzadko bywało się, że autor nie zmieniłby zasadniczo tekstu / prezentacji po odrzuceniu: w końcu istnieje prawdopodobieństwo, że jeśli prześlesz ten sam artykuł dwa razy, wynik będzie dwa razy taki sam.Jestem zaskoczony, że znaleziono tylko 8 takich dokumentów.
Buffy
2018-08-13 21:50:41 UTC
view on stackexchange narkive permalink

Zdaję sobie sprawę, że to nie odpowie na twoje pytanie, ale chciałbym odnieść się do twojego pierwszego przykładu - odrzuconych prac, które później doprowadziły do ​​nagrody Nobla.

Czasami praca jest łamaniem ramek i prowadzi do zmiany paradygmatu w polu. W historii działo się to wielokrotnie, przynajmniej od czasów Kopernika i Galileusza. Wczesna praca Einsteina na temat względności została odrzucona przez fizyków / astronomię hoi oligoi, ponieważ była zbyt różna od ówczesnej wiary w eter. Najwybitniejsi przedstawiciele tej dziedziny odrzucają radykalnie nowy pomysł, a ich uczniowie, którzy są powszechnie reprezentowani, zwykle się zgadzają.

Mówi się, że rewolucje w fizyce wymagają śmierci lub przejścia na emeryturę najbardziej szanowanych badaczy, aby pomysły młodych mogły zostać wysłuchane i wysunięte na pierwszy plan.

W rzeczywistości jest to wyjaśnienie co najmniej niektórych z ośmiu artykułów wymienionych w pierwszym linku.

Nie wydaje mi się, żeby wielu z nas pisało artykuły zmieniające paradygmat, ale czasami się to zdarza. Prawdziwie błyskotliwi (niewinni) spośród nas często muszą pracować w niemal ciszy i zapomnieniu przez większość pokolenia. Następne pokolenie może je świętować, ale może to potrwać nawet dłużej.

Kiedy recenzent ma do czynienia z dokumentem, który naprawdę łamie ramy, z definicji nie ma żadnego układu odniesienia, w którym mógłby go ocenić. Jest to ortogonalne w stosunku do całego ich sposobu myślenia. „To musi być nonsens”, brzmi zbyt naturalna odpowiedź.

Przeczytaj na przykład krótką biografię Ramanujana w Wikipedii.

Książka Thomasa Kuhna „Struktura rewolucji naukowych” jest klasyczną lekturą w tej kwestii.
To najbardziej trafna odpowiedź na bezpośrednie pytanie - papiery noblowskie są z natury radykalne lub rewolucyjne.To oczywiście sprawia, że ich recenzja jest jeszcze bardziej sceptyczna.
Nie tylko w fizyce rewolucje wymagają zmiany warty.Dzieje się tak również w geologii i chemii.
@PeterShor, prawda, a nawet nie tylko nauka.
aeismail
2018-08-13 14:51:35 UTC
view on stackexchange narkive permalink

Różne zadania, różne wyniki.

Wszyscy oceniający GRE muszą tylko przypisywać oceny, ale robią to dziesiątkom lub setkom esejów. Otrzymują jasne wskazówki i przykłady dotyczące tego, jaki wynik powinien prawdopodobnie otrzymać dany esej. Zasadniczo chodzi więc o zaznaczanie pól, aby uzasadnić mały zestaw wyników.

Analiza wzajemnej oceny jest zasadniczo inna, ponieważ prosisz o znacznie trudniejsze technicznie zadanie. Muszą ocenić, czy analiza jest dokładna, a nie czy reaguje na monit. Nie ma też zestawu przykładów, na których można by się oprzeć. Dlatego też punkt widzenia wzajemnej oceny może być bardzo różny w przypadku różnych recenzentów, którzy mogą mieć różne zestawy wiedzy i na pewno będą mieli własny punkt widzenia.

* Nie ma też zestawu przykładów do oparcia * co ze wszystkimi już opublikowanymi artykułami?
Pete L. Clark
2018-08-13 21:51:47 UTC
view on stackexchange narkive permalink

Porównanie akademickich recenzji z ocenami GRE - to sprawia, że ​​jabłka i pomarańcze wyglądają prawie identycznie. Podejdźmy trochę bliżej:

Podobnie, o ile mi wiadomo, czytelnicy prac licencjackich, magisterskich, a nawet doktorantów zwykle nie mają diametralnie różnych ocen na temat pracy .

Z pewnością nie zawsze jest to prawdą i w dużym stopniu zależy od pola. W niektórych częściach środowiska akademickiego jest to typowy horror studencki, w którym członek A komisji nalega, aby rozprawa była rozpatrywana w kategoriach perspektywy teoretycznej X, podczas gdy członek komisji B nalega, aby pracę dyplomową rozpatrywać w kategoriach perspektywy teoretycznej Y, gdzie X i Y może być intelektualnie niekompatybilny lub socjologicznie niekompatybilny, tj. Każda teoria odrzuca drugą jako centralną zasadę. Jest to bardziej powszechne w naukach humanistycznych, gdzie natura „teorii” w stosunku do reszty pracy jest raczej inna, ale nie jest to również niespotykane w naukach ścisłych.

Jako częsty członek komisji zdarzyło mi się również zdawać sobie sprawę, że dochodzenie do konsensusu jest zjawiskiem socjologicznym, a także intelektualnym - tj. niektóre różnice w ocenie ograniczają się tylko do prywatnej dyskusji po obrona i inne różnice w ocenie nigdy nie są w ogóle werbalizowane.

Jest to pomocne w zrozumieniu rozbieżności w recenzowaniu: w recenzjach różni sędziowie (przynajmniej z mojego doświadczenia) nigdy nie są bezpośrednio komunikować się ze sobą i w rzeczywistości mogą w ogóle nie widzieć swoich werdyktów: jako sędzia uważam, że nigdy nie pokazano mi raportu innego sędziego. W rzeczywistości

Kto obserwuje strażników?

Żaden aspekt procesu akademickiego nie sprawia, że ​​czuję się bardziej samotnym zamaskowanym strażnikiem niż bycie sędzią. Z pewnością ludzie, którzy oceniają GRE, przechodzą przez jakiś długi proces szkoleniowy polegający na powtarzanej praktyce oceniania, opiniach na temat tych ocen, dyskusji nad ważniejszymi celami i tak dalej. Nie ma czegoś takiego dla recenzentów akademickich. Nie mamy praktyki, a ocena naszej pracy jest bardzo niewielka. Jeśli przekażę (chyba!) Niezwykle wyczerpujący raport niezwykle szybko, często otrzymuję komunikat „Hej, dzięki!” e-mail od redaktora. W (na szczęście raczej małej) liczbie przypadków, w których moje raporty sędziowskie były spóźnione miesiącami, albo nic nie usłyszałem od redaktorów (wstydzę się powiedzieć, że kiedy już sam zorientowałem się, że artykuł myślałam, że od kilku miesięcy to właściwie cały rok) lub otrzymałem starannie uprzejmą prośbę o przekazanie raportu. Nigdy nie otrzymałem żadnej negatywnej opinii po fakcie. W przeciwieństwie do osób oceniających z GRE, sędziowie są wolontariuszami .

Uważam (ponownie, z mojego doświadczenia i mojej akademickiej dziedziny matematyki), że sędziowie prawie nigdy nie otrzymują takich instrukcji niż „1) Skorzystaj z najlepszej oceny. 2) Jesteśmy naprawdę dobrym czasopismem i chcemy, abyś narzucał wysokie standardy”. Zauważyłem również, że 2) dotyczy czasopism o bardzo różnej jakości. Co to znaczy „narzucać wysokie standardy”? Traktuję tę dyrektywę poważnie i strzelam w ciemność tak ostrożnie, jak tylko potrafię, ale… oczywiście jest to absurdalne, maksymalnie subiektywne.

Z drugiej strony, twój trzeci link jest dość niepokojący.Opisuje systematyczny proces ponownego przesyłania artykułów, które zostały ** zaakceptowane i opublikowane ** przez prestiżowe czasopisma w ciągu ostatnich trzech lat **, do tego samego czasopisma, które je opublikowało **.W większości przypadków czasopisma nie przyznały, że wcześniej publikowały artykuły.Uważam to za bardzo zaskakujące.
Has QUIT--Anony-Mousse
2018-08-13 21:28:41 UTC
view on stackexchange narkive permalink

Przeciążenie zgłoszeń

Coraz więcej piszemy i wydaje się, że typowa jakość przesyłania spada. Ma to różne przyczyny, w tym złe zachęty , w szczególności w Chinach. Jeśli Twoja pensja jest akceptowana bezpośrednio w dokumentach, ilość przewyższa jakość ...

IMHO jesteśmy teraz blisko punktu krytycznego. Wielu ekspertów-recenzentów odrzuca prawie każdą prośbę o recenzję - ponieważ tak wiele zgłoszeń jest tak niechlujnych, że ich przeglądanie jest dość denerwujące. Powinno być inaczej: większość zgłoszeń powinna być tak wysokiej jakości, że lubisz je czytać i możesz skupić się na szczegółach. Dlatego coraz więcej ekspertów jest po prostu zirytowanych. Przekazują więcej recenzji uczniom lub po prostu odmawiają. Ale teraz oznacza to, że pozostali recenzenci otrzymują więcej próśb i więcej złych artykułów. To może szybko dać napiwek, tak jak większość ekosystemów.

Dlatego redaktorzy muszą znaleźć innych recenzentów, a my mamy coraz mniej ekspertów. Otwiera to również drzwi do oszustw i schematów. Na przykład narzędzia i aplikacje multimedialne wydają się paść ofiarą schematu manipulacji redaktorem i recenzentem.

Jakie jest więc rozwiązanie? Nie wiem.

  • Upublicznij redaktora zajmującego się przetwarzaniem i recenzenta, aby odpowiadali za zaakceptowane artykuły - to było dość powszechne; Recenzenci-eksperci mają tendencję do publicznego sprzeciwiania się swoim recenzjom, jeśli akceptują artykuł (było to kiedyś rzeczywiste poparcie pracy w niektórych dziedzinach). To sprawia, że ​​korupcja i intrygi są łatwiejsze do wykrycia dzięki nowoczesnej analizie. Ale to prawdopodobnie utrudni znalezienie recenzentów ekspertów ...
  • Pierwszą recenzję zrób tylko z jednym recenzentem (aby zmniejszyć obciążenie recenzentów), możliwe wyniki „wczesne odrzucenie” i „pełna recenzja ”.
  • Wymagać od autorów wykonania 5 recenzji w każdej zaakceptowanej publikacji (aby eksperci nie mogli po prostu przestać recenzować, chyba że przejdą na emeryturę - pierwsza publikacja jest„ bezpłatna ”, ale nie można dalej odrzucać próśb o recenzję)? / li>
  • Faktycznie zapłać ekspertom! Gdy masz pewność, że zgłoszenie jest tego warte, powinna to być opcja, biorąc pod uwagę absurdalną marżę zysku Elseviers. Uważam, że głównym problemem jest tutaj zaangażowana biurokracja (kto decyduje, czy przegląd jest wysokiej jakości) i różne koszty płac w różnych krajach. Niemniej jednak, w połączeniu z powyższą oceną wstępną, zwiększy to „wartość” dobrych recenzji. Ale to z kolei zwiększa ryzyko programów zarabiania na tym ...
  • Przeglądanie recenzji i przyznawanie nagród dla najlepszych recenzentów.
  • Karać powtarzające się odrzucenia z opóźnieniem, aby uczynić spamowanie kosztownym.
  • Ogranicz liczbę zgłoszeń na autora i rok (prawdopodobnie będzie to oznaczać, że zgłoszenia trafią gdzie indziej - więc może to pomóc konkretnemu czasopismu, ale nie całej społeczności)?
  • Zakaz zachęt finansowych - jeśli Twój kraj / uczelnia ma taką bezpośrednią motywację finansową, nie możesz przesyłać materiałów do niektórych czołowych czasopism. Wtedy te złe zachęty zostaną szybko zniesione, ponieważ często proszą również o czołowe czasopisma. Ale może po prostu spowodować opóźnienie lub ukrycie płatności ... Nie wiem. Nie jestem ekspertem od polityki. To tylko kilka pomysłów.
WBT
2018-08-13 22:12:58 UTC
view on stackexchange narkive permalink

Przedstawienie punktu wykraczającego poza inne odpowiedzi:

Różne poziomy wysiłku włożonego w przegląd prowadzi do różnych wyników.

Artykuły są często napisane w taki sposób, że przy pierwszym przejściu powinno to brzmieć „całkiem nieźle”, nawet jeśli bardziej krytyczny, głęboki odczyt i / lub sprawdzenie odniesień ujawniłoby ziejące dziury, poważne problemy metodologiczne i alternatywne wyjaśnienia zaobserwowanych wyników. Czasami nawet bardziej wymagająca recenzja może okazać się, że kwestie te nie mają znaczenia w konkretnym przypadku dotyczącym tego konkretnego artykułu (chociaż autor powinien generalnie dodać to do samego tekstu artykułu).

Chociaż recenzenci są zachęcani do dobrej pracy przez ogólną wiedzę, że system od tego zależy, konkretne przypadki generalnie nie są motywowane, a recenzje czasami są pozostawione do ostatniej chwili z recenzentem, któremu brakuje snu i długo nad innymi zadaniami, który nie wkłada wysiłku w dobrą recenzję. W związku z tym wynik może być zupełnie inny niż nawet w przypadku tego samego artykułu recenzowanego przez tego samego recenzenta w innym czasie. Brak wglądu w czynniki wpływające na ten wynik wydaje się przypadkowy.

Wrzlprmft
2018-08-14 18:24:56 UTC
view on stackexchange narkive permalink

Aby rozwiązać aspekt: ​​

Ten sam artykuł ponownie przesłany do tego samego czasopisma po kilku latach często kończy się odrzuceniem z powodu „poważnych błędów metodologicznych”

W około jednej trzeciej recenzowanych przeze mnie artykułów zidentyfikowałem fundamentalne błędy, których nie można usunąć poprzez poprawienie artykułu (zamiast tego należałoby napisać nowy artykuł). Oto kilka przykładów, aby spróbować:

  • Cała analiza była samospełniającą się przepowiednią, tj. Wynik był przypuszczeniem.
  • Proponowana charakterystyka była rondem sposób pomiaru znacznie bardziej trywialnych właściwości. (Zdarzyło się to już dwa razy.)
  • Zaproponowany model ignoruje dominujący mechanizm tego, co ma modelować.
  • Całe badanie dotyczyło zrozumienia artefaktu znanego początkującego pomyłka (bez zidentyfikowania tego błędu).

Chociaż mogłem się mylić co do tych rzeczy, autorzy nigdy nie odnieśli się do moich obaw, czy to w obaleniu, czy w wersji artykułu opublikowanego w innym czasopiśmie (co nigdy się nie zdarzyło w większości tych przypadków) - co powinni zrobić, nawet jeśli się mylę.

Te problemy mogą wydawać się łatwe do wykrycia, ale najwyraźniej nie były : Niektóre z tych niedociągnięć zauważyłem dopiero podczas pisania aktualnej recenzji i byłem świadkiem (i wykonałem) sporo odchodów ze szczęki, kiedy omawiałem artykuły ze współpracownikami recenzującymi ¹, o których wiedziałem, że są dokładni. W niektórych przypadkach widziałem również raporty innych sędziów, którzy w innych przypadkach byli wyczerpujący, ale nie dostrzegli problemów.

Podsumowując: nawet fundamentalne błędy są trudne do wykrycia. Dany recenzent ma tylko stosunkowo niewielką szansę na dostrzeżenie danego błędu w artykule. Dlatego istnieje duże prawdopodobieństwo, że wszyscy recenzenci poniosą porażkę.


¹ Tak, to jest rzecz w mojej dziedzinie i w pełni akceptowana przez czasopisma.

Ciekawi mnie część „omawianie prac z kolegami recenzującymi”, ponieważ (jak wspomniałem w mojej odpowiedzi) absolutnie nie jest to rzecz w mojej dziedzinie (matematyka).(Chociaż tak naprawdę w mojej dziedzinie najczęstszą liczbą sędziów jest jeden). Jak to działa?
@PeteL.Clark: Zasadniczo arbiter ma prawo zwracać się do współpracowników, o ile zapewniają poufność recenzowanego materiału i wymieniają dodatkowych recenzentów podczas przesyłania recenzji ([przykład polityki] (https: //journals.aps.org / pre / autorów / redakcyjne-zasady-praktyki # anonimowość)).Zazwyczaj doradca zabiera doradcę do zespołu.
BruceET
2018-08-16 13:04:30 UTC
view on stackexchange narkive permalink

Podstawowa różnica między ocenianiem esejów GRE a recenzowaniem prac naukowych nadesłanych do publikacji została przekonywująco omówiona w kilku poprzednich odpowiedziach. Podstawowa różnica między recenzowaniem wniosków o dofinansowanie a recenzowaniem artykułów do publikacji nie ma miejsca.

Publikacje. Kiedy artykuł jest przesyłany do czasopisma, zwykle ma to być gotowy produkt lub przynajmniej jeden zakończony krok w kierunku określonego celu. Naprawdę trudno jest znaleźć recenzentów, którzy byliby w stanie ocenić znaczenie artykułu i znaleźć każdą lukę w rozumowaniu lub każdą niedoskonałość techniczną, ale przynajmniej recenzenci artykułów w czasopismach mają wyniki badania na

Potencjalna praca Nobla może obejmować materiał tak nowy lub tak odległy od utartych szlaków, że jego rzetelna ocena będzie szczególnie trudna. Artykuł przesłany ponownie po kilku latach mógł opierać się na procedurach lub technikach, które w międzyczasie zostały znacznie dopracowane. Może więc były one najnowocześniejsze w momencie składania pierwotnego wniosku, ale obecnie mają „poważne wady” pod względem obecnie dostępnych metod. Nic więc dziwnego, że recenzenci nie otrzymują 100% punktów za te zadania.

Jednakże, mimo że recenzenci są bezpłatnymi, przepracowanymi wolontariuszami, pracującymi bez specjalistycznego szkolenia ani informacji zwrotnej na temat szczegółów recenzowania, myślę, że zaskakujące jest, jak dobrze recenzowanie czasopism działa w praktyce.

Granty. Natomiast wydawanie sądów na temat grantów badawczych przebiega zupełnie inaczej rodzaj działalności. Kilka lat temu (kiedy amerykańskie fundusze federalne były dostępne na znacznie wyższym poziomie niż obecnie) spędziłem kilka lat w agencji federalnej dysponującej dość dużym budżetem na wspieranie badań podstawowych i stosowanych w różnych dziedzinach naukowych. Spróbuję więc pokrótce odnieść się do tej części obrazu. Zacznę od stwierdzenia, że ​​wcale nie jestem zaskoczony, że panel naukowców uznałby, że fundusze NIH (lub jakiejkolwiek innej agencji rządowej USA) nie są lepsze niż loteria.

Ogólnie rzecz biorąc Jeśli wiesz dokładnie, co robisz, jak długo to zajmie i ile będzie to kosztowało, nie prowadzisz badań. Recenzenci często mogą być przydatni przy ocenie dotychczasowych osiągnięć wnioskodawcy i dostarczaniu ogólnych informacji o tym, czy wnioskodawca jest kompetentny do prowadzenia badań w określonej dziedzinie. (Powinienem dodać, że większość dyrektorów programów dobrze zdaje sobie sprawę ze standardów, uprzedzeń, słabości i mocnych stron recenzentów, z których korzystają. Rzadko byłem zaskoczony treścią recenzji, o którą prosili, ale kilka niespodzianek było niezwykle cennych.) Wkład recenzenta to tylko część obrazu.

Wykraczając poza wkład recenzenta, dyrektorzy programów w agencjach przyznających dotacje muszą wziąć pod uwagę inne czynniki. Do pewnego stopnia muszą wziąć pod uwagę czynniki finansowe, polityczne i infrastrukturalne. „Polityczny” oznacza zwykle, że pieniądze zostały przywłaszczone lub przekazane w określony sposób na wsparcie określonego celu naukowego. Kwestie infrastrukturalne skupiają się na opracowywaniu technologii, które są celami agencji, szkoleniu absolwentów w dziedzinach, w których nie ma wystarczającej liczby naukowców, czy instytucja ubiegająca się o dotację ma kwalifikacje do odpowiedniego zarządzania itd.

W USA agencje takie jak NIH, NSF, DoE, EPA, różne agencje obronne i różne fundacje finansowane ze środków prywatnych mogą mieć bardzo różne cele. Jednak wyraźnie te agencje misje i cele mogą być określone w „zapytaniach ofertowych”, są one często ignorowane przez wnioskodawców, którzy mogliby lepiej uzasadnić swoją pracę, gdyby odpowiednie powiązania zostały jasno określone.

Pomimo tych ograniczeń przyznając granty, dyrektorzy programów starają się wspierać wyłącznie naukę najwyższej jakości i uważam, że zwykle im się to udaje. Z mojego doświadczenia wynika, że ​​prawie wszyscy z nich postrzegają siebie najpierw jako naukowców, a dopiero potem biurokratów agencji. Często ich sukces odbywa się dzięki znacznej pomocy recenzentów, ale czasami nie.

Keith
2018-08-20 06:23:49 UTC
view on stackexchange narkive permalink

Kiedy byłem na studiach magisterskich z informatyki, zauważyłem kilka wyzwań w procesie recenzowania artykułu. Większość z tych rzeczy zaobserwowałem poprzez doświadczenia innych:

  1. Czasopisma i konferencje wykorzystują społeczność poprzednich autorów do recenzowania artykułów. Osoby, które publikują najwięcej, bardzo ciężko pracują. Mogą nie być w stanie poświęcić wystarczająco dużo czasu na dobrą recenzję pracy. Jeśli materiał w artykule jest nowy, nieznany, nudny, wysoce techniczny lub mało przejrzysty, to te czynniki sprawiają, że jest mniej prawdopodobne, że zostanie on dokładnie zrecenzowany.
  2. Recenzent, który został pierwotnie wybrany w publikacji, może przekazać przejrzeć zadanie absolwentowi. Student może po prostu uczyć się czytać i przetrawiać prace naukowe w terenie. Jeśli materiał jest trudny, niedoświadczony recenzent może nie być w stanie go odpowiednio przejrzeć i może nie nauczyć się kwalifikować swoich osądów zgodnie z ich stopniem zrozumienia.
  3. Najbardziej wykwalifikowani recenzenci często mają silne poglądy na temat temat i może mieć zupełnie inne podejście. Dysonans poznawczy i emocjonalny odczuwany podczas próby zrozumienia zastosowania nieznanych narzędzi do znanych problemów może być zbyt duży do przezwyciężenia. Oczywiście ta ciężka praca może przynieść korzyści obu stronom, gdy proces działa.
  4. Udane nowe podejście może być nawet odczuwane jako zagrażające innym badaczom lub całej społeczności. Prawdziwe przełomy zakłócą kierunki badań, które prowadzą inni. To jeden z powodów, dla których mocne twierdzenia będą poddawane wyższemu standardowi uzasadnienia.
  5. Autorzy konkurują o ograniczoną przestrzeń w czasopismach i na konferencjach. Słyszałem, jak autorzy twierdzą, że czują, iż artykuł został odrzucony z powodu nieuczciwej recenzji ze strony interesującego się rywala. Oczywiście zazwyczaj nie mogą tego wiedzieć na pewno.
  6. Czasami recenzenci robią uzasadnione komentarze, ale silne emocjonalne przywiązanie autora do ich pracy powoduje, że odrzucają opinie. Może to zablokować proces, utrudniając publikację pracy z powodu nieskorygowanych błędów, nawet jeśli praca jest mocna. Czytałem o tym nawet w niektórych znanych gazetach.

Publikowanie artykułów jest podstawowym zajęciem zawodowym większości autorów, ale recenzowanie artykułów jest działaniem społecznym. To podsumowuje wiele konkretnych problemów.



To pytanie i odpowiedź zostało automatycznie przetłumaczone z języka angielskiego.Oryginalna treść jest dostępna na stackexchange, za co dziękujemy za licencję cc by-sa 4.0, w ramach której jest rozpowszechniana.
Loading...