Podstawowa różnica między ocenianiem esejów GRE a recenzowaniem prac naukowych nadesłanych do publikacji została przekonywująco omówiona w kilku poprzednich odpowiedziach. Podstawowa różnica między recenzowaniem wniosków o dofinansowanie a recenzowaniem artykułów do publikacji nie ma miejsca.
Publikacje. Kiedy artykuł jest przesyłany do czasopisma, zwykle ma to być gotowy produkt lub przynajmniej jeden zakończony krok w kierunku określonego celu. Naprawdę trudno jest znaleźć recenzentów, którzy byliby w stanie ocenić znaczenie artykułu i znaleźć każdą lukę w rozumowaniu lub każdą niedoskonałość techniczną, ale przynajmniej recenzenci artykułów w czasopismach mają wyniki badania na
Potencjalna praca Nobla może obejmować materiał tak nowy lub tak odległy od utartych szlaków, że jego rzetelna ocena będzie szczególnie trudna. Artykuł przesłany ponownie po kilku latach mógł opierać się na procedurach lub technikach, które w międzyczasie zostały znacznie dopracowane. Może więc były one najnowocześniejsze w momencie składania pierwotnego wniosku, ale obecnie mają „poważne wady” pod względem obecnie dostępnych metod. Nic więc dziwnego, że recenzenci nie otrzymują 100% punktów za te zadania.
Jednakże, mimo że recenzenci są bezpłatnymi, przepracowanymi wolontariuszami, pracującymi bez specjalistycznego szkolenia ani informacji zwrotnej na temat szczegółów recenzowania, myślę, że zaskakujące jest, jak dobrze recenzowanie czasopism działa w praktyce.
Granty. Natomiast wydawanie sądów na temat grantów badawczych przebiega zupełnie inaczej
rodzaj działalności. Kilka lat temu (kiedy amerykańskie fundusze federalne były dostępne na znacznie wyższym poziomie niż obecnie) spędziłem kilka lat w agencji federalnej dysponującej dość dużym budżetem na wspieranie badań podstawowych i stosowanych w różnych dziedzinach naukowych. Spróbuję więc pokrótce odnieść się do tej części obrazu. Zacznę od stwierdzenia, że wcale nie jestem zaskoczony, że panel naukowców uznałby, że fundusze NIH (lub jakiejkolwiek innej agencji rządowej USA) nie są lepsze niż loteria.
Ogólnie rzecz biorąc Jeśli wiesz dokładnie, co robisz, jak długo to zajmie i ile będzie to kosztowało, nie prowadzisz badań. Recenzenci często mogą być przydatni przy ocenie dotychczasowych osiągnięć wnioskodawcy i dostarczaniu ogólnych informacji o tym, czy wnioskodawca jest kompetentny do prowadzenia badań w określonej dziedzinie. (Powinienem dodać, że większość dyrektorów programów dobrze zdaje sobie sprawę ze standardów, uprzedzeń, słabości i mocnych stron recenzentów, z których korzystają. Rzadko byłem zaskoczony treścią recenzji, o którą prosili, ale kilka niespodzianek było niezwykle cennych.) Wkład recenzenta to tylko część obrazu.
Wykraczając poza wkład recenzenta, dyrektorzy programów w agencjach przyznających dotacje muszą wziąć pod uwagę inne czynniki. Do pewnego stopnia muszą wziąć pod uwagę czynniki finansowe, polityczne i infrastrukturalne. „Polityczny” oznacza zwykle, że pieniądze zostały przywłaszczone lub przekazane w określony sposób na wsparcie określonego celu naukowego. Kwestie infrastrukturalne skupiają się na opracowywaniu technologii, które są celami agencji, szkoleniu absolwentów w dziedzinach, w których nie ma wystarczającej liczby naukowców, czy instytucja ubiegająca się o dotację ma kwalifikacje do odpowiedniego zarządzania itd.
W USA agencje takie jak NIH, NSF, DoE, EPA, różne agencje obronne i różne fundacje finansowane ze środków prywatnych mogą mieć bardzo różne cele. Jednak wyraźnie te agencje
misje i cele mogą być określone w „zapytaniach ofertowych”, są one często ignorowane przez wnioskodawców, którzy mogliby lepiej uzasadnić swoją pracę, gdyby odpowiednie powiązania zostały jasno określone.
Pomimo tych ograniczeń przyznając granty, dyrektorzy programów starają się wspierać wyłącznie naukę najwyższej jakości i uważam, że zwykle im się to udaje. Z mojego doświadczenia wynika, że prawie wszyscy z nich postrzegają siebie najpierw jako naukowców, a dopiero potem biurokratów agencji. Często ich sukces odbywa się dzięki znacznej pomocy recenzentów, ale czasami nie.