„Dlaczego ludzie nie publikują błędów?”

Właściwie to robią.

1. Journal of Negative Results (ekologia i ewolucja biology)
2. Journal of Negative Results in Biomedicine
3. Journal of Pharmaceutical Negative Results
4. Journal of Interesting Negative Results (przetwarzanie języka naturalnego i uczenie maszynowe)
5. Journal of Negative Results in Environmental Science (jeszcze żadnych problemów?)
6. Journal of Errology (jeszcze żadnych wydań?)

i tak dalej ...

(Możesz też chcieć zobaczyć Sekcja negatywnych wyników w Journal of Cerebral Blood Flow & Metabolism.)

Puste wyniki są trudne do opublikowania. Po prostu są. Jednak co ciekawe, w mojej dziedzinie nie są one najtrudniejsze do opublikowania. Ogólna kolejność jest taka:

Dobrze działające (duże) badania, które pokazują, czego ludzie oczekują
Słabo zasilane (małe) badania, które pokazują, czego ludzie oczekują
Słabo zasilane badania, które są przeciwieństwem tego, czego ludzie spodziewane lub zerowe wyniki
Dobrze działające badania, które pokazują przeciwieństwo tego, czego oczekują ludzie

W tych środkowych dwóch kategoriach znajdziesz najwięcej „niepowodzeń”, przynajmniej jeśli chodzi o znajdowanie efekt istotny statystycznie. Biorąc to pod uwagę, rośnie nacisk, aby publikować tego typu badania, ponieważ są one ważną częścią literatury, a kilka czasopism medycznych poczyniło dość niezwykłe kroki w tym kierunku - na przykład, jeśli przyjmą artykuł na temat protokołu dla zbliżającego się badania klinicznego, zobowiązują się również do opublikowania wyników badania (jeśli przejdą wzajemną weryfikację) niezależnie od wyników.

Jeśli chodzi o to, Myślę, że istnieją trzy powody, dla których negatywne wyniki nie są publikowane bardziej niż „to jest trudne”:

1. Brak opłacalności. Wprowadzenie artykułu do literatury wymaga czasu i wysiłku. I pieniądze - czas i wysiłek. Większość zerowych ustaleń / niepowodzeń to ślepe zaułki - nie będą one wykorzystywane do nowych wniosków o dotacje, nie będą tam, gdzie się wyróżnisz. Najlepsze, na co możesz liczyć, to kilka razy cytowanie ich w komentarzach lub artykułach metaanaliz. Dlaczego więc w świecie skończonego czasu miałbyś bardziej gonić za tymi wynikami?
2. Brak dopracowania. Samo znalezienie wyniku jest krokiem pośrednim w publikowaniu wyników, a nie krok „i dlatego pojawia się w dzienniku”. Często łatwo jest stwierdzić, kiedy coś nie udaje się odnieść sukcesu na długo przed publikacją - takie projekty są porzucane. Więc chociaż są wyniki „nieudane”, nie są one wynikami gotowymi do publikacji, nawet jeśli obawialiśmy się niepowodzeń.
3. Wiele niepowodzeń ma podłoże metodologiczne. Ten projekt studium nie może tak naprawdę odpowiedzieć na pytanie, które chcesz zadać. Twoje dane nie są wystarczająco dobre. Cały ten tok rozumowania jest błędny. Naprawdę trudno jest przekształcić to w artykuł.

Udane artykuły mogą być publikowane z własnym sukcesem - to jest interesujące. Nieudane artykuły mają podwójny ciężar: są trudne do opublikowania, i musiały zawieść, co ciekawe.

Nie jest do końca prawdą, że awarie nie są publikowane. Brak sygnałów lub brak korelacji są publikowane. Chodzi o to, że wszystko, co popycha wiedzę do przodu, jest warte publikacji. To powiedziawszy, istnieją inne czynniki, które musisz wziąć pod uwagę.

1. Niektóre błędy są metodologiczne, to znaczy robisz coś źle. To nie jest sygnał naukowy. to jest coś, co musisz rozwiązać.
2. Wiedza o tym, co nie działa, daje Ci przewagę konkurencyjną nad innymi grupami badawczymi.
3. negatywne sygnały prawie nigdy nie otwierają nowych pól. Jeśli tak, to dlatego, że skierowali uwagę, aby znaleźć pozytywny sygnał gdzie indziej. Nie otwierasz nowego rozwoju leku na raka, jeśli okaże się, że substancja nie ma efektu. Zamykasz jeden. Z tego powodu negatywne artykuły generalnie nie otrzymują wiele uwagi, a uwagi rówieśników jest dużo w środowisku akademickim.

Jedną z konsekwencji niezgłaszania błędów jest stronniczość publikacji. Jest to szeroko opisywane zjawisko, którym zwykle zajmuje się metaanaliza. To znaczy, jeśli badania dotyczą pewnych wymiernych wyników, powiedzmy pewnej (liniowej) regresji, zwykle pożądana jest istotność statystyczna. Jeśli takie wyniki nie zostaną osiągnięte, badacze czasami próbują dostosować swoją metodologię, modele, dane lub cokolwiek innego, aby uzyskać wyniki bardziej „do publikacji”.

Problem albo dostosowania modeli, albo całkowitego wycofania artykuł (tzw. problem z szufladami) był (i do pewnego stopnia nadal jest) problemem w medycynie, jak zauważa @Artem Kaznatcheev w komentarzu i jak dodaje, spowodował rejestrację badań przed publikacją. Jego źródła mogą się różnić, ale artykuł opisujący to np. Krakovsky (2004).

Bardziej ogólnie, spójrz na Stanley (2005) lub Stanley (2008), aby uzyskać więcej informacji na temat stronniczości publikacji i metaanalizy.

Czasami niektóre niepowodzenia prowadzą do powstania nowych teorii. Na przykład istnieją twierdzenia o niemożliwości w projektowaniu mechanizmów (Arrowa czy Gibbarda-Satterthwaite'a), które ustanawiają ograniczenia możliwych do implementacji mechanizmów.

W tym sensie same niepowodzenia mogą nie być przydatne w publikacji. Ludzie chcą wiedzieć, dlaczego coś zawiodło, a raczej jaka kategoria eksperymentów / teorii zawiodłaby. Jednak postępowanie w tym kierunku jest często obarczone ryzykiem: łatwiej jest postawić problem i go rozwiązać, niż określać warunki, kiedy problemu nie można rozwiązać. Pierwsza z nich jest interesująca dla szerszej grupy odbiorców niż druga.

Podsumowując: spróbuj sformalizować lub teoretyzować swoje niepowodzenia i zobacz, czy nadchodzi ich wynik; w przeciwnym razie przejdź do próby rozwiązania ważniejszego problemu.

Myślę, że sprowadza się to do poświęconego czasu. Osobiście nie mogłem się martwić spędzeniem 2 dni na pisaniu i formatowaniu artykułu pod kątem negatywnych danych. Musi to być naprawdę proste i albo muszę uzyskać za to jakieś uznanie, albo zostać do tego upoważniony.

Istnieje rosnące zapotrzebowanie ze strony sponsorów, a mandaty zmuszają naukowców do podejmowania wszystkich dostępne wyniki badań są tylko kwestią czasu. W międzyczasie altmetryki mogą działać jak marchewka, zachęcając naukowców do udostępniania ich danych, nawet tych negatywnych.

Jeśli przeczytałeś dużo literatury, a potem zdałeś sobie sprawę, że jesteś w ślepym zaułku, możesz przynajmniej opublikować recenzję wszystkich metod i technik, których się nauczyłeś.

Istnieje Dziennik nierozwiązanych pytań JunQ. Zbierają wyniki badań „zerowych” i otwierają problemy.