Pytanie:
Dlaczego naukowcy nie publikują nieudanych eksperymentów?
user107
2012-03-15 10:01:05 UTC
view on stackexchange narkive permalink

Poniższe może być pewnym uogólnieniem dla wszystkich dziedzin, ale coś, co zauważyłem, szczególnie w dziedzinie informatyki naukowej:

  1. Dlaczego ludzie nie publikują błędów? To znaczy, gdyby spróbowali jakiegoś eksperymentu i na końcu zdali sobie sprawę, że próbowali wszystkiego i nic nie działało. Dlaczego tego nie publikują? Czy to dlatego, że takie treści nie zostaną opublikowane, czy też dlatego, że nieudany eksperyment w czasopiśmie wraz z nagrodzonymi pracami jest haniebny?

  2. Spędziłem większą część roku pracy nad tym, co teraz wygląda, martwym problemem. Jednak większość artykułów, które czytałem, początkowo doprowadziło cię do optymizmu. Po ponownym przeczytaniu artykułów zdaję sobie sprawę, że mogę (z dużą pewnością) powiedzieć, że autor coś ukrywa. Na przykład jeden z autorów, który porównywał dwa systemy, dał doskonałe podstawy teoretyczne, ale kiedy próbował zweryfikować teorię eksperymentami, były straszne rozbieżności w eksperymentach (co teraz zdaję sobie sprawę). Jeśli eksperymenty nie zadowoliły teorii, dlaczego by tego nie opublikować (wyraźnie wskazując części teorii, które zadziałały, a które nie) i zaoszczędzić trochę czasu przyszłym badaczom? Jeśli nie w czasopiśmie, dlaczego nie ArXiv lub ich własne strony internetowe?

to jeden z punktów otwartej nauki. Publikujesz nieudane podejścia na swoim blogu lub wiki. Pamiętam, jak kiedyś czytałem, że niepublikowanie nieudanych badań (tj. Lek nie działa) stawało się problemem w niektórych częściach badań medycznych i teraz duże badania NIH (myślę) muszą być zarejestrowane w bazie danych, zanim zostaną przeprowadzone i uwzględnią ich wyniki niezależnie od tego, czy są pozytywne, czy nie. Niestety nie pamiętam źródła tego :(.
Niezła lista Joel Reyes Noche. Jednak spośród 6 czasopism, o których wspomniałeś, pierwsza piątka koncentruje się na artykułach z negatywnymi wynikami. Ostatni, [Journal of Errology] (http://www.bioflukes.com/JoE) koncentruje się na dostarczaniu medium dla tych niepublikowanych daremnych prób stojących za każdym opublikowanym artykułem, który jest zwykle odrzucany. Są o wiele bardziej powszechne niż inne artykuły, których większość badaczy nie ma czasu na publikację, ponieważ nie przynoszą one żadnych korzyści dla ich kariery.
Resztę komentarza Selvina zamieszczam tutaj (poprzednio przesłany jako odpowiedź, ale przekonwertowany, ponieważ nie odpowiada na pytanie): „To przypomina mi o praktykach Edisona, gdzie zachował listę wszystkich rzeczy, które nie zadziałały , co później pomogło mu w znacznym stopniu. Wyobraź sobie, że wykonujesz 10 000 różnych eksperymentów bez odpowiedniego śledzenia każdego eksperymentu. To będzie koszmar ”.
Moje badania doktorskie były zerowe. Artykuł na ten temat ma ponad 80 cytatów. Ale tak właśnie jest w fizyce cząstek elementarnych, gdzie ustalanie granic początku oczekiwanego zjawiska jest bardzo powszechne.
(Opublikowałem to jako odpowiedź, ale zostałem usunięty, ponieważ tak naprawdę nie jest to odpowiedź. Tak więc, publikując jako komentarz) Częściowo zainspirowani tą dyskusją, a częściowo moim własnym doświadczeniem, my, grupa naukowców zajmujących się informatyką, organizujemy warsztaty pod tytułem „Badania e-nauki prowadzące do negatywnych wyników (ERROR)”. Warsztaty odbędą się w połączeniu z konferencją eScience 2015 w Monachium w Niemczech. Więcej informacji o warsztatach można znaleźć pod adresem http://press3.mcs.anl.gov/errorworkshop.
Zwykle można zamienić porażkę w pozytywną. Na przykład zdaję sobie sprawę z dwóch przypadków, w których komuś nie udało się zrobić xyz (jak obiecali na wniosku o dotację), ale dużo przemyśleli + ciężkiej pracy i udało mu się wyciągnąć z tego artykuł Nature, o czym oczywiście że nie trafili w cel i przypadkowo zrobili coś zupełnie innego.
Zawsze myślałem, że to dlatego, że akademicy nigdy nie popełniają błędów.
Mam nadzieję, że to pytanie nie jest tematyczne, ale: jak te papiery higieniczne nie znikają w próżni? Jeśli każdy publikuje około 4 artykułów w ciągu roku, czy nie oznacza to, że istnieją już niewiarygodne ilości artykułów, na których można by oprzeć / odwołać się do własnego artykułu? Czy na Ziemi jest około 10000 Acedemic People, więc krąg jest dość mały? A może jest gdzieś wyśrodkowana baza danych, która śledzi wszystkie informacje naukowe dostępne na Ziemi? Chciałbym wiedzieć, jak uzyskać przegląd istniejących dokumentów, aby nie „marnować” czasu, powtarzając to samo
(Tak, wiem, że to „powtórzenie” nazywa się „dowodem”, ale nie o to chodzi)
Osiem odpowiedzi:
#1
+92
Joel Reyes Noche
2012-03-15 14:18:51 UTC
view on stackexchange narkive permalink

„Dlaczego ludzie nie publikują błędów?”

Właściwie to robią.

  1. Journal of Negative Results (ekologia i ewolucja biology)
  2. Journal of Negative Results in Biomedicine
  3. Journal of Pharmaceutical Negative Results
  4. Journal of Interesting Negative Results (przetwarzanie języka naturalnego i uczenie maszynowe)
  5. Journal of Negative Results in Environmental Science (jeszcze żadnych problemów?)
  6. Journal of Errology (jeszcze żadnych wydań?)

i tak dalej ...

(Możesz też chcieć zobaczyć Sekcja negatywnych wyników w Journal of Cerebral Blood Flow & Metabolism.)

robią, ale nie często i nie w „standardowych czasopismach”
Niewielu z tych czasopism nie otrzymało wielu zgłoszeń. Jest to tragiczne, ponieważ brak opublikowanych prób replikacji jest jednym z największych problemów w nauce (patrz klasyczny artykuł Ioannidisa „Dlaczego większość opublikowanych wyników badań jest fałszywa”). Potrzebne są reformy, aby stworzyć większe zachęty dla naukowców do przeprowadzania i publikowania takich badań. Zwracamy się do wydawców w sprawie nowej koncepcji czasopisma, w której tylko plan badania (metody i plan analizy) dla próby replikacji byłby sprawdzany (https://plus.google.com/113040210411045341720/posts/BB2BnpHi8Tw), a następnie gwarantowana publikacja.
Na studiach fantazjowaliśmy o stworzeniu „American Journal of Failures and Missteps”.
Chciałbym również dodać, że obalenie ustalonej idei teoretycznej jest bardzo warte publikacji, nawet w czasopiśmie, które publikuje pozytywne wyniki. I to się zdarza (niestety nie dość często).
Jest też praktyczny powód: napisanie * dobrego * artykułu (nawet jeśli zawiera on negatywne) wyniki wymaga czasu i wysiłku, co większość badaczy woli poświęcić w inny sposób - na przykład na osiągnięcie * pozytywnych * wyników (być może w nadziei na opublikowanie tych w bardziej prestiżowych miejscach).
Spojrzałem na http://jinr.site.uottawa.ca/ - nie żyje Jim!
#2
+49
Fomite
2012-03-15 11:53:00 UTC
view on stackexchange narkive permalink

Puste wyniki są trudne do opublikowania. Po prostu są. Jednak co ciekawe, w mojej dziedzinie nie są one najtrudniejsze do opublikowania. Ogólna kolejność jest taka:

Dobrze działające (duże) badania, które pokazują, czego ludzie oczekują
Słabo zasilane (małe) badania, które pokazują, czego ludzie oczekują
Słabo zasilane badania, które są przeciwieństwem tego, czego ludzie spodziewane lub zerowe wyniki
Dobrze działające badania, które pokazują przeciwieństwo tego, czego oczekują ludzie

W tych środkowych dwóch kategoriach znajdziesz najwięcej „niepowodzeń”, przynajmniej jeśli chodzi o znajdowanie efekt istotny statystycznie. Biorąc to pod uwagę, rośnie nacisk, aby publikować tego typu badania, ponieważ są one ważną częścią literatury, a kilka czasopism medycznych poczyniło dość niezwykłe kroki w tym kierunku - na przykład, jeśli przyjmą artykuł na temat protokołu dla zbliżającego się badania klinicznego, zobowiązują się również do opublikowania wyników badania (jeśli przejdą wzajemną weryfikację) niezależnie od wyników.

Jeśli chodzi o to, Myślę, że istnieją trzy powody, dla których negatywne wyniki nie są publikowane bardziej niż „to jest trudne”:

  1. Brak opłacalności. Wprowadzenie artykułu do literatury wymaga czasu i wysiłku. I pieniądze - czas i wysiłek. Większość zerowych ustaleń / niepowodzeń to ślepe zaułki - nie będą one wykorzystywane do nowych wniosków o dotacje, nie będą tam, gdzie się wyróżnisz. Najlepsze, na co możesz liczyć, to kilka razy cytowanie ich w komentarzach lub artykułach metaanaliz. Dlaczego więc w świecie skończonego czasu miałbyś bardziej gonić za tymi wynikami?
  2. Brak dopracowania. Samo znalezienie wyniku jest krokiem pośrednim w publikowaniu wyników, a nie krok „i dlatego pojawia się w dzienniku”. Często łatwo jest stwierdzić, kiedy coś nie udaje się odnieść sukcesu na długo przed publikacją - takie projekty są porzucane. Więc chociaż są wyniki „nieudane”, nie są one wynikami gotowymi do publikacji, nawet jeśli obawialiśmy się niepowodzeń.
  3. Wiele niepowodzeń ma podłoże metodologiczne. Ten projekt studium nie może tak naprawdę odpowiedzieć na pytanie, które chcesz zadać. Twoje dane nie są wystarczająco dobre. Cały ten tok rozumowania jest błędny. Naprawdę trudno jest przekształcić to w artykuł.

Udane artykuły mogą być publikowane z własnym sukcesem - to jest interesujące. Nieudane artykuły mają podwójny ciężar: są trudne do opublikowania, i musiały zawieść, co ciekawe.

Nie jest dla mnie jasne, jaka jest kolejność od najtrudniejszych do najmniej trudnych do opublikowania na Twojej liście?
@Stephanie Oni wszyscy mówią raczej „Nie mogę się przejmować, aby zrobić z tego artykuł”, a nie trudności z przesłaniem, a zatem prawdopodobnie różnią się w zależności od twojej motywacji.
Ta część „Dobrze zasilane (duże) badania, które pokazują, czego oczekują ludzieBadania słabo zasilane (małe), które pokazują, czego oczekują ludzieBadania o niskiej mocy, które znajdują przeciwieństwo tego, czego oczekują ludzie, lub zerowe wynikiBadania dobrze zasilane, które znajdują przeciwieństwo tego, czego oczekują ludzie” nie numerowane kawałek
@Stephanie Ach, to ma większy sens. Są w przybliżonym porządku trudności, od najmniej do najtrudniejszej do opublikowania, chociaż może to być specyficzne dla danej dziedziny i jest oparte na slajdzie, który kiedyś widziałem w prezentacji.
Najbardziej podoba mi się ta odpowiedź - faktycznie odpowiada na pytanie. Nic nie * zapobiega * opublikowaniu niepowodzenia, ale kosztuje to czas, wysiłek i pieniądze; wymaga twojej uwagi i musi zostać wplątany w coś z punktem. Dodałbym jeszcze jedno: nie chcesz zdradzać zbyt wiele na temat swoich badań, jeśli nadal są obiecujące. Smutne, ale konieczne.
#3
+35
Stefano Borini
2012-03-15 10:19:53 UTC
view on stackexchange narkive permalink

Nie jest do końca prawdą, że awarie nie są publikowane. Brak sygnałów lub brak korelacji są publikowane. Chodzi o to, że wszystko, co popycha wiedzę do przodu, jest warte publikacji. To powiedziawszy, istnieją inne czynniki, które musisz wziąć pod uwagę.

  1. Niektóre błędy są metodologiczne, to znaczy robisz coś źle. To nie jest sygnał naukowy. to jest coś, co musisz rozwiązać.
  2. Wiedza o tym, co nie działa, daje Ci przewagę konkurencyjną nad innymi grupami badawczymi.
  3. negatywne sygnały prawie nigdy nie otwierają nowych pól. Jeśli tak, to dlatego, że skierowali uwagę, aby znaleźć pozytywny sygnał gdzie indziej. Nie otwierasz nowego rozwoju leku na raka, jeśli okaże się, że substancja nie ma efektu. Zamykasz jeden. Z tego powodu negatywne artykuły generalnie nie otrzymują wiele uwagi, a uwagi rówieśników jest dużo w środowisku akademickim.
Ciekawy. Ale czy nie chodzi o publikowanie rozpowszechniania informacji? Jeśli zamyka pole, to dobrze! Koniec z marnowaniem czasu. Widziałem również wiele publikacji o wojnach, na przykład między teoretykami strun i resztą. Lub fanboyów * GPU * vs wielordzeniowych. Ale nikt nie sprzeciwia się jego własnemu.
@Nunoxic: o to chodzi: pozwolić innym marnować ich czas, aby podczas gdy byli zajęci zastanawianiem się, czego już się nauczyłeś, możesz pokonać ich publikujących przed nimi. Myślisz, że środowisko akademickie to banda hipisów?
Najlepszym przykładem negatywnego wyniku, który był niezwykle ważny, o którym mogę pomyśleć, jest eksperyment Michaelsona-Morleya, który całkowicie zdmuchnął pokrywę starej teorii eteru. Większość negatywnych wyników nie jest tak przyciągająca uwagę. :)
@StefanoBorini Myślę, że jest to raczej pesymistyczne. Regularnie widzę publikowaną literaturę medyczną, w której nie ma korzyści / skutków stosowania leków i to jest ważne. Ogólnie rzecz biorąc, myślę, że wiele ślepych zaułków nie jest publikowanych, ponieważ często zakłada się, że ślepe uliczki są ślepe; obiecujące wyniki (zarówno pozytywne, jak i negatywne) wciąż wymagają dużo czasu, aby sfinalizować, czas, który być może lepiej byłoby spędzić na dążeniu do czegoś bardziej obiecującego.
@Nunoxic - Nie, celem publikacji jest to, że pobudza darowizny i zainteresowanie twoimi badaniami. Jeśli opublikujesz kilka artykułów o tym, jak schrzaniłeś i zmarnowałeś miliony, a nawet tysiące w postaci grantów i prywatnych funduszy, ponieważ schrzaniłeś, ludzie są mniej skłonni sfinansować twój następny projekt badawczy i mogą ściągać fundusze na to, co masz.
@george - To jest badanie sektora prywatnego. Firmy ubezpieczeniowe chętnie dzielą się informacjami, które mogą im pomóc zaoszczędzić pieniądze. To, czego nie widzisz, to badania, które wykazałyby, że leczenie, które kosztuje więcej pieniędzy, zapewnia również więcej korzyści. Te pochodzą od lekarzy.
@StefanoBorini: Tak, właściwie, _ jesteśmy__ grupą hipisów. W każdym razie niektórzy z nas.
#4
+12
Ondrej
2012-03-15 18:26:28 UTC
view on stackexchange narkive permalink

Jedną z konsekwencji niezgłaszania błędów jest stronniczość publikacji. Jest to szeroko opisywane zjawisko, którym zwykle zajmuje się metaanaliza. To znaczy, jeśli badania dotyczą pewnych wymiernych wyników, powiedzmy pewnej (liniowej) regresji, zwykle pożądana jest istotność statystyczna. Jeśli takie wyniki nie zostaną osiągnięte, badacze czasami próbują dostosować swoją metodologię, modele, dane lub cokolwiek innego, aby uzyskać wyniki bardziej „do publikacji”.

Problem albo dostosowania modeli, albo całkowitego wycofania artykuł (tzw. problem z szufladami) był (i do pewnego stopnia nadal jest) problemem w medycynie, jak zauważa @Artem Kaznatcheev w komentarzu i jak dodaje, spowodował rejestrację badań przed publikacją. Jego źródła mogą się różnić, ale artykuł opisujący to np. Krakovsky (2004).

Bardziej ogólnie, spójrz na Stanley (2005) lub Stanley (2008), aby uzyskać więcej informacji na temat stronniczości publikacji i metaanalizy.

#5
+8
Bravo
2012-03-15 11:24:31 UTC
view on stackexchange narkive permalink

Czasami niektóre niepowodzenia prowadzą do powstania nowych teorii. Na przykład istnieją twierdzenia o niemożliwości w projektowaniu mechanizmów (Arrowa czy Gibbarda-Satterthwaite'a), które ustanawiają ograniczenia możliwych do implementacji mechanizmów.

W tym sensie same niepowodzenia mogą nie być przydatne w publikacji. Ludzie chcą wiedzieć, dlaczego coś zawiodło, a raczej jaka kategoria eksperymentów / teorii zawiodłaby. Jednak postępowanie w tym kierunku jest często obarczone ryzykiem: łatwiej jest postawić problem i go rozwiązać, niż określać warunki, kiedy problemu nie można rozwiązać. Pierwsza z nich jest interesująca dla szerszej grupy odbiorców niż druga.

Podsumowując: spróbuj sformalizować lub teoretyzować swoje niepowodzenia i zobacz, czy nadchodzi ich wynik; w przeciwnym razie przejdź do próby rozwiązania ważniejszego problemu.

#6
+8
Mark Hahnel
2012-04-10 15:22:26 UTC
view on stackexchange narkive permalink

Myślę, że sprowadza się to do poświęconego czasu. Osobiście nie mogłem się martwić spędzeniem 2 dni na pisaniu i formatowaniu artykułu pod kątem negatywnych danych. Musi to być naprawdę proste i albo muszę uzyskać za to jakieś uznanie, albo zostać do tego upoważniony.

Istnieje rosnące zapotrzebowanie ze strony sponsorów, a mandaty zmuszają naukowców do podejmowania wszystkich dostępne wyniki badań są tylko kwestią czasu. W międzyczasie altmetryki mogą działać jak marchewka, zachęcając naukowców do udostępniania ich danych, nawet tych negatywnych.

#7
+3
lynxoid
2012-03-19 02:12:46 UTC
view on stackexchange narkive permalink

Jeśli przeczytałeś dużo literatury, a potem zdałeś sobie sprawę, że jesteś w ślepym zaułku, możesz przynajmniej opublikować recenzję wszystkich metod i technik, których się nauczyłeś.

#8
+1
uli
2015-04-02 19:03:20 UTC
view on stackexchange narkive permalink

Istnieje Dziennik nierozwiązanych pytań JunQ. Zbierają wyniki badań „zerowych” i otwierają problemy.



To pytanie i odpowiedź zostało automatycznie przetłumaczone z języka angielskiego.Oryginalna treść jest dostępna na stackexchange, za co dziękujemy za licencję cc by-sa 3.0, w ramach której jest rozpowszechniana.
Loading...