Sam Stoelinga
2014-06-11 19:23:29 UTC
Właśnie zacząłem czytać kilka artykułów (informatyka, a konkretnie Computer Vision) i pomyślałem „teraz spójrzmy na kod źródłowy” i byłem dość zdumiony, że większość artykułów nie ma żadnego kodu źródłowego implementującego opisane metody w, twierdząc, że mają jakieś wyniki lub będąc lepszymi od innych artykułów.
W jaki sposób te artykuły są akceptowane w czasopismach / na konferencjach? Czy ludzie muszą przesyłać swój kod źródłowy przynajmniej prywatnie recenzentom, aby mogli odtworzyć eksperyment, jeśli to możliwe.
Większość czasopism / konferencji po prostu „wierzy”, że ludzie, którzy przesyłają artykuł, naprawdę wdrożyli Teoria i otrzymałem dokładne wyniki?
Zawsze myślałem, że każdy eksperyment powinien być powtarzalny przez innych, w przeciwnym razie nie jest naukowo uzasadniony. Zastanawiałem się nad tym przez ostatnie kilka dni.
Ludzi z mojego obszaru badań tak naprawdę nie obchodzi kod użyty do uzyskania wyników; koncepcje kryjące się za kodowaną implementacją są ważniejsze. Zakłada się, że każdy, kto posiada wiedzę w tej dziedzinie, może stworzyć kod w wybranym przez siebie języku, o ile pojęcia (opisy algorytmów itp.) Są wyjaśnione w bardzo jasny i jasny sposób.
Powiązane: [Jak czasopisma akademickie chronią przed wynikami empirycznymi podawanymi przez błędy?] (Http://academia.stackexchange.com/questions/18117/how-do-academic-journals-protect-against-empirical-results-given-by -robaki)
Zauważ, że problem nie jest specyficzny dla kodu komputerowego, ale przebiega analogicznie, jak w przypadku pracy laboratoryjnej. Nawet jeśli procedury / protokoły są szczegółowo opisane, nie ma możliwości dowiedzenia się, czy osoba, która wykonała pracę, skrupulatnie przestrzegała protokołów.
To jest naprawdę zbyt niejasne, aby pozwolić na możliwą odpowiedź. O jakim „kodzie” mówisz?
* „Czy większość czasopism / konferencji po prostu„ wierzy ”, że ludzie, którzy przesłali artykuł, naprawdę wdrożyli teorię i otrzymali dokładne wyniki?” * Takie jest moje wrażenie i wcale mi się to nie podoba, zwłaszcza gdy fundusze na to wyprodukowanie realizacja pochodzi ze środków publicznych. Jeśli finansowanie jest * publiczne *, kod powinien być * publiczny *. Jeśli chcesz * opublikować * artykuł o systemie, kod powinien być * opublikowany *. Niestety rzadko się to zdarza.
BTW: zobacz także tę powiązaną odpowiedź: http://academia.stackexchange.com/questions/13726/should-i-supply-code-as-supplemental-material/13730#13730
@user11192 Hmm, w praktyce może to czasem sprawiać problemy. Zwłaszcza, że czasu jest zawsze mało. Oto przykład http://iopscience.iop.org/1367-2630/7/1/034 :)
@posdef: Labwork * nie * jest analogiczne. Możesz łatwo udostępnić kod online, aby każdy mógł go pobrać, przeczytać, przetestować i używać. Nie możesz zrobić tego samego z pracą laboratoryjną. Dlatego musimy ufać Twojemu słowu w pracy laboratoryjnej, ale nie ma potrzeby ufać Twojemu słowu w kodzie.
@JukkaSuomela Rozumiem, o co ci chodzi, ale jedna _mogłaby_ nagrać wideo samemu wykonując pracę laboratoryjną i umieścić ją w Internecie. Nie mówię, że to ma sens, po prostu mówię, że jest to możliwe.
@JukkaSuomela Chodzi o to, że cały system publikacji akademickich opiera się na (stosunkowo) krótkich streszczeniach i dużym zaufaniu. Praca laboratoryjna jest trochę bardziej niejasna, ale naukowcy zazwyczaj nie publikują również surowych danych ani dzienników. W przypadku publikacji elektronicznych, materiałów uzupełniających itp. * Może * wyglądać inaczej, ale analogia jest nadal aktualna.
Nie znam żadnych nauk, w których przegląd przed publikacją wiąże się z odtworzeniem eksperymentów - eksperymenty powinny być powtarzalne w rozsądny sposób, ale nie oczekuje się, że recenzenci faktycznie zrobią to przed publikacją, a inne grupy badawcze powinny to zrobić później. Jednak to, co * jest * potrzebne, to szczegóły dotyczące procesu pomiarowego i zestawu testowego - abym mógł uzyskać porównywalne wyniki z ponownego wdrożenia metodologii w pomieszczeniach czystych. I tylko w ten sposób można nazwać eksperyment odtwarzalnym - użycie kodu nie jest takie, ponieważ może działać nieco inaczej niż opisano.
Ponowne uruchomienie programu i tak nie byłoby właściwą weryfikacją. Jeśli implementacja zawiera błędy, ponowne uruchomienie nadal daje nieprawidłowe wyniki. Ponowne wdrożenie jest właściwą weryfikacją. Powtarzalność oznacza, że jest to wystarczająco jasno wyjaśnione, aby umożliwić ponowną implementację. Jasny opis jest znacznie bardziej pomocny w odtwarzaniu wyników niż kod. Kod jest przeznaczony do uruchamiania komputerów, a nie do czytania przez ludzi. (Pamiętaj: w zdecydowanej większości przypadków ten kod jest implementowany przez jedną osobę i nie jest przeznaczony do konserwacji, nie jest to „inżynieria oprogramowania”). Artykuł jest przeznaczony dla ludzi do czytania.
Jestem geofizykiem, który pisze dużo kodu do modelowania. Ale sam kod jest szczerze nieistotny. Liczy się idea kodu. Z drugiej strony, jeśli chcesz, aby Twój model (nie kod) został zaakceptowany, lepiej pokaż weryfikację, czy działa przeciwko czemuś znanemu lub wcześniej zweryfikowanemu. Żaden recenzent nie wypuści papieru modelowego bez etapu weryfikacji.
@posdef W rzeczywistości istnieje czasopismo poświęcone „nagrywaniu wideo podczas pracy w laboratorium” - JoVE. http://www.jove.com
@Szabolcs Jestem z wami - w mojej dziedzinie „odtwarzalność” w odpowiedniej formie oznacza możliwość przeprowadzenia porównywalnych badań na zupełnie innej populacji. „Potrafię kliknąć i uzyskać tę samą odpowiedź” to niska i podstawowa forma powtarzalności. I to ignoruje perspektywę danych, których * nie mogę Ci udostępnić *, których kod wymaga do uruchomienia.
@Trylks, Zgadzam się z tobą w 100%, gdyby to zależało ode mnie ... bez kodu, bez funduszy publicznych ... na cokolwiek CS. Jestem również głęboko przekonany, że wielu studentów podejmuje tajne badania finansowane ze środków publicznych i wskakuje bezpośrednio na rynek prywatny ze swoimi „dobrami”. Nie mam problemu z komercjalizacją pracy publicznej przez kogoś, dlatego zaczynamy to finansować ... ale nie jestem w porządku z finansowanym ze środków publicznych wyprzedzeniem zapewnianym przez kod. Nie obchodzi mnie, czy jest to użyteczne, praktyczne ... lub całkowicie bezużyteczne. kupiliśmy, to od nas zależy, czy będzie to wartość.
Wszystko zależy od tego, jak dające się udowodnić wyniki. Jeśli są to twierdzenia matematyczne, wymagany jest dowód matematyczny, a nie uruchamianie kodu (chyba że jest to kod do dowodzenia twierdzeń).
@Szabolcs „Powtarzalność oznacza, że jest wyjaśniona wystarczająco jasno, aby umożliwić ponowną implementację”. Najlepszym wyjaśnieniem jest sam kod, kod powinien być czytany. Jeśli stawiasz na ilość (dwa wyjaśnienia, jedno w języku angielskim, jedno w kodzie), wówczas jakość prawdopodobnie spadnie z powodu napiętych terminów. Jeśli chcesz nadać priorytet jednemu wyjaśnieniu jakości, powinien to być kod. W teorii teoria i praktyka to to samo, ale w praktyce bardzo się różnią. Lekceważenie praktyki prowadzi do zamknięcia się w „wieży z kości słoniowej”.
@Trylks Ale co, jeśli naprawdę interesujesz się teorią i w tym jesteś dobry? Sugerujesz, że „wieża z kości słoniowej” jest zła, a praktyka jest dobra, ale czy każdy informatyk na świecie powinien poświęcić czas i zasoby na produkcję oprogramowania klasy produkcyjnej lub wydzielanie firm?
@Relaxed Powiedziałbym, że praca informatyka polega na tworzeniu oprogramowania. Widziałem artykuły, w których proponowano coś w teorii, a ten sam autor starał się uzyskać działającą implementację (i jeszcze jej nie widziałem). Co byśmy powiedzieli, gdyby wydarzyło się to w innych obszarach? Pomyśl o osobie, która twierdzi, że wyleczyła raka (w teorii), ale próbując wziąć to w życie, okazuje się, że _ empirycznie_ nie działa (i zabija ludzi z wielkim bólem). Nierzadko zdarza się, że naukowcy nie mogą „prowadzić” własnych badań, należy podkreślić i egzekwować „odtwarzalność”.
@Trylks Myślę, że twoja analogia jest bardzo wymowna. Jest wiele badań w biologii raka, których celem nie jest natychmiastowe wyleczenie. Nawet wąsko zdefiniowane badania medyczne nie ograniczają się do badań klinicznych gotowych do przetestowania leków, a różne osoby prowadzą różnego rodzaju badania (np. Jedni specjalizują się w badaniach klinicznych, inni w różnych podobszarach biologii). Jeśli jest empiryczny, powinien być tak powtarzalny, jak to tylko możliwe, ale nie wszystko jest lub powinno dotyczyć zastosowań praktycznych (medycznych lub innych) i nie sądzę, aby CS dotyczyło tylko tworzenia oprogramowania.
Muszą ująć to bardziej wstępnie niż „wyleczyliśmy raka”, ale ludzie rzeczywiście przez cały czas publikują artykuły bez przechodzenia przez całą drogę do badania klinicznego rzeczywistej cząsteczki (wdrożenie, jeśli wolisz).
@Relaxed Podsumowałbym to w następujący sposób: „kod albo to się nie stało”.
@Trylks Tyle się domyśliłem ;-) Ale nie tak działają badania (lub powinny działać, IMO).
„Ponowne uruchomienie programu i tak nie byłoby właściwą weryfikacją. Jeśli implementacja zawiera błędy, ponowne uruchomienie nadal daje błędne wyniki” Jeśli implementacja zawiera błędy, wyniki mogą być oparte na błędzie, dlatego wyniki nie powinnynie można ufać.