Pytanie:
Jak szczery powinienem być w ujawnianiu niezbyt ekscytujących wyników?
undergrad_dilemma
2018-12-10 23:14:29 UTC
view on stackexchange narkive permalink

Jestem socjologiem niedegradowanym i pracuję nad esejem na lekcji metod. Planuję również przesłać go jako próbkę do mojej aplikacji na studia magisterskie. Nie chcę być zbyt konkretny, ale uważam, że ta praca jest dość oryginalna, a moja hipoteza potwierdziłaby wcześniejszą literaturę, aw sumie myślę, że zrobiłaby dobre wrażenie na komisji rekrutacyjnej.

Więc w zasadzie przeprowadziłem testy i otrzymuję sprzeczne wyniki. Korzystanie z jednego zbioru danych (który ma więcej obserwacji) daje mi bardzo znaczące wyniki, podczas gdy użycie innego (który prawdopodobnie byłby dokładniejszy) nic mi nie daje. Jestem więc na rozdrożu i mam trzy możliwe opcje postępowania:

  1. Pokaż tylko znaczące wyniki. W końcu to tylko dziesięciostronicowy esej, nie powinien być publikowany ani nic takiego, prawda?

  2. Korzystaj tylko z lepszego zbioru danych i przyznaj, że po prostu nie ma wiele - może obwiniając za to małą liczebność próby lub niezbyt dobrą zmienną zależną. Mam nadzieję, że komisja doceni uczciwość i stosunkowo zaawansowane metody, których użyłem.

  3. Pokaż wyniki z obu zbiorów danych, sugerując, że różnice mogą wynikać z wielkości próby, a może szansa.

Kiedy to piszę, skłaniam się bardziej ku opcji 3, ale chciałbym usłyszeć od ludzi z większym doświadczeniem w środowisku akademickim. Co mam zrobić?

Sprzeczne wyniki są pierwszym krokiem do odkrycia.
@henning ... lub obalanie naukowych credo.Przyjmij sprzeczność.
„ta praca jest dość oryginalna, a moja hipoteza potwierdziłaby wcześniejszą literaturę” Potwierdza istniejące wcześniejsze wyniki, ale jest oryginalna?
+1 za pytanie.Gorąco polecam regularne odwiedzanie bloga Andrew Gelmana w celu omówienia właściwego sposobu prowadzenia statystyk, szczególnie w naukach społecznych, Oto jeden przykład https://andrewgelman.com/?s=file+drawer
Odwróć pytanie.Nie pytaj „jak mam być szczery?”Zapytaj „jak bardzo powinienem próbować oszukać moich recenzentów?”Czy odpowiedź na pytanie jest prostsza, kiedy zadajesz to w ten sposób?
Czy możesz otrzymać trzeci zestaw danych?
Wydaje się, że wszyscy się z tym zgadzają, ale z drugiej strony, co dziwne, opublikowano tak wiele artykułów z niesamowitymi wynikami na ręcznie dobranych zbiorach danych, że nikt nie może odtworzyć na żadnym innym zestawie danych :-)
1) […] Przecież tylko esej.2) [...] doceniam uczciwość.3) [...] sugerując, że [...] - Dużo tam cięcia, przepraszam, ale uważam Twoje dynamiczne podejście do „uczciwości” za dość fascynujące, biorąc pod uwagę, jak zaczyna się Twoje pytanie.
Kiedy zobaczyłem słowa „jak uczciwie” i „ujawnianie wyników”, wiedziałem, że odpowiedź na twoje pytanie będzie „całkowicie szczera”.
Właściwie to właśnie wysłuchałem podcastu od uroczych ludzi z SYSK, który dotyczył dokładnie tego tematu.Ogromnym problemem związanym z badaniami jest to, że tylko wyniki „* sexy *” (ich deskryptor, a nie mój) są zwykle zgłaszane, co prowadzi do wprowadzających w błąd / wręcz fałszywych informacji (dla zainteresowanych: https://www.stuffyoushouldknow.com/podcasts / research-tips-from-sysk.htm)
@jcaron to bezsilność „powinności”.Niestety stronniczość publikacji jest rzeczywistością.
Jest trzecia opcja: zła metodologia - albo w zbieraniu danych, albo przy podejmowaniu decyzji * jakie * dane zebrać.
Witamy w nauce!
Zapominasz o naukowym porzekadle, że każdą teorię można uznać za udowodnioną, jeśli wymaga to wyrzucenia mniej niż połowy swoich obserwacji.(Jestem sarkastyczny.)
Chcę się upewnić, że rozumiem.Twój esej obejmuje dwa eksperymenty.Pierwszy miał większy zestaw danych i okazał się znaczącymi wynikami, ale jego zmienne są słabe.Drugie badanie zawierało bardziej interesujące zmienne, ale badanie było zbyt małe, aby uzyskać znaczący wynik.Czy to jest poprawne?Brzmi jak dokładnie to, co chciałbym, aby się wydarzyło, aby uzasadnić powtórzenie drugiego eksperymentu z większym badaniem.Czy nie byłby to oczywisty wniosek dla eseju?
Osiem odpowiedzi:
Buffy
2018-12-10 23:36:54 UTC
view on stackexchange narkive permalink

W badaniach nie zamierzasz udowodnić , że coś jest prawdą. Postanowiłeś sprawdzić, czy to prawda. To byłaby wiedza. Drugi to tylko propaganda.

Negatywne wyniki nie są porażką. Dają dowody tak samo, jak pozytywne wyniki. Jeśli ignorujesz lub zaciemniasz wyniki, okłamujesz siebie i innych. Jeśli projektujesz „eksperyment” w taki sposób, że z góry gwarantuje on uzyskanie pozytywnych wyników, nie jest to badanie.

Nadzieja, że ​​coś jest prawdą, nie jest dowodem. Wielu badaczy zaczyna od tego pomysłu. Myślę, że to prawda. Naprawdę chcę, żeby to była prawda. Ale jeśli jest fałszywe, równie cenne (a może nawet bardziej) jest wiedzieć o tym i móc zbadać, dlaczego.

Zgłaszaj wszystkie swoje wyniki. Spróbuj wyjaśnić, dlaczego różne aspekty prowadzą Cię w różnych kierunkach. Dopiero wtedy można rozpocząć naukę.

Naprawdę chcę, aby ta odpowiedź była prawdziwa, ale czy to ...
To w większości.Chcę zaznaczyć, że wydaje się (i nie jest dobre) takie przekonanie, że w jakiś sposób jedynymi „dobrymi” wynikami są te, które prowadzą do _nowatorskiego wniosku_.Ale to jest dalekie od prawdy.Osiągnięcie oczekiwanego lub konwencjonalnego wniosku przez niesprawdzoną lub nowatorską ścieżkę jest równie nową wiedzą, ponieważ wciąż prowadzi tę ścieżkę od „przewidzianej” do „wiedzy”.Co więcej, nawet _replikacja_ _ starej_ ścieżki nadal ma pewne zastosowanie, ponieważ zwiększa zaufanie do istniejących wyników, zwł.gdyby były co do nich wątpliwości.Replikacje są ważne.
[Mogę również wskazać, że weryfikacja przewidywań przyjętej teorii za pomocą nowego testu również służy zwiększeniu pewności siebie.Te „pewnie zaakceptowane” teorie nie osiągają tego po prostu przez magię lub fiat.]
głównym problemem związanym z niezbyt ekscytującymi wynikami imo jest to, że generalnie nie prowadzi to do większego finansowania w tym zorientowanym na zysk świecie - znalezienie finansowania czystych badań podstawowych bez bezpośrednich i łatwych do komercjalizacji wyników jest trudne, o ile jesteśchcesz zmienić to, czego dokładnie badasz, zamiast gonić za ślepą uliczką, prawdopodobnie wszystko będzie dobrze - to powiedziawszy, wiele ślepych zaułków / brak jakichkolwiek ekscytujących wyników prawdopodobnie zaszkodzi ci biznesowo, nawet jeśli nie powinno to wynikać z czystegonaukowy punkt widzenia
„Postanowiłeś sprawdzić, czy to prawda”.Zgadzam się, że ogólnym celem jest ustalenie, czy hipoteza jest prawdziwa, czy fałszywa, ale sposób, w jaki to określiłeś, jest krytycznie niekompletny, IMO.Aby ustalić, czy hipoteza jest prawdziwa, próbujemy ją * obalić *.Projektujemy eksperymenty, badania itp., Mając na celu próbę zafałszowania przewidywań zawartych w hipotezie.Dopiero po tym, jak coś wytrzyma próby obalenia tego, uważamy, że jest to prawdą w testowanych warunkach.IMO, jest to krytyczny obszar, który jest często źle rozumiany, zazwyczaj z powodu chęci posiadania „racji”.
@Makyen, Powiedziałbym to trochę inaczej.Pozytywny wynik badania statystycznego dostarcza _dowodów_, że Hipoteza może być prawdziwa, a nie dowodu, że tak jest.Jeśli badanie jest powtarzane wystarczająco często, dowody są budowane.Ale tylko pełne badanie populacji może dostarczyć dowodów, a to może być niemożliwe, jeśli populacja zmienia się w czasie, uniemożliwiając dokładną replikację.Otrzymujemy dowody, a nie dowody.
„Spróbuj wyjaśnić, dlaczego różne aspekty prowadzą Cię w różnych kierunkach”.Wydaje mi się, że przydałoby się trochę rozwinięcia.Zakładam, że masz na myśli, że PO powinien zacząć szukać nowych hipotez wyjaśniających różnicę (np. Nieuwzględniona zmienna w jednej z próbek).
To świetna odpowiedź i odpowiednia dla dyscypliny OP, ale pierwszy akapit nie miałby zastosowania w matematyce.
@Randall, od jednego matematyka do drugiego, nie zgadzam się.Zanim będziesz w stanie coś udowodnić, musisz najpierw przestudiować, co to jest, że „może być prawdą” i co jest na tyle interesujące, aby to zbadać.Nikt nie wręcza Ci twierdzeń (przynajmniej po ukończeniu studiów).Dowód matematyczny to tylko ostatni krok w procesie odkrywania.Kluczowe sformułowanie w moim pierwszym akapicie to „określone…”.
@Buffy Myślę, że znowu się z tobą zgadzam, tak sformułowane.
@Mayken to dobry sposób na wyjaśnienie (dominującego) paradygmatu falsyfikacjonizmu.Bayesowcy prawdopodobnie kładą mniejszy nacisk na wartość pojedynczego fałszerstwa.
henning -- reinstate Monica
2018-12-10 23:30:04 UTC
view on stackexchange narkive permalink

Pominięcie negatywnych wyników i selektywne zgłaszanie tylko pozytywnych wyników stanowiłoby naruszenie etyki badawczej. Jako badacz powinieneś odkrywać wiedzę *, a nie zasłaniać jej. Wyniki są często sprzeczne i wymagają interpretacji. Wyjaśniając, w jaki sposób uzyskałeś te sprzeczne wyniki (tj. Swoje metody), pomagasz innym uniknąć ślepych zaułków w przyszłości i zrozumieć, co dziś wydaje się zagmatwane.

* Co ciekawe, wiedza, że Badania naukowe często przybierają postać zamętu na wyższym poziomie, a nie ostatecznej pewności.

+1, ponieważ etyka badawcza nie jest czymś, co ma zastosowanie tylko wtedy, gdy coś można „opublikować” (np. „W końcu to tylko dziesięciostronicowy esej, nie powinien być publikowalny ani nic takiego, prawda?”)
Ben
2018-12-11 06:49:53 UTC
view on stackexchange narkive permalink

Jak bardzo powinienem być uczciwy w ujawnianiu niezbyt ekscytujących wyników?

Zawsze powinieneś być całkowicie szczery: Pokaż wyniki obu zbiory danych i niech wnioski wynikną z danych. Wypowiadaj się obiektywnie na temat jakości dwóch zbiorów danych i ich wielkości prób, ale nie wykluczaj danych tylko dlatego, że dają niepożądane lub mało interesujące wyniki. Jeśli chodzi o różnice między zbiorami danych, jeśli wiesz, dlaczego są różne, wyjaśnij to, a jeśli nie wiesz, dlaczego się różnią, powiedz to - nie przedstawiaj swoich spekulacji jako wniosków naukowych.

Bardzo podoba mi się ta odpowiedź.Bardzo szanuję prace, które są uczciwe - prace, które „popisują się” wynikami i zaciemniają uczciwą ocenę wyników autora, często kosztują innych badaczy dużo czasu.Jeśli rzeczy nie są „tak prawdziwe, jak twierdzi autor”, można zmarnować wiele czasu na naukę techniki lub odtworzenie wyniku, który okazuje się w ogóle nieprzydatny ...
Keith
2018-12-11 07:56:27 UTC
view on stackexchange narkive permalink

W przypadku opcji (3) dodaj „albo jest coś, czego jeszcze nie rozumiem”.

To jest dużo bardziej interesujące.

Twój kurs licencjacki ma nauczyć Cię odpowiadać na pytania.

Ważną rzeczą w badaniach każdej dyscypliny jest nie uzyskanie właściwych odpowiedzi, ale zadawanie właściwych pytań.

przedstawić oba zestawy danych, wskazać rozbieżności i spróbować wyjaśnić, dlaczego jest to interesujące i dlaczego warto się nim zająć.

Przedstawienie takiego mini problemu badawczego może sprawić, że będziesz się wyróżniać znacznie bardziej niż zwykłe wynik.

To wyskakuje jako najlepszy kurs.Z jednej strony ważne jest, aby stosować odpowiednie metody, nawet jeśli prowadzą one donikąd.Z drugiej strony, jeśli szukasz publikacji, to musi kogoś zainteresować.[Porównanie wysokości skoku pcheł kotów i psich pcheł] (https://www.ncbi.nlm.nih.gov/pubmed/10962162) korzysta z wniosku, że są one różne.Dla Ciebie interesująca jest różnica między zbiorami danych.Ostrzeżenie: na pewno zostaniesz o to zapytany, więc albo musisz się w to trochę zagłębić, albo wyjaśnić, dlaczego wykracza to poza zakres twojej pracy.
M. M.
2018-12-11 06:51:40 UTC
view on stackexchange narkive permalink

Ja też jestem tylko studentem (poziom magisterski), ale oto kilka innych powodów, dla których warto wybrać opcję 3, aby wyświetlić oba zestawy danych:

  • Jak wspomniano w artykule Henning skomentuj, być może możesz wykorzystać swoje niezwykłe wyniki jako odskocznię do dalszych badań i uwzględnić to w swoim wniosku. Traktowanie niezadowalających wyników w taki sposób może pokazać, że masz motywację i odporność.

  • Jeśli wykonałeś dobrą pracę i pokazałeś to, nawet bez „dobrych wyników”, może to pokazać że przynajmniej masz potencjał.

  • Ponadto, w kontekście aplikacji, w których ludzie zwykle stawiają tylko najlepsze kroki, twoja uczciwość może być faktycznie doceniona i szanowana przez komisję rekrutacyjną . Może pokazać, że nauka jest dla Ciebie najważniejsza.

APH
2018-12-11 01:15:48 UTC
view on stackexchange narkive permalink

Czy Twoje znaczące wyniki to duży efekt, czy tylko niewielka zmiana, która jest istotna ze względu na dużą wielkość próby?

Czy Twoje nieistotne wyniki są podobne pod względem kierunku i wielkości do znaczących wyników z inny zbiór danych?

Zastanów się, jak bardzo rozmiar zbioru danych wpływa na to, co widzisz - możesz być w stanie ująć jedno badanie jako potwierdzające wyniki drugiego, jeśli są one zgodne z wyjątkiem istotności. Spójrz na więcej niż tylko wartości p, zwłaszcza jeśli pochodzą z bardzo dużego zbioru danych.

AdamO
2018-12-12 03:29:07 UTC
view on stackexchange narkive permalink

Pomyśl przez chwilę, że być może nieprawidłowo porównujesz zbiory danych (i ich wyniki). „Znaczenie”, a raczej moc, nie jest niezależne od projektu. Jeśli badanie A jest przeprowadzone na 1000 osób, ale badanie B jest identyczne, ale obejmuje tylko 100 ochotników, badanie A jest znacznie silniejsze, więc (statystycznie) istotne wyniki z badania A i (statystycznie) nieistotne wyniki z grupy B nie są zaskakujące. Istnieją lepsze metody porównywania dwóch badań, takich jak działka leśna.

Wspominam o tym tylko dlatego, że wszystko zależy od „Ciebie”, który próbujesz sprzedać dla tej aplikacji. Socjolog na poziomie licencjackim nie musi mieć wykształcenia statystycznego na poziomie magisterskim, ale jeśli przechwalasz się tym jako mocną stroną, powinieneś mieć pewność, że poprawnie interpretujesz zestaw wyników.

Słowo „ negatywny ”(wynik lub badanie) stanowi nadużycie terminologii statystycznej. Istnieją kwestie mocy, kontekstu i precyzji; ale doświadczeni badacze chętnie wylewają dziecko z kąpielą. Zatrzymaj się na chwilę i pomyśl: „Nie odrzucaj H_0” oznacza, że ​​granice ufności obejmują hipotezę zerową: 0 dla różnic lub 1 dla wskaźników. Więc co?

1) Czy to badanie miało wystarczającą moc, czy też jest to kompletny strzał w ciemno? Duże, niemożliwe do utrzymania przedziały ufności mogą oznaczać kiepskie badanie lub odzwierciedlać znaczną niejednorodność populacji. Czy były problemy z rekrutacją lub zgodnością? Czy musiałeś lepiej wynagradzać ludzi? Czy podawałeś istniejący instrument, a jeśli tak, to czy oceniłeś siebie lub pacjentów, aby upewnić się, że sformułowanie jest jasne? Jeśli jest to badanie wraku pociągu, możesz skupić się na wyciągniętych lekcjach. Na przykład.

zrekrutowaliśmy 30 osób na podstawie nieprawidłowego obliczenia mocy, nasze oszacowanie efektu miało znacznie mniejszą wielkość niż odnotowano w poprzedniej literaturze. Jest to powód do niepokoju, biorąc pod uwagę, że nasze obliczenia były oparte na poprzednich badaniach, które wykazały, że ...

2) Czy CI jest równy 0 czy 1, wykluczając wszystkie inne badania? Jest to znaczące stwierdzenie, ponieważ jest niezgodne z inną literaturą. Istnieje cały obszar badań poświęcony określaniu skutków stronniczości publikacji. Wykresy lejkowe pokazują oczekiwany rozkład efektów metaanaliz. Jeśli rozkład jest przesunięty o lukę w H0, daje to pewną pauzę, czy stan dowodów jest wyolbrzymiony przez odfiltrowanie zerowych wyników? Ważne przełomowe badanie pozwoliło jednoznacznie stwierdzić: „Nie. Pewne leczenie nie powoduje / nie może powodować różnicy.

3) Czy CI jest szeroki, ale koncentruje się na wyniku, który potwierdza poprzednie badania. Na przykład:

Badanie dotyczące zmniejszenia zawartości soli na 5000 osób wykazało, że HR dla MI wynosił 0,95 95% CI 0,92, 0,99 (p < 0,05). W badaniu potwierdzającym 100 stwierdzono HR dla MI 0,95 95 % CI 0,5; 1,45. (P> 0,05).

Co ważne, badania te zgadzają się w 100%.

Ryan
2018-12-14 02:06:28 UTC
view on stackexchange narkive permalink

To brzmi bardzo interesująco. Na pewno są pewne kwestie statystyczne, nie chcę cię odradzać, ale musisz się upewnić, że wykonałeś obliczenia (w tym zbieranie danych i metodologia są poprawne), ale możesz napisać bardzo mocny artykuł, porównując dwie metody . Coś w rodzaju:

  • Metoda A, która jest tania i łatwa do zbierania danych, ale mamy obawy, że będzie zawierała błąd, daje pozytywny wynik.

  • Z drugiej strony metoda B, która jest trudna i kosztowna w zbieraniu danych, ale jest o wiele dokładniejsza i nie oczekuje się, że zawiera błędy, daje wynik negatywny.

  • Dlatego badacze powinni unikać metody A.

Byłbym skłonny założyć się, że możesz dostać czasopismo, aby opublikować artykuł tak napisany, biorąc pod uwagę, że wszystko analizy, zbierania danych itp. było ponad planem, nie mówiąc już o uzyskaniu dobrej oceny w klasie.

Właściwie twoje "Dlatego ..." wcale nie jest zaskakujące, więc prawdopodobnie nie jest kandydatem do publikacji.Używanie jakiejkolwiek metodologii, która ma zawierać błąd systematyczny, jest wadliwe, chyba że masz sposoby na jego zmierzenie (dodanie kosztów ...)
Nie, myślę, że źle mnie zrozumiałeś, ponieważ ułożyłem razem tę odpowiedź podczas przerwy obiadowej.To moja wina.Sposób, w jaki o tym myślałem, był taki, że PO miał zbiór danych, najwyraźniej zebranych na dwa różne sposoby.
Z OP: „Korzystanie z jednego zestawu danych (który ma więcej obserwacji) daje mi bardzo znaczące wyniki, podczas gdy użycie innego (który prawdopodobnie byłby dokładniejszy) nic mi nie daje”.A priori nie było wiadomo, że metoda A jest obciążona.Wydaje mi się, że artykuł, który sobie wyobrażałem, jest bardziej demonstracją, że metoda A jest stronnicza, kiedy nie było to wcześniej znane.
Oczywiście musisz dokładnie przejrzeć literaturę i upewnić się, że zgłaszane uprzedzenia nie są jeszcze znane, ale o to właśnie chodzi w badaniach.


To pytanie i odpowiedź zostało automatycznie przetłumaczone z języka angielskiego.Oryginalna treść jest dostępna na stackexchange, za co dziękujemy za licencję cc by-sa 4.0, w ramach której jest rozpowszechniana.
Loading...