Nie znam żadnego badania w tej dziedzinie, ale mam przeczucie, że zastosowanie mają następujące punkty (bez określonej kolejności, tylko numerowane dla wygody w przypadku komentarzy / odpowiedzi):

1. Możliwość cytowania: artykuł przedstawiający ostateczną odpowiedź na problem jest prawdopodobnie bardziej wartościowy niż artykuł przedstawiający niedokończoną próbę rozwiązania tego samego problemu. Jednak ten ostatni jest znacznie łatwiejszy do zbudowania (ponieważ nadal pozostawia oczywiste punkty rozszerzenia) i dlatego może być cytowany znacznie częściej.
2. Znaczenie cytatów: Nie ma reguły że artykuł musi być cytowany pozytywnie. Jeśli artykuł ma oczywistą wadę, może to spowodować powstanie wielu innych artykułów, które po prostu cytują ten wadliwy artykuł, aby wskazać, co mają się okazać błędne lub co zrobić lepiej.
3. Zakres cytatów : Odwołanie się do artykułu nie oznacza odniesienia do całej pracy lub jej podstawowych ustaleń. Odniesienie do artykułu może oznaczać, że cały artykuł jest wskazany jako praca pokrewna lub może po prostu oznaczać, że druga połowa danego stwierdzenia we wstępie jest wskazana jako pokrewna. Cytat może z powodzeniem wskazywać na uwagę , która jest całkowicie marginalna w stosunku do cytowanego artykułu, ale autor cytujący uznał, że szczególnie dobrze wyjaśnia dany fakt lub który wspomniał szczególnie niedawno o starym temacie (aby pokazać, że temat jest nadal interesujący).
4. Nie wszystkie cytaty są równe: kwestia, czy coś jest cytowane, czy nie, zależy od jego względnej trafności w porównaniu z innymi cytatami, na podstawie dostępnego miejsca pozostałego w aktualnym formacie papieru, a nie na globalnym znaczeniu pracy.
5. Zwyczaje związane z cytowaniem są różne: nawet w obrębie jednej (pod) dziedziny nawyki dotyczące cytowania różnią się znacznie między konferencjami i autorami. Wynika to po części z różnych formatów papieru i ograniczeń dotyczących długości (patrz poprzedni punkt), ale także po prostu dlatego, że niektórzy autorzy są znacznie bardziej skłonni od czasu do czasu dorzucać cytaty niż inni. Takie nawyki mogą się różnić nawet w przypadku pojedynczego autora, w oparciu o „strategiczne” względy dla docelowej docelowej grupy odbiorców.
6. Cytowania mogą być przechodnie: autorzy czasami spotykają się z sytuacjami, w których mogą albo wymienić kilka przykładów powiązanych prac lub zacytować pojedynczy artykuł przeglądowy (np. raport o stanie techniki), aby przedstawić przegląd niektórych podstaw lub innych powiązanych tematów. Ten ostatni przypadek jest wyraźnie bardziej efektywny przestrzennie i być może bardziej pomocny (ponieważ artykuł poglądowy ma na celu przedstawienie przeglądu, a jednocześnie przekazanie informacji dogłębnych, czego często nie można zrobić w jednym zdaniu powiązanej pracy sekcja), ale nie zwiększa liczby cytowań prac przywoływanych w artykule przeglądowym.
7. Artykuły nie są atomowe: Nie ma „naturalnego” skupienia pytań badawczych, rozwiązań , prace i eksperymenty. To, ile lub jak mało odkryć wchodzi / jest dozwolonych w pojedynczej opublikowanej pracy, zależy głównie od stylu i osobistych preferencji autorów i przewodniczących programu. Mając to na uwadze, każdy konkretny wynik może zostać przedstawiony w jednym artykule (który otrzyma N cytatów) lub podzielony na N artykułów (z których każdy może otrzymać tylko jeden cytat). Tak więc, chociaż liczba cytowań w tym przykładzie może stanowić wskazówkę co do ważności każdego z pojedynczych dokumentów pisemnych , nie mówi wiele o ważności rzeczywistego zestawu pytań badawczych.
8. Liczba cytowań nie jest znormalizowana według dziedziny / społeczności: jak słusznie zauważył głowonóg, „To, co składa się na wiele, zależy od dziedziny”. Przełomowa praca w wąskiej dziedzinie może nigdy nie otrzymać wielu cytatów ”. Podobnie, dziedziny, w których często publikuje się niewielkie artykuły o niewielkich rozmiarach, gromadzą w naturalny sposób znacznie większą liczbę cytowań niż pola, w których publikacje są bardzo rzadkie, a gdy się pojawiają, obejmują duży postęp, dyskusję i ustalenia.
9. Poprawianie cytowań: jak każda metryka definiująca taki pojedynczy czynnik służący do pomiaru skuteczności, liczba cytowań jest podatna na nadużycia. Jeśli autor podejrzewa, że ​​cytowanie jest korzystne, pojawia się zachęta do samodzielnego cytowania (lub cyklicznego cytowania się w ramach instytutu), a nawet do dzielenia publikacji na mniejsze części (związane z praktyką krojenia salami ), aby mieć więcej możliwości dla tych dodatkowych cytatów. Ponieważ można założyć, że niektórzy autorzy już to robią, powoduje to, że liczba cytowań jest jeszcze mniej wiarygodna jako wskaźnik jakości, ponieważ „zbiór danych szkoleniowych”, który miałby zostać użyty do porównania, jest już wypaczony.
10. Liczba cytowań ≠ liczba cytowań: sama liczba cytowań nie jest wiarygodną miarą na początek, ponieważ różne źródła podają różne liczby cytowań, w zależności od tego, jakie cytaty (i jakie rodzaje dokumentów zawierają cytaty) są liczone :
    • Cytaty w książce można liczyć według rozdziałów (wskazówka na korzyść tego: jeśli każdy rozdział jest napisany przez innego (grupę) autora (ów), każdy rozdział ma własną listę cytatów), lub dla całej książki (wskazać na korzyść tego: książka ma zwykle określony konkretny temat i - bardziej niż np. materiały konferencyjne - wszystkie rozdziały mają zwykle wspólną „narrację”, więc niektóre główne prace prawdopodobnie będą wymienione w różnych rozdziałach).
    • Jeśli uwzględnione są prawdopodobnie drapieżne czasopisma, może dojść do wariantu pozycji 9, w którym cytaty z mniej renomowanych źródeł (które są liczone) są kupowane, jak wskazał ff524.
    • Liczby cytowań mogą obejmować cytaty z całkowicie legalnych prac, które mimo to mają znacznie inny status w porównaniu z publikacjami recenzowanymi. Na przykład Google Scholar czasami liczy prace licencjackie i magisterskie studentów oraz inne dokumenty utworzone podczas studiów, jeśli biblioteka cyfrowa uniwersytetu, która udostępnia kopię każdego takiego przesłanego dokumentu, została zaindeksowana przez Google.
11. Czynniki zewnętrzne wpływają na wybór cytowanych prac: jeśli w konkretnej pracy jest jedno konkretne odkrycie, które można zacytować, nie ma wątpliwości, że zostanie on zacytowany. Jednak dość często sprawy są o wiele bardziej niejasne - istnieją różne kwalifikujące się artykuły, które na różne sposoby nawiązują do tego samego stwierdzenia i wcale nie jest jasne, który z nich najlepiej cytować. W tym momencie czynniki zewnętrzne, które są raczej arbitralne, mogą bezpośrednio wpływać na to, czy praca jest cytowana, czy nie. Na przykład, można zacytować starszą pracę, aby pokazać oryginalne odkrycie ... ale zamiast tego można zacytować nowszą publikację, aby wykazać, że dany temat jest nadal interesujący w najnowszych pracach. Można wybrać starszą publikację, ponieważ jest to oryginalne odniesienie, lub nowszą publikację w bardziej cenionym miejscu można wybrać, aby wzmocnić odniesienie, lub można wybrać inny artykuł, ponieważ zawiera bardziej zrozumiałe wyjaśnienie. Wreszcie, w zależności od stylu cytowania, problemem może być nawet spacja - jeśli autor walczy o kilka ostatnich wierszy, aby nie przekroczyć dopuszczalnego limitu stron, przynajmniej w stylu APA, praca Li et al. ma nieodłączną przewagę nad jednym autorstwa Millera i Bowmana , jeden autorstwa Millera i Bowmana ma przewagę nad jednym autorstwa Erdenebilega i Papadopoulosa , a jeden autorstwa Erdenebilega i Papadopoulosa ma nieodłączną przewagę nad artykułem Russella-Rodrigueza i Penningtona-Kiesewettera .

Liczba cytowań jest dobrym przykładem zjawiska podlegającego efektowi Mateusza: procesowi informacji zwrotnej, w którym uprzywilejowane osoby stają się bardziej uprzywilejowane w wyniku ich przywilejów. Jakość oczywiście ma znaczącą korelację z cytatami z rysunku papierowego. Na jego cytowania silnie wpływa jednak również sława autorów, sława miejsca, w którym się ona znajduje, a także po prostu fakt, że inni ludzie cytują artykuł (co sprawia, że ​​ludzie tacy jak ty oceniają go jako „wyższą jakość”, a tym samym więcej prawdopodobnie zacytować). Podobnie, sam fakt, że papier jest niejasny, nie oznacza, że ​​jest zły. Przede wszystkim oznacza to po prostu, że nikt nie zwraca na to uwagi. Wreszcie fakt, że ludzie są zadowoleni z wyniku, niekoniecznie oznacza, że ​​jest on prawdziwy, o czym może świadczyć dowolna liczba naukowych zmian w myśleniu (nie wspominając o skandalach); artykuł może nawet zawierać cytaty właśnie dlatego, że krytykują go inni ludzie.

Liczba cytowań to nadal dobry sposób na uzyskanie dobrego pierwszego wrażenia, które artykuły inne uważają za ważne, ale naprawdę musisz sam ocenić jakość, jako naukowiec.

tl;dr.

Działa tylko w określonych warunkach.

W rzeczywistości istnieje cała dziedzina badań, która bada proces naukowy za pomocą wskaźników publikacji, nazywa się bibliometria . Prawdą jest, że liczba cytowań w polu jest czasami używana jako wskaźnik zastępczy do oszacowania jakości artykułu. Zobacz na przykład to niedawno opublikowane badanie dotyczące wzajemnej oceny:

Siler K, Lee K, Bero L (2015) Pomiar skuteczności naukowego zbierania danych PNAS 13 stycznia; 112 (2) : 360-5. doi: 10.1073 / pnas.1418218112

Skąd są skopiowane podświetlone akapity poniżej.

Argumenty przemawiające

Po pierwsze, powody podane dla rozważenia liczby cytowań jako miary jakości (zredagowałem odniesienia, aby pasowały do ​​podanych na dole tego postu): / p>

Naukowcy cytują prace z wielu powodów (1, 2). Jednak zdecydowana większość cytatów ma charakter pozytywny lub neutralny (3). Pracowaliśmy z założeniem, że naukowcy wolą opierać się na innych jakościowych badaniach własną pracą. Jak sugerowali Latour i Woolgar (4), cytowanie jest aktem szacunku, a także środkiem, za pomocą którego intelektualny kredyt i treść przepływa w nauce. W związku z tym założyliśmy również, że większość naukowców chce wykonywać prace wysokiej jakości i rzadko będzie próbować zdobyć uznanie i uwagę, rażąco wykonując złą pracę. Zatem, ogólnie rzecz biorąc, uwaga i wpływ związane z cytatami stanowią rozsądną miarę jakości. Cytaty stanowią obiektywną i ilościową miarę przepływów kredytów i uwagi w nauce.

Argumenty przeciwko

Omawiają również ograniczenia stosowania cytatów jako miary jakości, logarytmiczny rozkład cytatów :

Ponieważ cytowania są często rozłożone wykładniczo, a kilka artykułów przyciąga nieproporcjonalną uwagę (5), użyliśmy również logarytm cytowania liczy się jako zmienna zależna, aby zmniejszyć potencjalny wpływ kilku często cytowanych artykułów odstających

I efekt „statusu społecznego” :

naukowcy często polegają na heurystyce przy ocenie jakości; status naukowców, instytucji i czasopism to powszechne metody osiągnięcia tego celu (6, 7). Nic dziwnego, że cytaty otrzymane z rękopisów były pozytywnie skorelowane z czynnikiem wpływu czasopisma, w którym zostały ostatecznie opublikowane.

Krótko mówiąc, porównanie liczby cytowań artykułów opublikowanych w czasopismach o bardzo różnym wpływie jest złym pomysłem.

Strony 46 i 47 numeru odsyłającego 3 zawierają wyczerpującą listę ograniczeń liczby cytowań jako wskaźnika jakości (zredagowałem listę ze względu na zwięzłość):

• Czynniki zależne od czasu Ze względu na wykładniczy wzrost dorobku naukowego, z roku na rok prawdopodobieństwo cytowań wzrasta.
• Czynniki zależne od dziedziny Praktyki cytowania są różne w różnych dziedzinach nauk ścisłych i społecznych [...], a nawet w ramach różnych dziedzin (lub klastrów) w ramach jednego poddziedziny [...] , małe pola przyciągają znacznie mniej cytatów niż pola bardziej ogólne [...].
• Czynniki zależne od czasopism [...] dostępność, widoczność i międzynarodowość czasopism [... ], jak również wpływ, jakość lub prestiż czasopisma mogą wpływać na prawdopodobieństwo cytowań.

• Czynniki zależne od artykułu [...] Istnieje również pozytywna korelacja między częstotliwością cytowania publikacji a liczbą współautorów pracy […]. A ponieważ dłuższe artykuły zawierają więcej treści, które można cytować, niż krótsze artykuły, sam rozmiar artykułu wpływa na to, czy jest cytowany [...].

• Czynniki zależne od autora / czytelnika Język, w którym jest napisany artykuł, [...] wpływa na prawdopodobieństwo cytowań. [...] cytaty mają wpływ sieci społecznościowe: autorzy cytują przede wszystkim prace autorów, z którymi są osobiście zaznajomieni. [...] mężczyźni otrzymują znacznie więcej cytatów ze swojej pracy niż kobiety.

Wielu zwykłych użytkowników tej witryny pokocha to:

• Dostępność publikacji Dostępność fizyczna [...], bezpłatna dostępność publikacji online [...] oraz media [...] wydawnicze wpływają na prawdopodobieństwo cytowań.

I na koniec:

• Problemy techniczne [...] nieprawidłowe cytowanie źródeł nie jest niestety rzadkością: Evans et al. (1990) sprawdzili odnośniki w artykułach w trzech czasopismach medycznych i ustalili, że 48% było błędnych: „Dane potwierdzają hipotezę, że autorzy nie sprawdzają swoich odniesień lub nawet ich nie czytają” […] W podobnym badaniu, Eichorn i Yankauer (1987) stwierdzili, że „31% ze 150 odniesień zawierało błędy cytowania, z których jeden na 10 był poważnym błędem (odniesienie niemożliwe do zlokalizowania)” [...] Ponadto mogą pojawić się problemy wynikające z homografii i synonimów podczas wyszukiwania publikacji i pozyskiwania cytatów z baz danych cytowań przy użyciu nazwisk autorów.

Wszystkie te linki są powiązane z licznymi cytatami, które można znaleźć w oryginalnym dokumencie dostępnym do pobrania tutaj.

Odnośniki

1. Lynn FB (2014) Rozpowszechnianie poprzez dyscypliny: osoby z wewnątrz, osoby z zewnątrz i zachowania cytowań pod wpływem społecznym. Soc Forces 93 (1): 355–382.

2. Hargens LL (2000) Na podstawie literatury: sieci referencyjne, konteksty referencyjne i społeczna struktura nauki. Am Sociol Rev 65 (6) : 846–865.

3. Bornmann L, Daniel H-D (2008) Co mierzy liczba cytowań: przegląd badań nad zachowaniem cytowania. J Doc 64 (1): 45–80.

4. Latour B, Woolgar S (1979) Laboratory Life: The Construction of Scientific Facts (Sage, Los Angeles).

5. Lotka AJ (1926) Rozkład częstotliwości produktywności naukowej. J Wash Acad Sci 16: 317–323.

6. Long JS, Fox MF (1995) Kariery naukowe: uniwersalizm i partykularyzm. Annu Rev Sociol 24: 45–71.

7. Lee CJ, Sugimoto CR, Zhang G, Cronin B (2013) Bias in peer review. JASIST 64 (1): 2–17.

Po pierwsze, nie ufaj zbytnio generalizacjom. Liczba cytowań nie jest zdecydowanie miarą idealną. Po pierwsze, gromadzenie większej liczby cytowań wymaga czasu, można kiedyś spojrzeć na cytowania rocznie lub coś podobnego. Po drugie, możliwe jest cytowanie własnej pracy, więc bez filtrowania tak zwanych autocytucji możesz zobaczyć zawyżone wartości. Cytowanie samego siebie samo w sobie niekoniecznie jest złem, istnieje wiele powodów, dla których należy odwołać się do własnej wcześniejszej pracy. Jednym z oczywistych powodów jest to, że późniejsza praca często opiera się na wcześniejszej pracy, a część z nich jest zwykle wcześniejszą pracą tej samej osoby. Po trzecie, liczba cytowań jest zależna od dziedziny, aw bibliometrii istnieją metody pozwalające usunąć takie uprzedzenia. Dlatego artykuł na gorący temat, który ma dużo badań, otrzyma więcej trafień niż artykuł, bez względu na to, jak doskonały, w małej dziedzinie.

Zatem oceniając artykuł na podstawie jego cytowań, warto zachować o problemach i nie nadinterpretować. Zasadniczo nie różni się to od zwykłego podejścia do dowolnego zbioru danych.

Powodem, dla którego liczenie cytowań nie jest dobre do oceny jakości pracy, jest to, że istnieje wiele powodów (15, 28, 26 - w zależności od badania), aby cytować, a praktyka cytowania różni się w zależności od dyscypliny. Patrz:

Przypadek, D O & Higgins, G M 2000 Jak możemy zbadać zachowanie cytowań? Studium powodów cytowania literatury w komunikacji. JASIS 51 (7) 635-645

w przypadku odniesień do wcześniejszych badań i raportu z badań w dziedzinie komunikacji.

Inni wspominali, ale warto to powtórzyć - cytaty niekoniecznie są pozytywne. Wiele artykułów wykorzystuje błędne metodologie i jest cytowanych jako przykłady tego, czego nie robić .

Ponadto, przynajmniej w naukach społecznych, cytowanie jest skorelowane z wiekiem i przewagą pierwszego gracza. ”. Ponieważ każdy artykuł naukowy warty swojej soli będzie cytował poprzednie prace na ten temat w przeglądzie literatury, starsze artykuły będą naturalnie gromadzić wyższe liczby cytowań, a wszystkie inne będą równe. Ma to bardzo niewiele wspólnego z jakością tych dokumentów.

Po pierwsze, co to znaczy lepiej ?

Wiem, że to może brzmieć jak szukanie dziury w dziobie, ale mogę podać przykład, który daje silną negatywną korelację między cytowaniami a pewną miarą lepszego . Zazwyczaj piszę algorytmy do moich badań. Ogólnie rzecz biorąc, nie możesz publikować, chyba że twój algorytm jest w znaczący sposób ulepszony w stosunku do poprzednich algorytmów. Ale na pewno trzeba przytoczyć wcześniej opublikowane algorytmy! Zatem dla danego problemu wczesne algorytmy będą miały bardzo dużą liczbę cytowań, podczas gdy późniejsze algorytmy będą miały znacznie mniejszą liczbę cytowań.

Więc jeśli Twoja definicja „lepszego” jest taka, że ​​algorytm jest szybszy (bardzo rozsądna definicja), wówczas artykuły z dużą liczbą cytowań prawdopodobnie będą najgorsze w literaturze (ponieważ są najstarsze).

Jako anegdota właśnie opublikowałem artykuł na temat algorytmu, który, jak sądzę, zamknie książkę o optymalizacji tego konkretnego problemu (częściowo dlatego, że jest naprawdę szybki, a częściowo dlatego, że nie jest to bardzo gorący temat). W związku z tym nie spodziewam się, że ten artykuł otrzyma wiele cytowań, nawet w porównaniu z poprzednimi algorytmami dotyczącymi tego samego problemu.

Istnieje wiele dobrych odpowiedzi na to pytanie, ale chciałem ująć to, co uważam za najważniejsze.

Liczba cytowań mierzy wpływ, a nie jakość : Liczba cytowań w artykule jest miarą wpływu na badania, a nie jakości. Nawet jako miara wpływu badań ma pewne problemy, ale generalnie „wpływ badań” jest bliższy temu, co reprezentuje. Nowy artykuł wysokiej jakości będzie miał minimalną liczbę cytowań, ponieważ miał minimalny czas na wywarcie wpływu. Podobnie, jakość artykułu jest tylko luźno związana z wpływem na badania. Niektóre artykuły o wysokiej jakości są trudne do przyswojenia w literaturze. Niektóre artykuły niskiej jakości ewoluują w standardowe publikacje, które są powszechnie cytowane w danym kontekście. Cała literatura może wykorzystywać wątpliwe metody, ale buduje cały ekosystem wzajemnie wzmacniających się cytatów.

Liczba cytowań jest zagmatwana przez czas od publikacji : Jedną z największych zalet jest to, że: citation_count = Average_citations_per_year x years_since_publication

Czas od publikacji nie ma związku z jakością, ale jest to jeden z głównych czynników wpływających na liczbę cytowań artykułów. Dlatego nawet jeśli uznasz cytowania za wskaźnik jakości, średnia liczba cytowań w ciągu roku będzie lepszym wskaźnikiem niż całkowita liczba cytowań. Nawet tam sytuacja staje się skomplikowana, ponieważ artykuły z danej dziedziny mają zwykle ogólny rozkład cytowań w czasie, przy czym na przykład liczba cytowań rocznie zwykle ma tendencję do wczesnego wzrostu, a następnie stopniowo spada w czasie. Jeśli więc chciałbyś uzyskać czystą miarę jakości na podstawie cytowań, prawdopodobnie spróbowałbyś oszacować oczekiwaną liczbę cytowań po 30 lub więcej latach na podstawie liczby lat, które minęły i znanych cech dystrybucji cytowań.

Różne inne punkty :

• Pola różnią się praktykami cytowania : niektóre pola mają krótkie okresy połowicznego rozpadu cytowań, więc więcej z łącznej liczby cytowań, które otrzyma artykuł, jest zazwyczaj gromadzonych w krótszym okresie (np. 5 lat w porównaniu z 15 lat). Niektóre pola zawierają więcej odniesień, dlatego w systemie jest większa suma cytowań. Ogólnie rzecz biorąc, jest to bardziej problem, jeśli cytaty są używane do porównywania różnych dyscyplin. Jeśli działasz w określonej dziedzinie, jest to mniejszy problem. A jeśli zdajesz sobie sprawę, że pola STEM mają zwykle krótsze okresy półtrwania cytowań i więcej odniesień w porównaniu z naukami społecznymi, możesz uwzględnić to w swoich perspektywach.
• Cytowania własne można usunąć : Wiele systemów, takich jak Scopus, umożliwia usuwanie autocytucji. Może to być przydatne, gdy podejrzewasz, że taka gra ma miejsce (lub ogólnie, gdy jest pracownik naukowy, który dużo publikuje i często cytuje, bez kontaktu z innymi naukowcami).

Używanie liczba cytowań w artykule jest wskaźnikiem jakości

Chociaż większość odpowiedzi wskazuje na problemy z liczbą cytowań, warto przyjąć zrównoważoną perspektywę. Po pięciu lub dziesięciu latach od publikacji średnia liczba cytowań w ciągu roku dostarcza pewnych informacji w zakresie jakości publikacji. Właściwie jest to miara potencjału oddziaływania, indeksowana przez wpływ osiągnięty w określonym czasie. Nie jest to ostateczna, ale przydatna informacja. Jeśli chcesz ocenić jakość, ty lub ktoś o odpowiednich umiejętnościach musicie przeczytać artykuł i go ocenić.

W szczególności, jeśli po pięciu lub dziesięciu latach artykuł prawie nie ma cytatów, jest to trochę czerwona flaga dla jakości pracy. Podobnie, jeśli artykuł ma setki cytowań rocznie, sugeruje to, że prawdopodobnie będzie to ważna praca. Nic z tego nie jest ostateczne, ale są to sugestywne i przydatne informacje.

Ogólne uwagi na temat korzystania z liczby cytowań

• Liczby cytowań są miarą wpływu, a nie jakości
• Średnia roczna liczba cytowań jest lepszą miarą „wpływu potencjał ”artykułu niż łączna liczba cytowań
• Liczba cytowań staje się bardziej pouczająca wraz z upływem czasu od publikacji. Z grubsza wynika, że ​​pięć lat po publikacji to prawdopodobnie przybliżone minimum, aby uzyskać dość dokładne wyobrażenie o potencjale cytowania.

W 1994 roku ukazał się artykuł opublikowany w czasopiśmie medycznym zatytułowany A matematyczny model określania całkowitego pola powierzchni pod tolerancją glukozy i innymi krzywymi metabolicznymi , który opisuje metodę obliczania pola powierzchni pod krzywą, nazwany „metodą TAI”. Ten artykuł otrzymał 311 cytowań według Google Scholar, co najwyraźniej nie jest takie złe dla artykułów medycznych (chociaż niektóre mogą zgarnąć dosłownie 1000 cytowań ...).

Ta metoda jest zasadą trapezu i według Wikipedii był znany starożytnym Babilończykom w 50 roku pne. Wie o tym każdy student z niejasnym wykształceniem matematycznym, być może zaawansowani licealiści lub ktoś, kto czyta popowe blogi matematyczne.

Nie poznałbyś tego szaleństwa, patrząc tylko na cytaty z gazety . W innych odpowiedziach jest wiele dobrych argumentów, ale jeśli to nie jest wystarczająco potępiające, aby spojrzeć na liczbę cytowań z pewną ostrożnością, nie wiem, co będzie.

Oprócz wszystkich innych dobrych uwag, które zostały już przedstawione, należy wziąć pod uwagę prawo Goodharta:

Środek przestaje być dobrym środkiem, gdy staje się celem.

Myślę, że sprowadza się to do pytania:

Czy używasz cytatów jako miary czy jako miernika silny >.

Miara to wartość, którą uzyskuje się poprzez pomiar ilości (np. mil, sekund, cytatów, słów). Miara jest przeważnie obiektywną cechą. Miara nie ma żadnego znaczenia, jest tylko kwantyzacją.

Metryka używa zwykle wielu pomiarów i łączy im. Po połączeniu metryki można użyć i porównać z zestawem reguł lub innymi mierzonymi obiektami w celu ich sortowania lub wartościowania. Połączenie pomiarów jest krokiem, w którym a) znaczenie i b) subiektywność wkracza w cały proces.

Dlatego używanie cytatów jako miary jest całkowicie zrozumiałe, ale najprawdopodobniej nigdy nie użyjesz ich jako miernika . Kiedy liczba cytowań jest używana jako miernik jakości papieru, należy przyjąć założenia, których nie można udowodnić (z wyjątkiem pomiaru również czegoś innego).

Tylko dlatego, że można coś zmierzyć, nie oznacza że pomiar zawiera jakiekolwiek informacje.

Doe, Umanskaya, Milton i Bennt sugerują w [DUMB 1999], że rzeczywiście dopuszczalne jest ocenianie artykułów na podstawie ich liczby cytowań, a ich praca ma ponad 5000 cytowań, więc prawdopodobnie możemy wierzyć im na słowo.

Istoty ludzkie, niezależnie od poziomu inteligencji, na ogół podporządkowują się „mentalności stadnej”. Wydaje mi się, że to dlatego, że my, podobnie jak inne zwierzęta, chcemy oszczędzać energię. Na przykład, jeśli wszyscy uważają, że Stephen Hawking lub Lisa Randall rzadko się mylą, to w moim najlepszym interesie jest skupienie się na tym, co ma do powiedzenia. Zaoszczędzi mi to energii poszukiwania innych źródeł i znajdowania odpowiedzi dla siebie.

Na czyjąś prośbę spróbuję wyjaśnić swoją odpowiedź.

Powiedzmy, że piszę artykuł o czarne dziury. Oczywiście chcę napisać jak najlepszą pracę, ale nie jestem najlepszym fizykiem na Ziemi. Najlepsi fizycy na Ziemi prawdopodobnie będą mieli najwięcej cytatów na ten temat. Czy posiadanie największej liczby cytowań na dany temat oznacza, że ​​często cytowana osoba ma zawsze rację w tym temacie? Nie. Muszę to sobie uświadomić, jeśli odnoszę się do pracy tej osoby. Zakładanie, że Stephen Hawking cały czas ma rację co do czarnych dziur, a nawet założenie, że ma rację przez większość czasu, jest ogromnym i niebezpiecznym założeniem.