در مورد تعداد ارجاعات به مقاله

از سید امیر مرعشی

با سلام
فرض کنید پژوهشگری یک مقاله چاپ کرده است (که من در اینجا آن را مقاله قدیمی می نامم). بدیهی است که اگر یک مقاله قدیمی خیلی خوب باشد تعداد ارجاعات زیادی هم خواهد داشت، اما همان طور که دکتر صلواتی پور هم فرمودند، نمی توان گفت هر مقاله ای که تعداد ارجاعات بالایی دارد مقاله مفیدی است. اگر بخواهیم ببینیم آیا تعداد ارجاعات ملاک خوبی برای خوب بودن مقاله قدیمی هست یا نه، نخست باید بررسی کنیم و ببینیم موقع نوشتن مقاله های جدید چه کسانی به آن مقاله قدیمی ارجاع می دهند. برای روشن شدن بیشتر موضوع چند مثال می آورم:

یک- دکتر گارفیلد (بنیان گذار آی اس آی و آنالیز تعداد ارجاعات) در یک مطالعه به سراغ محققی به نام برونینگ رفته است. به طور خلاصه، آمار زیر در مورد ارجاعات حدود 20 مقاله برونینگ استخراج شده است: در مجموع 200 مورد ارجاع وجود داشته که 80 مورد آن ارجاع به خود بوده، و 33 مورد هم نتایجی بوده که در تضاد با نتایج برونینگ اعلام شده. از این میان فقط 10 مقاله نتایجی مشابه و در تایید نتایج برونینگ به دست آورده بودند. (تعداد زیادی رفرنس هم بوده که خنثی بوده اند و نتیجه گیری خاصی انجام نداده بودند). همچنین، از میان 38 مقاله ای که از روشهای معرفی شده توسط برونینگ استفاده کرده بوده اند، 21 مقاله به نتایج منفی رسیده اند. حالا شما در نظر بگیرید که کسی به شما بگوید یک نویسنده ایرانی طی حدود 8-9 سال، 20 مقاله چاپ کرده که تا حالا در مجموع بیش از 200 بار مورد ارجاع قرار گرفته است. آیا پیش خودتان نمی گویید «آفرین! عجب پژوهشگر توانایی!»؟
لینک مقاله:

http://dx.doi.org/10.1001/jama.263.10.1424
E. Garfield and A. Welljams-Dorof (1990)The impact of fraudulent research on the scientific literature. The Stephen E. Breuning case. JAMA 263: 1424-1426

دو- همیشه این سوال را در ذهن داشتم که وقتی به دنبال یک موضوع داغ هستم، چه کسان دیگری راجع به این موضوع مشغول تحقیقند. به همین دلیل، ارجاعاتی را که به چند مقاله نسبتا جدید داده شده بود دنبال می کردم. اما پس از مدتی به یک مشاهده جالب رسیدم: بیشتر ارجاعات، ارجاع به خود بودند! بقیه هم به نظر می رسید همه «مقاله مروری» باشند!!! به همین دلیل، در یک مطالعه پایلوت کوچک تعداد 10 ژورنال را در نظر گرفتم و موارد ارجاع به آنها را در یک بازه زمانی حدودا دو ساله استخراج کردم (متوسط ضریب تاثیر این ژورنالها حدود 1 بود). جالب است بدانید که همین نتایج جالب تقریبا در مورد همه این ده نشریه دیده می شد. جالبتر آنکه موارد ارجاع به خود با موارد ارجاع مقالات مروری همبستگی منفی معنی داری داشتند. به این مفهوم که احتمالا اگر نویسنده ها مشاهده می کرده اند که کسی به مقاله آنها رفرنس نداده (و این رفرنس دهنده هم معمولا کسی نیست جز همان نویسنده مقاله مروری که تلاش می کند رفرنس هایش آپ تو دیت باشند) خودش دست به کار می شود و به خودش رفرنس می دهد! البته این موضوع نیاز به بررسی بیشتری دارد، اما همین حالا هم نشان می دهد که اگر مقاله نویسان احساس کنند برای داشتن ارجاعات بیشتر تحت فشار هستند چه رویکردی خواهند داشت. به این ترتیب شمارش تعداد ارجاعات (در بازه زمانی کوتاه) شاید نتواند اهمیت یک مقاله را مشخص کند. برای مثال، اگر چندین مورد ارجاع به یک مقاله هم وجود داشته باشد اما همه آنها توسط مقالات مروری باشند، به سادگی می توان گفت این تعداد بالا فقط و فقط به داغ بودن موضوع مربوط می شود، و نه الزاما به خوب بودن مقاله (چرا که در مقالات مروری در بسیاری اوقات نتایج متناقض را هم با هم مقایسه می کنند). همچنین با توجه به اینکه ضریب تاثیر به تعداد ارجاعات در بازه زمانی دوساله مربوط است، این ضریب هم به شدت تحت تاثیر موارد ارجاع به خود و موارد ارجاعات توسط مقالات مروری است.

لینک مقاله:

http://dx.doi.org/10.1016/j.mehy.2005.05.003
S.A. Marashi (2005) On the identity of "citers": Are papers promptly recognized by other investigators?
Med. Hypoth. 65: 822

سه- مقاله بسیار جالبی را اخیرا مشاهده کردم که برای ارجاع دادن یک مدل ریاضی ارائه کرده بود که به طرز عجیبی با داده های واقعی همخوانی داشته است. در این مدل این طور فرض می شود: هر محقق در هنگام نوشتن یک مقاله تعدادی مرجع نسبتا جدید را انتخاب می کند، و به آنها ارجاع می دهد، و در ضمن با یک توزیع احتمال مشخص تعدادی از رفرنس های موجود در این مقالات را هم به لیست ارجاعات مقاله خودش اضافه می کند. این مدل به طرز عجیبی ویژگیهای مشاهده شده در مورد ارجاعات را درست پیش بینی می کند. برای مثال توضیح می دهد که تعداد ارجاعات به مقاله ها از توزیع «قانون-نمایی» یا
power-law
پیروی می کند. همچنین پدیده «زیبای خفته» را هم توضیح می دهد. (در این پدیده، دیده می شود که بعضی مقاله ها وجود دارند که سالها مورد ارجاع قرار نگرفته اند، اما ناگهان انگار شاهزاده ای می آید و آنها را از خواب بیدار می کند و ظرف مدت کوتاهی چندین بار مورد ارجاع قرار می گیرند.) جالب است که این مدل وقوع چنین مواردی را هم پیش بینی می کند. اگر این مدل درست باشد، نتیجه ناراحت کننده ای به دنبال دارد: کسانی که به یک مقاله قدیمی تر ارجاع می دهند، ممکن است اصلا آن مقاله را ندیده باشند! (بنده بارها با چنین پدیده ای مواجه شده ام که به نظر می رسد نویسنده مقاله و نیز داور نشریه اصلا زحمت بررسی تعدادی از رفرنس ها را به خود نداده اند. برای مثال، یک مقاله زیستی یا پزشکی، صرفا به خاطر عنوان عجیبی که داشته، توسط مقالات کامپیوتری مورد ارجاع قرار گرفته، در حالی که موضوع دو مقاله مطلقا هیچ ارتباطی به هم نداشته و ارجاع از لحاظ علمی کاملا نابجا و نامناسب بوده است).

لینک مقاله:

http://dx.doi.org/10.1002/asi.20653
M.V. Simkin, V.P. Roychowdhury (2007)A mathematical theory of citing. Journal of the American Society for Information Science and Technology. 58: 1661-1673.

نتیجه: کسانی که به یک مقاله قدیمی تر رفرنس می دهند، الزاما نتایج آن را تایید نمی کنند. موارد ارجاع به خود که به وضوح نمی توانند چیزی را اثبات کنند. مقالات مروری هم حساسیتی روی صحت نتایج ارائه شده ندارند و فقط هدفشان مرور کردن سابقه بحث است. گذشته از اینها ممکن است مقاله نادقیقی چاپ شود و پس از آن چندین محقق به طور مستقل نشان دهند که نتایج ارائه شده دارای اشکال بوده، و در نتیجه مقاله به دفعات مورد ارجاع قرار گیرد. در پایان نیز همواره موارد زیادی از ارجاع وجود دارد که ارجاع دهنده اش اصلا از ماهیت مرجع باخبر نیست. حال چطور می توان تعداد ارجاعات را یک ملاک سالم و بی نقص برای کیفیت پژوهش دانست؟