Rating und Ranking medizinischer Zeitschriften: Randomisiert kontrollierte Evaluation von Impact Factor und Zahl der gelisteten Journale

Zusammenfassung

Hintergrund:

Der Impact Factor ist ein rein bibliometrischer Parameter, der auf der Zahl an Publikationen einer Zeitschrift und deren Zitierungen innerhalb genau definierter Zeiträume aufgebaut ist. Da er weltweit auch für die Bewertung von Forschungsleistungen verwendet wird, ist seine sachgerechte Interpretation wichtig.

Fragestellung:

Es wird angenommen, dass die Zahl der medizinischen Fachzeitschriften den Umfang der entsprechenden Krankheiten bzw. Patientenkollektive wiederspiegelt und mit der Höhe des Impact Factors korreliert.

Methodik:

In dem Bereich Health Sciences des ISI Web of Knowledge von Thomson Reuters sind insgesamt 174 verschiedene Fachlisten (Subject Categories) aufgeführt, von denen 71 der Medizin zuzurechnen sind und 50 eine klinische bzw. anwendungsorientierte Ausrichtung haben. Diese alphabetisch gereihten Fachlisten wurden fortlaufend nummeriert und nach graden bzw. ungeraden Zahlen in 2 gleich große Gruppen randomisiert und nachfolgend nach Organfächern, Subspezialitäten und Querschnittfächern gruppiert. Durch Hochwerfen einer Münze wurde entschieden, welches Kollektiv zuerst evaluiert wurde. Erst danach wurden die Fachlisten heruntergeladen und die Zahl der Zeitschriften, sowie die Impact Factors der Zeitschriften auf Rang 1und 2 sowie am Ende des 1. Drittels bzw. am Ende der 1. Hälfte einer jeden Fachliste verglichen.

Ergebnisse:

Die Zahl der Journale pro Fachliste schwankt zwischen 5 und 252 erheblich. Die Listen der Organ- und der Querschnittfächer verfügen über etwa 3-mal so viele Journale wie die der Subspezialitäten; die meisten Journale sind für die Querschnittfächer gelistet. Die Höhe der Impact Factors der auf Rang 1 gelisteten Zeitschriften differiert erheblich und reicht von 3,058 bis 94,333; eine ähnliche Variabilität besteht für die auf Rang 2 gelisteten Journale. Dagegen schwanken die Impact Factors für die Journale am Ende des 1. Drittels ihrer Liste zwischen 1,214 und 3,953, bzw. für die Journale am Ende der 1. Hälfte der jeweiligen Fachlisten zwischen 0,609 und 2,872. Die Steigungen der Korrelationsgraden zwischen der Höhe der Impact Factors der Zeitschriften auf Rang 1 bzw. 2 und der Zahl der gelisteten Journale schwankten zwischen 0,0756 und 0,2651 (Korrelationskoeffizienten zwischen 0,49–0,96). Bei den weiter hinten gelisteten Journalen verlaufen die Korrelationsgraden nahezu waagerecht bzw. mit inverser Steigung.

Schlussfolgerungen:

Diese aktuelle Auswertung ergänzt das Wissen für eine sachgerechte Interpretation der Impact Factors. Dem Ranking einer Zeitschrift innerhalb der entsprechenden Fachliste ist allgemein eine größere Bedeutung beizumessen.

Abstract

Background:

The impact factor is a purely bibliometric parameter built on a number of publications and their citations that occur within clearly defined periods. Appropriate interpretation of the impact factor is important as it is also used worldwide for the evaluation of research performance.

Research question:

It is assumed that the number of medical journals reflects the extent of diseases and patient populations involved and that the number is correlated with the level of the impact factor.

Method:

174 category lists (Subject Categories) are included in the area Health Sciences of the ISI Web of Knowledge of Thomson Reuters, 71 of which belong to the field of medicine and 50 of which have a clinical and/or application-oriented focus. These alphabetically arranged 50 category lists were consecutively numbered, randomized by odd and even numbers, respectively, into 2 equal-sized groups and then grouped according to organ specialities, sub-specialities and cross-disciplinary fields. By tossing up a coin it was decided which group should be evaluated first. Only then the category lists were downloaded and the number of journals, as well as the impact factors of journals ranking number 1 and 2, as well as the impact factors of journals at the end of the first third and at the end of the first half of each category list were compared.

Results:

The number of journals per category list varies considerably between 5 and 252. The lists of organ specialties and cross-disciplinary fields include more than three times as many journals as those of the sub-specialities; the highest numbers of journals are listed for the cross-disciplinary fields.

The level of impact factor of journals that rank number 1 in the lists varies considerably and ranges from 3,058 to 94,333; a similar variability exists for the journals at rank 2. On the other hand, the impact factor of journals at the end of the first third of the lists varies from 1,214 and 3,953, and for those journals at the end of the first half of a respective category list it varies from 0,609 and 2,872. The slope of the straight correlation line between the level of impact factors of journals at rank 1 and 2 with the number of listed journals varies from 0,0756 and 0,2651 (correlation coefficients between 0,49 and 0,96). For the journals ranking further down in the lists the straight correlation lines run almost horizontally or with inverse slope.

Conclusions:

This current analysis adds to the knowledge for an appropriate interpretation of the impact factor. Generally, greater importance should be given to the ranking of a journal within a corresponding category list.

Schlüsselwörter

Impact Factor - Forschungsleistung - Bewertung - Fachzeitschrift - Gesundheitswissenschaft

Key words

impact factor - research efficacy - research assessment - scientific journal - health sciences

• Literatur

• 1 Garfield E. Which medical journals have the greatest impact?. Ann Intern Med 1986; 105: 313-320
• 2 Gensini GF, Conti AA. The Impact Factor: A factor of impact or the impact of a (sole) factor? The limits of a bibliometric indicatoras a candidate for an instrument to evaluate scientific production. Ann Ital Med Int 1999; 14: 130-133 discussion 134-135
• 3 Göbel U, Gortner L. Die Klinische Pädiatrie und ihre Entwicklung in dieser Dekade. Klin Padiatr 2009; 221: 403-406
• 4 Göbel U, Gortner L. Die Klinische Pädiatrie zu Beginn des neuen Jahrzehnts. Klin Padiatr 2010; 222: 53-55
• 5 Göbel U, Gortner L. Disease-Management-Programme für Erwachsene mit „Volkskrankheiten“ und Kompetenznetze für Kinder und Jugendliche mit seltenen Erkrankungen. Klin Padiatr 2011; 223: 1-3
• 6 Göbel U, Gortner L. Peer Review, Impact Factor und Leserpräferenz geben Hinweise zur Erstellung von Publikationen für die klinische Behandlung. Klin Padiatr. 2012 224. 3-7
• 7 Ha TC, Tan SB, Soo KC. The journal impact factor: Too much of an impact?. Ann Acad Med Singapore 2006; 35: 911-916
• 8 Jacques TS, Sebire NJ. The impact of article titles on citation hits: an analysis of general and specialist medical journals. J R Soc Med Sh Rep 2010; 1: 2
• 9 Klingebiel T, Creutzig U, Christaras A et al. Meilensteine der Gesundheitspolitik und seltene Erkrankungen. Klin Padiatr 2010; 222: 121-123
• 10 Kunath F, Grobe HR, Keck B et al. Do urology journals enforce trial registration? A cross-sectional study of published trials. BMJ Open 2011; 1 e000430. Print 201
• 11 Magnavita N. Fifty years of impact factor: pros and cons. Med Lav 2005; 96: 383-390
• 12 Rossner M, Van Epps H, Hill E. Show me the data. J Exp Med 2007; 204: 3052-3053
• 13 Saleem T. The Hirsch index – a play on numbers or a true appraisal of academic output?. Int Arch Med 2011; 4: 25 Published online 2011 July 7.
• 14 Satyanarayana K. Impact factor and other indices to assess science, scientists and scientific journals. Indian J Physiol Pharmacol 2010; 54: 197-212
• 15 Thomson Reuters Journal Citation Reports. http://science.thomsonreuters.com/scientific/i/misc/jcr-2010-available.jpg
• 16 Thomson Reuters Zahl der gelisteten Journale. http://science.thomsonreuters.com/m/pdfs/mgr/jcr_0805_q.pdf
• 17 Thomson Reuters Alle Angebote http://thomsonreuters.com/products_services/science/science_products/a-z/isi_web_of_knowledge
• 18 Thomson Reuters Science Citation Index Expanded – Subject Categories http://science.thomsonreuters.com/cgi-bin/jrnlst/jlsubcatg.cgi?PC=D
• 19 Verordnung über die Anwendung der Guten Klinischen Praxis bei der Durchführung von klinischen Prüfungen mit Arzneimitteln zur Anwendung am Menschen (GCP-V) DCP-Verordnung vom 9. August 2004 (BGBL. I S. 2081), zuletzt geändert durch Artikel 4 der Verordnung vom 3. November 2006 (BGBL. I S. 2523). Bundesministerium der Justiz 2006
• 20 Weller AC. Editorial Peer Review: Its Strengths and Weaknesses. asis&t 2001; ISBN 1-57387-100-1