Medizinisch-biowissenschaftliche Datenbanken und der Impact-Faktor

Hintergrund: Der im Journal Citation Report (JCR) publizierte Impact-Faktor (IF) ist ein Maß für die Häufigkeit, mit der medizinische Fachzeitschriften zitiert werden. Die daraus gezogenen Rückschlüsse auf die Verbreitung einzelner Zeitschriftenartikel werden weltweit häufig für akademische Bewertungen verwendet. Auf Grund dieser Wichtigkeit ist der IF oft Gegenstand internationaler Diskussionen, auch vor dem Hintergrund, dass hauptsächlich ein begrenzter Pool von Datenbanken (Science Citation Index, SCI) für seine Berechnung herangezogen wird.

Fragestellung: Woraus besteht die Datenbasis des IF? Ist der IF für eine objektive Bewertung medizinischer Fachzeitschriften ausreichend?

Methodik: Vergleichende Recherche in 38 Einzeldatenbanken (SCI, MEDLINE [ME], EMBASE [EM)], BIOSIS Previews [BA] und andere) sowie Datenbank-Kombinationen.

Ergebnisse: 1. Zeitschriften mit hohem IF (≥ 1) wurden fast vollständig im SCI gefunden (98 %), in anderen Datenbanken nur in geringerem Anteil (ME, EM, BA je 60 %). 2. Umgekehrt waren bei drei Probemengen deutschsprachiger Zeitschriften 90 % der in SCI häufig indexierten Periodika auch im JCR vertreten, bei den in ME, EM und BA, aber nicht in SCI erfassten nur 23,5-57 %. 3. Die hochgerechnete mittlere Ergiebigkeit (Basis:18 Recherchen in Publikationstiteln) bei medizinisch-biowissenschaftlichen Fragestellungen liegt für die produktivsten Einzeldatenbanken bei: SCI = 34 %, ME = 27 %, EM = 33 %, BA = 25 %; bei Datenbankkombinationen: SCI + ME = 44 %, SCI + ME + EM = 55 %, SCI + ME + EM + BA = 65 %, jeweils bezogen auf die in einer 38-Datenbanken-Kombination auffindbaren Publikationshinweise. Die Nutzungskosten steigen in der Reihe ME < EM < SCI < BA < Derwent, CAS.

Folgerungen: 1. Die Zitationsanalyse des IF erscheint vor allem im Hinblick auf deutschsprachige Zeitschriften eingeschränkt. Bewertungen der Publikationsleistung auf dieser Basis sollten daher ergänzenden Korrekturverfahren unterworfen werden. 2. Recherchen in Einzeldatenbanken, auch SCI, führen nur zu orientierenden Ergebnissen. Bei Anspruch auf größtmögliche Vollständigkeit sollten Datenbank-Kombinationen verwendet werden.

Biomedical databases and the journal impact factor

Background: Citation frequencies of medical journals are measured by the Journal Impact Factors (IF) published annually in the Journal Citation Report (JCR). Conclusions drawn from IF concerning the distribution of single journal articles are used world-wide for academic evaluation purposes. Because of this importance, IF are widely and controversially discussed, also regarding their derivation from a limited pool of databases (Science Citation Index, SCI).

Objective: To determine the comprehensiveness of IF’s data basis by testing (i) SCI’s sources, (ii) SCI’s output. Are the IF sufficient for an objective evaluation of medical journals?

Methods: Comparative searches in 38 databases and their combinations (SCI; MEDLINE [ME]; EMBASE [EM]; BIOSIS Previews [BA] and other relevant systems).

Results: (i) Journals with higher IF (≥ 1) are almost completely retrievable in SCI (98 %), but only approx. 60 % in ME, EM, BA. (ii) Reverse: three samples of mainly German-language journals frequently indexed in SCI were represented in JCR by 90 %; but only 23,5-57 % of sample periodicals had an IF when indexed in ME, EM and BA, but not in SCI. (iii) Compiled average search results in the most productive databases in 18 biomedical queries, when titles were searched: SCI = 34 %, ME = 27 %, EM = 33 %, BA = 25 %; and, when combined: SCI + ME = 44 %, SCI + ME + EM = 55 %, SCI + ME + EM + BA = 65 %, compared to the results in a 38-databases cluster. Costs increase in the order ME < EM < SCI < BA < Derwent, CAS.

Conclusions: (i) The citation analyses presented in JCRs appear limited especially regarding German-language biomedical journals. Evaluation of publications based on IF therefore should be complemented by corrective measures. (ii) Single-database searches, including SCI, at best render orientating results; database combinations are recommended when higher completeness is required.

Literatur

• 1 Anonym. Le facteur d’impact: »Audimat« valable des revues scientifiques? (Editorial).  Ann Franc Anesth Reanim. 1995;  14 247-248
• 2 Anonym. Glued to the screen: An investigation into information addiction world-wide. Reuters Ltd, London 1997
• 3 Antes G, Rüther A, Kleijnen J. Die Cochrane Collaboration. Erstellung, Aktualisierung und Verbreitung systematischer Übersichtsarbeiten.  Münch Med Wschr. 1996;  138 829-832
• 4 Arbeitsgemeinschaft der wissenschaftlichen medizinischen Fachgesellschaften (AWMF) .Resolution Impact Faktor. AWMF Online. Internet URL http://www.uni-duesseldorf.de/WWW/AWMF/res/res-impf.htm
• 5 Arbeitsgemeinschaft der wissenschaftlichen medizinischen Fachgesellschaften (AWMF) .AWMF-Kommission »Bibliometrie« zum Impact-Faktor: Fachgesellschaften sind zur Benennung wichtiger wissenschaftlicher Zeitschriften aufgefordert. AWMF Online. Internet URL http://www.uni-duesseldorf.de/WWW/AWMF/mb/mitt9710.htm
• 6 Arbeitsgemeinschaft der wissenschaftlichen medizinischen Fachgesellschaften (AWMF) .Vorschlag zur Verwendung des »Impact Factor«. AWMF Online. Internet URL http://www.uni-duesseldorf.de/AWMF/bimet/impa-emp.htm
• 7 Bador P, Petit O. Facteur d’impact et indexation dans les bases de donnees bibliographiques: comparaison des ces deux criteres de qualite pour l’evaluation des revues pharmaceutiques.  Journal de Pharmacie Belgique. 1998;  53 71-80
• 8 Barillot M J, Sarrut B, Doreau C G. Evaluation of drug interaction document citation in nine on-line bibliographic databases.  Ann Pharmacother. 1997;  31 45-49
• 9 Barnaby D P, Gallagher E J. Alternative to the Science Citation Index impact factor as an assessment of emergency medicine’s scientific contributions.  Ann Emergency Med. 1998;  31 78-82
• 10 Behles C, Schweim H G. Informationsflut - wo ist die Arche?.  Dtsch Apothekerz. 1999;  6 623-627
• 11 Benitez-Bribiesca L. The impact factor of medical journals: Its use and misuse (Editorial).  Archiv Med Res. 1999;  30 161-162
• 12 Brody S. Impact factor as the best operational measure of medical journals (Letter; Comment).  Lancet. 1995;  346 1300-1301
• 13 DIMDI Deutsches Institut für Medizinische Dokumentation und Information (DIMDI) .Internet-Einstieg Datenbank-Recherche (Datenbank-Kurzbeschreibungen. grips-Kommandos. Infomaterial). Internet URL http://www.dimdi.de/
• 14 DIMDI (Kaiser D) .Online Bibliometrie mit grips. 1995
• 15 Farriol M, Jorda-Olives M, Padro J B. Bibliographic information retrieval in the field of artificial nutrition.  Clinical Nutrition. 1998;  17 217-222
• 16 Froemter E, Braehler E, Langenbeck U, Meenen N M, Usadel K H. Das AWMF-Modell zur Evaluierung publizierter Forschungsbeiträge in der Medizin.  Dtsch Med Wschr. 1999;  124 910-915
• 17 Gallagher E J, Barnaby D B. Evidence of methodological bias in the derivation of the Science Citation Index impact factor.  Ann Emerg Med. 1998;  31 83-86
• 18 Garfield E. The significant scientific literature appears in a small core of journals.  Scientist. 1996;  10 17
• 19 Garfield E. How can impact factors be improved? BMJ (Clin. Res.  Ed.). 1997;  313 411-413
• 20 Garfield E. Der Impact Faktor und seine richtige Anwendung (Editorial; Kommentar).  Unfallchirurg. 1998;  101 413-414
• 21 Garfield E. Citation-based and descriptor-based search strategies. Internet URL http://www.isinet.com/hot/essays/3.html
• 22 Garfield E. The Impact Factor. Internet URL http://www.isinet.com/hot/essays/7.html
• 23 Garfield E. Using the impact factor. Internet URL http://www.isinet.com/hot/essays/8.html
• 24 Golder W. Der Impact Faktor: eine kritische Analyse.  Fortschr Roentgenstr. 1998;  169 220-226
• 25 Haynes R B, Wilscynski N, McKibbon K A, Walker C J, Sinclair J C. Developing optimal search strategies for detecting clinically sound studies in MEDLINE.  J Am Informatics Ass (JAMIA). 1994;  1 447-458
• 26 Haller U, Hepp H, Reinold E. Tötet der »Impact Factor« die deutsche Sprache? (Editorial).  Gyn-geburtsh Rundsch. 1997;  37 117-118
• 27 Hamilton D P. Publishing by - and for? - the numbers.  Science. 1990;  250 1331-1332
• 28 Hecht F, Hecht B K, Sandberg A A. The journal »impact factor«: A misnamed, misleading, misused measure.  Cancer Gen and Cytogen. 1998;  104 77-81
• 29 Herfarth C, Schuermann G. Deutsche klinische Zeitschriften und der Impact Faktor (Editorial).  Chirurg. 1996;  67 297-299
• 30 ISI .Web of Science. ISI citation databases - a sitewide solution. Internet URL http://www.isinet.com/products/citation/wos.html
• 31 ISI .Science Citation Index. Science Citation Index Expanded(TM). SciSearch. Internet URL http://www.isinet.com/products/citation/citsci.html
• 32 Kämper U, Wolff C. Free MEDLINE und die Nebenwirkungen. grips-News (DIMDI Newsletter) 1998. Internet URL http://www.dimdi.de/germ/nesgerm/news983d.htm
• 33 Kleijnen J, Knipschild P. The comprehensiveness of MEDLINE and EMBASE computer searches. Searches for controlled trials of homoeopathy, ascorbic acid acid for common cold and gingko biloba for cerebral insufficiency and intermittent claudication. Pharmac Weekbl.  Scientific Ed. 1992;  14 316-320
• 34 Korevaar J C, Moed H F. Validation of bibliometric indicators in the field of mathematics.  Scientometrics. 1996;  37 117-130
• 35 Korwitz U. Welchen »Rang« hat ein Wissenschaftler.  Nachr Dok. 1995;  46 267-272
• 36 Linardi P M, Coelho P M, Costa H M. The »impact factor« as a criterion for the quality of scientific production is a relative, not absolute, measure.  Brazil J Med Biol Res. 1996;  29 555-561
• 37 Lindner U K, Oehm V. Die Magie des Impact Faktors - Enttarnung eines Phänomens (Editorial).  HNO. 1997;  45 953-954
• 38 Meenen N M. Der Impact-Faktor - ein zuverlässiger scientometrischer Parameter?.  Röntgenpraxis. 1998;  51 266-271
• 39 Oestern H, Probst J. Zur Verwendung des Impact-Faktors als Maß wissenschaftlicher Leistungen. Beschluss des Präsidiums der Deutschen Gesellschaft für Unfallchirurgie vom 21.06.1997.  Unfallchirurg. 1997;  100 838
• 40 Pendlebury D A. Science, citation, and funding (Letter).  Science. 1991;  251 1410-1411
• 41 Porta M. The bibliographic »impact factor« of the Institute of Scientific Information: how relevant is it really for public health journals?.  J Epidemiol Commun Health. 1996;  50 606-610
• 42 Rovers J P, Janosik J E, Souney P F. Crossover comparison of drug information online database vendors: Dialog and Medlars.  Ann Pharmacother. 1993;  27 634-639
• 43 Schmieder R E, Martus P, Klingbeil A U. Reversal of left ventricular hypertrophy in essential hypertension: A meta-analysis of all randomised double-blind studies.  JAMA. 1996;  275 1507-1513
• 44 Schoonbaert D, Roelants G. Citation analysis for measuring the value of scientific publications: quality assessment tool or comedy of errors?.  Trop Med Int Health. 1996;  1 739-752
• 45 Schweim H G, Winkmann G. Qualitätssicherung wissenschaftlicher Informationen in Datenbanken.  Zeitschr ärztl Fortb Qualitätssich. 1998;  92 723-728
• 46 Seglen P O. Causal relationship between article citedness and journal impact.  J Amer Soc Information Sci (JASIS). 1994;  45 1-11
• 47 Seglen P O. Citations and journal impact factors: questionable indicators of research quality.  Allergy. 1997;  52 1050-1056
• 48 Seglen P O. Why the impact factor of journals should not be used for evaluation research.  BMJ. 1997;  314 498-502
• 49 Seglen P O. Citation rates and journal impact factors are not suitable for evaluation of research.  Acta Orthop Scand. 1998;  69 224-229
• 50 Stegmann J. How to evaluate impact factors.  Nature. 1997;  390 550
• 51 Stegmann J. Building a list of journals with constructed impact factors.  J Documentation. 1999;  55 310-324
• 52 Stegmann J. Constructed Impact Factors (CIF) for journals not listed in the Journal Citation Report (JCR). 1999. Internet URL http://www.medizin.fu-berlin.de/medbib/CIF/cif.html
• 53 Stegmann J. Why not use Journal Impact Factors? EAHIL Online Newsletter 1999; 47. Internet URL http://www.eahil.org/newsletter/47/impact.htm
• 54 STN International .Cited References in CAPlus and CA. STNewsline 2000; No. 5 (European Edition, May 18). Internet URL http://www.fiz-karlsruhe.de/stn/stnewspd/archiv/newsl500.html
• 55 Stock W O. Web of Science: Ein Netz wissenschaftlicher Informationen - gesponnen aus Fußnoten.  Password. 1999;  7 21-25
• 56 Testa J. The ISI database: the journal selection process. Internet URL http://www.isinet.com/hot/essays/199701.html
• 57 Topfer L A, Parada A, Menon D, Noorani H, Perras C, Serra-Prat M. Comparison of literature searches on quality and costs for health assessment using the MEDLINE and EMBASE databases.  Intern J Technolo Assess in Health Care. 1999;  15 297-303
• 58 Winkmann G, Schweim H G. Medizinisch-biowissenschaftliche Datenbanken und der Impact Faktor. Langfassung, URL http://www.thieme-connect.com/BASScgi/4?Sprache=DE&FID=Start& NextFID=JournalTOC&JournalKey=18
• 59 Woods D, Trewheellar K. MEDLINE and EMBASE complement each other in literature searches (Letter; Comment).  BMJ. 1998;  316 1166

Korrespondenz