Sanità Pubblica Veterinaria [http://spvet.it/], n. 37, Settembre 2006
CONVEGNO: LA PUBBLICAZIONE SCIENTIFICA IN MEDICINA: TOOLS PER L’AUTORE,
6 luglio 2006 - Aula Magna della Facoltà di Agraria, Borgo XX Giugno 74, Perugia
torna alla copertina della rivista
torna all'indice generale di SPV



Impact Factor, lights and shadows
Impact factor: luci e ombre



Vanna Pistotti
bib [] marionegri.it
Istituto Mario Negri, Milano




Summary: The Impact Factor is the product of bibliographical information database that is called "Science Citation Index" a bibliographical archive that collects the necessary data for calculate it.
These scores allow to express judgments on the quality of the scientific quoted papers.
From here the increasing interest by the scientific international community to this databank.
Numerous researchers have criticized the use of citational indexes for the evaluation of the importance of a scientific research, emphasizing some weakness of the method (the self-citation, the reviews rich of quotation, the partial coverage of the literature, the selection of English written papers only.
Notwithstanding the Impact Factor is still the only method used by Universities and national and international research Institutes, to appraise the research and the scientific journals itself.
Currently, thanks to electronic media and the access to the "open access archives" is about to be opened a whole new way to appraise the quality of scientific literature.



L'origine
L'"Impact Factor " è l'ultima creazione di una catena legata al recupero dell'informazione di un prodotto Science Citation Index, una banca dati ideata e prodotta dall'Institute of Scientific Information e ora passata di proprietà a Thomson, che contiene all'interno dei suoi records i dati per calcolarlo.

Nel 1963 Eugene Garfield (1), a cui si deve riconoscere la genialità dell'idea, decide di pubblicare una banca dati bibliografica inserendo all'interno dei suoi records un campo che riportava l'intero elenco delle referenze che accompagnavano l'articolo stesso, riprendendo un'idea di due autori Gross e Gross che nel 1927 su Science (2) pubblicavano un articolo in cui si riportava l'uso del "conto delle referenze" per valutare quanto la rivista veniva letta.
Nel 1955 Garfield (3) riprende questo concetto suggerendo che con questo mezzo si poteva addirittura valutare l'impatto di una pubblicazione e creando il termine "Impact Factor" solo nel 1963 con la nascita della banca dati Science Citation Index. Alcuni sociologi e storici della medicina mostrano subito un certo interesse in questo strumento. In particolar modo Derk de Solla Price ne intravede uno strumento per studiare lo sviluppo della scienza (4)

Da qui, negli anni 80, nasce il Journal Citation Reports che darà il via all'uso di misure bibliometriche anche grazie alla continuo trend di crescita delle riviste scientifiche.

Citation vs Impact Factor
L'idea originale di Garfield non è stata quella di escogitare un metodo per fare carriera ma la possibilità di raccogliere tutti gli articoli pubblicati su un dato argomento iniziando dal recupero di questi usando le sole citazioni bibliografiche appartenenti agli articoli. Una sorta di catena.
Il Science Citation index viene usato inizialmente per ricerche retrospettive dove gli articoli, i libri, i rapporti e i brevetti che entrano nella sfera di interesse di chi sta facendo la ricerca, possono servire come punto di inizio. Garfield nella sua biografia cita ad esempio il metodo Shepard che riportava in un indice bibliografico i casi afferenti alle corti di giustizia di 48 stati americani e alle corti federali.
In breve si trattava di un sistema che affidava l'informazione di un caso ad un record bibliografico riportando qui anche tutte le pubblicazioni che si riferivano a questo, le decisioni di altre corti e tutto ciò che poteva essere di aiuto ai legali. Tutto questo nel 1873.
Il sistema "catena di citazioni" appena descritto e inventato da Garfield diviene presto obsoleto perchè troppo complicato ma la possibilità di valutare attraverso il calcolo delle citazioni la o le pubblicazioni di un singolo autore o di un gruppo di ricerca viene vista da ISI come un ottima occasione per vendere il prodotto in un modo diverso puntando sulla "vanità" delle istituzioni o del singolo ricercatore.

Le due anime del sistema "Science Citation Index" e "Impact factor" portano ad avere valutazioni di tipo diverso.
Il prodotto che contiene l'Impact Factor delle riviste si chiama Journal of Citation Report e viene pubblicato verso la metà di ogni anno. Si tratta di un elenco di titoli di riviste, uno in ordine alfabetico e un altro per categoria. La proporzione si ottiene dividendo le citazione che la rivista ha ottenuto in un anno diviso per i lavori che la rivista stessa ha pubblicato nei due anni precedenti.
Da qui, l'Impact Factor di Nature del 2003 si riferisce alla percentuale ricavata dal totale delle citazioni presenti nell'edizione del 2003 del Science Citation Index degli articoli pubblicati su Nature nel 2002 e 2003 diviso il numero totale di articoli pubblicati in questi due anni dalla rivista.
Al contrario Science Citation Index giudica l'impatto del singolo articolo calcolando le citazioni prodotte dall'articolo stesso e non quello prodotto dalla rivista su cui l'articolo viene pubblicato. Un autore potrebbe avere un lavoro con un alto numero di citazioni ma pubblicato su una rivista con un valore di impatto basso. Al contrario riviste con Impact Factor alto potrebbero riportare articoli che vengono poco o mai citati.
Circa il 40% degli articoli, anche se pubblicati su riviste con alto Impact Factor, non ricevono alcuna citazione. In questo caso l'autore beneficia di un valore alto grazie ad articoli pubblicati da altri sulla stessa rivista.
Nato con l'intento di permettere a professionisti che si occupano di informazione , bibliotecari, documentaristi, editori, autori, analisti, di accedere a dati pubblicati in letteratura, viene ora prevalentemente usato per pesare in modo quantitativo e qualitativo il lavoro di un autore o di un gruppo accademico. Questa uso del Journal Citation Report causa e continua a causare molte controversie.

Luci e Ombre
L'aumento della notorietà dell' Impact Factor e la possibilità di usarlo per la valutazione della letteratura ha cambiato il comportamento dei ricercatori che hanno spostato le loro scelte su riviste ad alto fattore d'impatto a scapito di quelle con valori minori che però meglio potrebbero veicolare certi tipi di informazione.
L'articolo del Prof, Segel pubblicato nel 1977 sul BMJ (5) viene considerato dagli esperti in bibliometria come una pietra miliare.
La sua lista di problemi associati all'uso dell'Impact Factor è approvata da molti altri autori negli anni a seguire: il lavoro è stato a sua volta citato più di 200 volte! Qui di seguito alcuni commenti sui punti più significativi e singolari

- La preferenza del Science Citation Index per i giornali che pubblicano in lingua inglese ha contribuito ad abbassare il criterio di valutazione di tutti gli altri di lingua diversa.
Per esempio i ricercatori statunitensi che è noto sono particolarmente proni a citarsi l'un con l'altro, dominano questo database facendo in modo di aumentare il valore della ricerca in quel paese del 30% al di sopra della media del resto del mondo; ad esempio si è visto che l'83% degli articoli pubblicati su riviste cliniche statunitensi aveva come affiliazione una struttura di quel Paese.
La banca dati copre la letteratura pubblicata su circa 8000 titoli di riviste.
In tutto il modo si pubblicano oltre 16000 periodici scientifici "peer review", più o meno 1.400.000 articoli, con una copertura per materia che varia molto tra un argomento ed un altro. Dato che l'Impact Factor di una rivista è proporzionale alla copertura che il database da al suo campo di ricerca, questa discrepanza fa si che le riviste di un campo sotto rappresentato ricevano un fattore basso.
Ancora, la rivista può variare nel numero dei suoi fascicoli durante l'anno e questo è un dato che viene tenuto presente nel calcolo finale. Bisogna anche tenere presente che molti autori pubblicano anche su libri e questi non vengono tenuti in considerazione.

- Lavori pubblicati simultaneamente su una o più riviste. Un caso del genere è stato portato a conoscenza da un cardiologo olandese che in lavoro del 1977 ha dimostrato come il lavoro congiunto di tre importanti Società, the Working Groups of the European Society of Cardiology , the American College of Cardiology e the American Heart Association, sia stato pubblicato singolarmente da ognuna delle tre Società in tre differenti riviste ad alto Impact Factor (6).

- Auto citazioni e citazioni copiate. Le auto citazioni possono alzare molto il valore dell'Impact Factor. Il fatto che il sistema non le elimini dal conteggio ha fatto sorgere molte critiche.
Alcuni autori hanno dimostrato che le auto citazioni risultano essere un terzo di tutte le citazioni (7,8).
Questo non è avallato dal produttore del Science Citation index, Thomsom, che in uno studio pubblicato nel 2004 (9) dimostra che, secondo i loro calcoli, 4816 titoli di riviste (l'82% dell'intero parco) hanno una percentuale di auto citazioni sotto il 20%.
Un' altra critica mossa all'Impact Factor è che molti autori hanno "il vizio" di copiare le referenze da altre lavori senza aver fisicamente letto il lavoro.
Questi lavori ricevono "gratuitamente" punteggio e aumentano il loro valore. In uno studio del 2003 viene riportato che dalla citazione di un lavoro del 1973 si evince che quasi l'80% degli autori che lo citavano non lo avevano mai letto (10).

- Il fattore d'impatto dipende dal campo di ricerca.
Campi di ricerca dinamici con un' alta attività di laboratorio e tempi di pubblicazione piuttosto corti, quali la biochimica e la biologia molecolare, hanno un proporzione di citazioni più alto della matematica o dell' ecologia ad esempio.
Se andiamo a vedere l'edizione del 2004 del Journal Citation Reports sotto la categoria "scienze sociali" vengono riportati 136 titoli di riviste di cui l'Impact Factor più alto è di 2.5, mentre la chirurgia con 139 titoli ha un valore di 5.9 e l'oncologia con 123 titoli di 44.5.

Quali alternative?
Sono state studiate alternative all' Impact Factor della Thomson? Come mai un punteggio conti così tanto quando il suo valore è così incerto? C'è chi dice che non ci sono alternative valide.
Non è forse giunto il momento di vedere se invece se ne possono trovare? Da queste domande che hanno avuto una grossa visibilità sulle principali riviste medico scientifiche negli ultimi anni sono nate alcune proposte, alcune interessanti alcuni con una vita breve.

- Faculty 1000. Lanciata nel 2001 da BiomedCentral (11) ha lo scopo di identificare i migliori lavori pubblicati in biologia e medicina. La scelta viene fatta da oltre 1000 ricercatori selezionati per il loro alto valore scientifico. Ad esempio "cell biology" è divisa in 18 sotto categorie.
I membri appartenenti ad ognuna di queste categorie selezionano ogni mese da due a quattro lavori dividendoli in "recommended" (F1000 rating da 3), "must read" (F1000 rating da 6), "exceptional" (F1000 rating da 9). Il punteggio assegnato al lavoro viene poi usato per calcolare il suo fattore F1000.
Questo tiene in conto anche il numero dei membri che hanno identificato lo stesso lavoro. Faculty1000 viene considerata una buona alternativa e gli abbonamenti al sito da parte dei ricercatori è in continua crescita.

- Prestige Factor. Lanciato nel novembre 2001 da una compagnia di Toronto ha finito la sua carriera nell'aprile 2002. A parte alcune raffinatezze, ad esempio Prestige factor separa le rassegne dai rapporti di ricerca e include le citazione apparse nei tre anni precedenti là dove l'Impact Factor ne considera due, i due sistemi sono identici. - Un indice proposto dai pazienti. Viene proposto da Martin Rosser, editor del Journal Neurology Neurosurgery and Psychiatry, e da Mary Baker and Matthew Menken appartenenti al board dei pazienti del BMJ. I pazienti valuterebbero direttamente gli articoli sia dal loro punto di vista che da quello clinico. Quanto meno un' idea stravagante.

- The Leiden University System. Un metodo basato sul monitoraggio di citazione di un articolo sulla stampa laica, in parlamento, ed altri luoghi indicati come "influenti".
Questo richiederebbe un grosso lavoro di recupero.

- Alcune proposte giunte dai lettori al British Medical Journal. Allungare il tempo di valutazione oltre i due anni; Escludere lettere e rassegne e focalizzarsi solo sulla ricerca; Valutazione da parte di "esperti", ma quali e chi li sceglie, scaricamento di PDF e conteggio su link ai siti elencati in Google.

- Google Scholar. (12) È di novembre 2004 il varo di Scholar un nuovo motore di Google, distinto dall'archivio principale e dedicato alla ricerca del materiale accademico e scientifico, sia di quello disponibile in full text in rete, sia di quello consultabile solo in una biblioteca o tramite un servizio di distribuzione dei documenti.
Lo strumento si basa su principi simili a quelli della ricerca sul web di Google che riesce a individuare i riferimenti più utili grazie ad algoritmi che sfruttano la struttura dei collegamenti fra una pagina web e l'altra.
Quello che qui interessa è porre in risalto come - lanciata una qualunque frase o domanda- il vero "motore" della ricerca diventa proprio la citazione bibliografica Le pagine con molti link che conducono verso di loro sono considerate "autorevoli", e ottengono un miglior punteggio che le spinge in cima alla lista dei risultati.
Il ranking degli articoli tiene anche conto dell'importanza della rivista su cui sono stati pubblicati. "Non contiamo semplicemente il numero di link o di citazioni. - spiega Sergey Brin, co-fondatore di Google - Un collegamento dall'home page della rivista 'Nature' fornirà un punteggio maggiore rispetto a uno dalla mia home page personale".
Scholar, però, a differenza dei servizi bibliografici più ortodossi, non dichiara in dettaglio quali sono le caratteristiche del suo archivio, limitandosi a indicare le sue fonti principali in termini di "open archives", e-journals ad accesso gratuito e siti di editori, enti di ricerca e associazioni professionali.
Il sistema estrae dall'enorme indice di Google i lavori considerati pertinenti, ma i criteri esatti di tale selezione non sono noti e, a seconda delle ricerche effettuate, può capitare che una percentuale significativa dei documenti reperiti con Scholar non possa essere considerata materiale accademico in senso stretto, né dal punto di vista formale (ovvero in base alla sede di pubblicazione) né da quello sostanziale.

- Scopus (13) Sviluppato e prodotto da Elsevier. E' è un nuovo servizio online che dà accesso ad una ricchissima collezione. Obiettivo del servizio è di offrire un unico punto di accesso per tutte le risorse scientifiche, attraverso quella che è la più grande base dati bibliografica compilata fino ad ora, completa di citazioni e direttamente collegata a una collezione che comprende 14.000 titoli di periodici, di oltre 4.000 editori tecnico-scientifici, e più di 100 periodici open access.
La base dati copre circa l'80% della produzione scientifica mondiale ed è la più ricca al mondo, seguita da ISI Web of Science. Scopus non da' punteggi ma grazie al suo sistema chiamato Citation Tracker allega ad ogni referenza il numero delle citazioni ricevute.

- h-Index (14, 15). Infine abbiamo una "new entry". Nature ha recentemente pubblicato en editorial dal titolo "Rating games" che si riferisce ad una notizia apparsa sullo stesso numero firmata da Philip Ball.
Si parla di un nuovo indice per misurare la validità di una pubblicazione chiamato h-index inventato da un fisico dell'Università di California Jorge Hirsch.
h-index prende in considerazione il numero più alto di lavori di un autore e controlla quelli che hanno ricevuto almeno lo stesso numero di citazioni. Per cui, un autore che un h-index di 50 significa che ha scritto 50 lavori ognuno dei quali ha ricevuto almeno 50 citazioni. Le citazioni vengono contate usando i dati forniti da Thomson. A questo articolo ne sono seguiti ancora troppo pochi per capire se farà carriera. Staremo a vedere.

Molti comitati, governativi e non, valutano e distribuiscono gli stanziamenti per la ricerca e l'assegnazione di premi basandosi unicamente sugli indici che riguardano le citazioni e sull'Impact Factor, soprattutto nel modo della medicina (16,17). Molti scienziati e revisori sembrano convinti che questo sia il miglior metodo per considerare la qualità scientifica. Il calo degli stanziamenti per la ricerca ha costretto i Presidi di facoltà a comportarsi come un allenatore di calcio di prima divisione che e' costretto a comperare "star" di primo piano a scapito di ricerca e formazione (18).

Il cambiamento radicale cha ha prodotto nel mondo dell'editoria scientifica la pubblicazione su web sta cambiando lo schema classico delle collezioni cartacee presenti nelle nostre biblioteche e: è possibile che l'Impact Factor possa perdere il suo significato dato il crescente numero di editoria elettronica gratuita che potrebbe sostituire quella cartacea?

Referenze

1. Garfield E, Bibliography http://www.garfield.library.upenn.edu/
2. Gross PLK, Gross EM. College libraries and chemical education. Science 1927;66:385-9.
3. Garfield E. Citation indexes for science; a new dimension in documentation through association of ideas. Science 1955;122:108-111
4. Price DJ. Networks of Scientific Papers: The pattern of bibliographic references indicates the nature of the scientific research front. Science 1965; 149: 510-515.
5. Seglen PO. Why the Impact Factor of journals should not be used for evaluating research. BMJ 1997;314:497-502
6. Opthof T. Sense and nonsense about the Impact Factor. Cardiovascular Res 1997;33: 1-7 1977
7. Walter G, Bloch S, Hunt G, Fisher K. Counting on citations: a flawed way to measure quality MJA 2003; 178: 280-281
8. Seglen PO. Citations and journal impact facotrs: questionable indicators of research quality. Allergy 1977; 52:1050-1056
9. The Thomson Corporation, "Journal self-citation in the Journal Citation Reports-Science edition 2002", 2004
10. Clarke T. Copied citations give Impact Factors a boost. Nature 2003; 423: 373
11. BiomedCentral http://www.biomedcentral.com/
12. GoogleScholar http://scholar.google.com/
13. Scopus http://info.scopus.com
14. Ball P. Index aims for fair ranking of scientists. Nature 2005; 436:900
15. Editorial. Rating games. Nature 2005; 436:889.
16. Abbasi K. Let's dump Impact Factors. BMJ 2004; 329:
17. Comba V. La valutazione delle pubblicazioni: dalla letteratura a stampa agli open archives.
http://eprints.rclis.org/archive/00000095/01/valutazione.pdf
18. Banatvala J, Bell P, Symonds M. The research assessment exercise is bad for UK medicine Lancet 2005; 365:458-460

torna all'indice generale della Webzine