Textos en PDF (38 kb)

* Profesor, Facultad de Medicina, Universidad Católica de Córdoba, Argentina. e-mail: fmeditor@campus1.uccor.edu.ar
Recibido para publicación julio 24, 2007      Aceptado para publicación enero 31, 2008

RESUMEN

El uso de indicadores bibliométricos para estudiar la actividad investigadora, se basa en que las publicaciones científicas son resultado esencial de dicha actividad, y proporcionan información sobre los resultados del proceso investigador, su volumen, evolución, visibilidad y estructura. Así, permiten valorar la actividad científica, e influencia (o impacto) tanto del trabajo como de las fuentes. Los estudios bibliométricos, en conjunto con otros indicadores, permiten la cuantificación de la ciencia en forma objetiva, y se potencian con la explosión actual del conocimiento y su recopilación en las bases bibliográficas de datos.


Limits of bibliometrics indicators in biomedical scientific research evaluation

SUMMARY

The use of bibliometrics indicators to study research activity is based on which the scientific publications are essential product of this activity, and provide information about the research process, its volume, evolution, visibility and structure. So, they allow to value the scientific activity, and influences (or impact) of the work and the sources. The bibliometrics studies, altogether with other indicators, allows an objective quantification of the knowledge, and are harnessed by the present explosion of the knowledge and its compilation in bibliographical data bases.


En el comienzo del siglo XXI, se registra un proceso de búsqueda de la identidad de la documentación e investigación científica como ciencias, más que como simples instrumentos de la ciencia¹.

Dentro de las Ciencias de la Información, se encuentra la Bibliometría, subdisciplina que se ocupa del empleo de una rama de las matemáticas -la estadística- en ciencias de la información, así como de leyes o modelos matemáticos derivados de dicha aplicación y que reflejan el comportamiento colectivo de hechos, fenómenos o relaciones del mundo informativo-documental².

Los primeros estudios bibliométricos consistían en recuentos manuales de publicaciones científicas. A partir de 1960, aparece la denominada ‘ciencia de la ciencia’, que nace en la confluencia de la documentación científica, la sociología e historia social de la ciencia, con el objeto de estudiar la actividad científica como fenómeno social, mediante indicadores y modelos matemáticos².

La bibliometría se utiliza para evaluar áreas científicas, y resulta un método confiable y universal para medir la productividad de un sector, y determina que los estudios bibliométricos sean cada vez más requeridos y utilizados, hecho que se generaliza en los países científicamente con mayor desarrollo_³.

ANTECEDENTES HISTÓRICOS

Los antiguos griegos habían ideado un procedimiento para determinar la extensión o medida de los manuscritos con base en distintos coeficientes, procedimiento llamado ‘esticometría’, que se empleó para estimar costos y remuneraciones⁴.

La introducción de las matemáticas a las disciplinas sociales tiene sus antecedentes en la doctrina llamada ‘positivismo’, de Augusto Comte, filósofo y matemático francés (1798-1857), que tuvo gran influencia en los siglos XIX y XX, aunque en la actualidad es cuestionada.

La antesala de la bibliometría como tal fue la ‘bibliografía estadística’. El primer trabajo reconocido dentro de esta disciplina correspondió a Cole y Eales en 1917, quienes analizaron publicaciones sobre anatomía comparada entre los años 1550 y 1860, con distribución por países y divisiones del reino animal. En 1923 Hulme, bibliotecario de la British Patent Office, presentó un análisis estadístico de historia de la ciencia y en 1926 Gross analizó las referencias en artículos de revistas indexadas sobre química, en The Journal of the American Chemistry Society⁶.

En 1969 Pritchard fue quien primero definió ‘Bibliometrics’ (Bibliometría) como la aplicación de métodos estadísticos y matemáticos para definir los procesos de la comunicación escrita, la naturaleza y el desarrollo de las disciplinas científicas mediante técnicas de recuento y análisis de la comunicación. Esta idea de mencionar a Pritchard como el primero en proclamar el término la cuestiona Ríos⁵, quien plantea que el brasileño Edson  Nery Fonseca cita en su bibliografía estadística a Wynd-ham Hulme (1923), Paul Otlet (1934), Victor Zoltowski (1955), a los que anteceden J Cole (1917), OL Gross (1927) y BC Vickery (1948), como autoridades que de una u otra forma habían empleado el término bibliometría.

Garfield⁷ sostuvo que este método de evaluación se podría utilizar como un indicador del impacto que una producción científica tenía sobre el medio.

El indicador ‘Factor de Impacto’ (FI) que se utiliza para evaluar la calidad de las revistas científicas, se empleó como tal por primera vez en 1963 por la publicación del Science Citation Index (SCI). El concepto era que las revistas cuya publicación generaran mayor número de citaciones tenían un mayor impacto en la comunidad científica^8,9.

EVALUACIÓN DE LA ACTIVIDAD CIENTÍFICA A TRAVÉS DE LA BIBLIOMETRÍA

El uso de los indicadores bibliométricos para estudiar la actividad investigadora de un país o área se basa en que las publicaciones científicas son un resultado esencial de dicha actividad. Un nuevo conocimiento adquiere valor cuando se da a conocer y se difunde, porque sólo así podrá contribuir al avance científico^1,3.

Por ello, la publicación científica se convierte en un resultado importante y tangible de la investigación, y los indicadores bibliométricos adquieren validez como medida de la actividad científica^3,6.

Los análisis bibliométricos de áreas biomédicas se pueden realizar a través de bases bibliográficas de datos, especializadas en medicina, como Medline, Excerpta Medica o SCI³.

Éstas son la principal fuente de información que se utiliza en los estudios bibliométricos, pero se debe destacar que la validez dependerá que la base de datos seleccionada abarque adecuadamente el área objeto de estudio. Algunas difieren en cobertura temática, criterios de selección de revistas o documentos, poseen sesgos geográficos y lingüísticos y otras características que modifican la realización e interpretación de un estudio bibliométrico³.

INDICADORES BIBLIOMÉTRICOS

Los indicadores bibliométricos proporcionan información sobre los resultados del proceso investigador, su volumen, evolución, visibilidad y estructura. Así permiten valorar la actividad científica, y la influencia (o impacto) tanto del trabajo como de las fuentes. De acuerdo con ello, se pueden clasificar en dos grandes grupos: Indicadores de Actividad e Indicadores de Impacto¹⁰.

Indicadores de actividad. Los indicadores de actividad científica permiten visualizar el estado real de la ciencia. Dentro de ellos se encuentran:

• Número y distribución de publicaciones: miden el número total de publicaciones por instituciones y su distribución.
• Productividad: número de trabajos por autor, revista o institución.
• Dispersión de las publicaciones: análisis de las publicaciones sobre un tema o área entre las diversas fuentes de información. Permite descubrir núcleos de autores o revistas.
• Colaboración en las publicaciones: índice de firmas por trabajo, empleado para determinar la actividad y cooperación científica entre grupos de científicos o instituciones.
• Vida media de la citación o envejecimiento: número de años, transcurridos desde la publicación, en el cual las citas disminuyen a 50% de su valor inicial.
• Conexiones entre autores: estudio de referencias que un trabajo hace a otro, y estudio de citas que éste recibe de aquel. Los datos obtenidos son muy importantes porque a partir de ellos se pueden obtener otros indicadores, el índice de obsolescencia o envejecimiento, vida media y detección de colegios invisibles.

Cabe destacar que los estudios de productividad por autores han sido investigados por Lotka, y arrojan como resultado la existencia de un pequeño grupo de personas muy productivas, al lado de un gran número de personas que apenas publican^2,10.

La productividad por revistas fue estudiada por Bradford, quien determinó que una gran cantidad de publicaciones sobre un tema determinado están presentes en un núcleo pequeño de revistas^2,10.

Indicadores de impacto. Con los indicadores de impacto se pueden valorar el impacto de autores, trabajos o revistas.

• Documentos recientes muy citados (hot papers). Los documentos alcanzan su máximo de citas entre 2 y 4 años después de ser publicados, pero algunos muestran una actividad de citas inusualmente alta poco tiempo después de su publicación con respecto a otros documentos del mismo campo de investigación y antigüedad similar.
• Impacto de las revistas. Se obtiene mediante los datos publicados periódicamente por el Institute for Scientific Information (ISI) en el Journal Citation Report (JCR), que presenta datos estadísticos cuantificables y proveen una vía para evaluar las revistas más importantes a nivel mundial, así como su impacto e influencia en la comunidad de investigación¹¹. A partir del año 2005, el JCR Web se encuentra disponible a través del ISI Web of Knowledge. Incluye además del análisis del nivel de revistas, el de nivel por categoría temática. Tiene una cobertura de más de 7,500 revistas de las cuales cerca de 5,900 son de ciencias biomédicas y 1,700 de ciencias sociales¹¹. Esta base de datos está sesgada idiomática y geográficamente hacia países angloparlantes¹², y presenta algunos errores en datos publicados¹³. Se encuentra muy criticada, aunque sus indicadores son referencia para instituciones científicas en Latinoamérica a fin de calificar, apoyar e impulsar investigaciones. Entre los indicadores que utiliza el ISI pueden mencionarse, entre otros el Índice de Inmediatez, número de artículos por revista, número de artículos por autor, vida media de las citas, índice de colaboración, número de artículos por categoría, número de revistas por categoría¹¹. La fórmula utilizada por el ISI para obtener el FI de una revista es el número de citaciones realizadas a artículos publicados en una revista en un período determinado (citaciones hechas por distintas revistas indexadas en el ISI) dividido por el total de artículos de esa revista⁸. El índice de impacto de un autor se calcula como el cociente entre el número de sus citas y el de sus artículos, considerando toda su carrera académica registrada en el SCI del ISI. Algunos autores han cuestionado la autonomía que pueda llegar a tener esta entidad privada, y proponen la creación de una entidad autónoma que se encargue de esta labor bajo el control de una comisión internacional⁸.
• European Journal Quality Factor. Surge como resultado de un movimiento de las instituciones académicas europeas. Incluye más de 500 revistas biomédicas europeas y propone una nueva fórmula para el cálculo del FI^14-16.

LIMITACIONES DE LOS INDICADORES BIBLIOMÉTRICOS

De actividad. Los indicadores bibliométricos son válidos en aquellas áreas en las que las publicaciones son un resultado esencial de la investigación. Por esta razón, su validez es de máxima relevancia en el estudio de las áreas básicas, donde predominan publicaciones científicas, y menor en las áreas tecnológicas o aplicadas¹.

Sólo aportan información sobre la cantidad de publicaciones, pero no sobre su calidad, por lo que tiene mucho interés combinar estos indicadores con los de impacto y/o juicio de expertos³.

Además, no deben efectuarse comparaciones entre áreas temáticas, porque los hábitos de publicación y la productividad de los autores difieren. Estas diferencias son especialmente importantes entre las distintas áreas científicas (ciencias sociales, ingeniería y tecnología, ciencias naturales y experimentales), y también existen entre las diversas disciplinas que componen un área. En el caso de la medicina son claras las diferencias que atienden al carácter básico o clínico de la actividad^1,3,17.

Con respecto a limitaciones sobre citaciones, algunos estudios revelan que no se citan todas las influencias, y que sin embargo se incluyen trabajos que no se han utilizado realmente en la investigación⁷. Otros autores resaltan que los artículos tienden a citar de preferencia artículos de la misma lengua, e incluso de la misma revista donde son publicados^17,18.

Cabe destacar que el tipo de publicación puede influir sobre el número de citas que recibe. Los documentos metodológicos, que introducen técnicas o métodos que se referencian luego en cada uso, refieren una alta tasa de citaciones. Asimismo, las revisiones y por extensión las revistas especializadas en revisiones, obtienen tasas de citación más altas que otros tipos documentales, debido a que manejan una amplia bibliografía³.

El ritmo de envejecimiento de la bibliografía en las distintas áreas de las ciencias de la salud, varía en función de la velocidad con que progresa la investigación en cada una de ellas y es un elemento determinante de la rapidez con que son citados los trabajos. En las áreas de rápido crecimiento los investigadores tienden a citar trabajos recientes, como en neurociencias, mientras que en las de lento crecimiento, como en cirugía, se citan trabajos mucho más antiguos³.

De impacto. Las limitaciones expuestas para el análisis de citas son también válidas para el uso del factor de impacto, ya que este indicador se calcula en función de las citas que reciben las revistas. Así, las áreas clínicas presentan los FI más bajos, mientras que los factores de impacto más elevados corresponden a áreas básicas, como la bioquímica y la biología molecular. Además, las áreas con un rápido envejecimiento de la bibliografía presentan valores altos de FI¹⁷.

En el área biomédica el FI es más alto en revistas de medicina general que en revistas de una determinada especialidad, lo que no significa que trabajos publicados en revistas muy específicas sean de calidad diferente. Los criterios para elegir publicar en una revista incluyen otros factores además del FI⁹.

Por otra parte, en un trabajo previo, al analizar las tendencias de citaciones en tesis de doctorado en Ciencias de la Salud¹⁸, se detectó que la vida media de las citaciones es mayor al promedio que habitualmente se considera en cada área, por lo que una publicación requiere un plazo mayor para tener un impacto en la actividad de tesistas, y se sugiere que deben desarrollarse indicadores específicos para esta área aunque los trabajos al respecto son escasos y se deben hacer nuevas investigaciones.

Seglen¹⁹ agrupó los problemas fundamentales que surgían al utilizar el FI de las revistas biomédicas para valorar la investigación científica, dentro de los cuales se destacan:

• El FI de una revista no es estadísticamente representativo de sus artículos individuales.
• Los autores se guían por múltiples criterios diferentes al FI para remitir sus artículos a una revista.
• Los artículos de gran longitud recogen muchas citas y dan altos FI a las revistas.
• La base de datos utilizada para calcular el FI tiene una cobertura incompleta, con claro sesgo a favor de la lengua inglesa, dominada por publicaciones norteamericanas, no corrige autocitaciones ni discrimina entre los tipos de publicaciones que citan o referencian (cartas, originales, comunicaciones breves, revisiones).

Sobre este último punto, autores como Amin y Mabe²⁰ afirman que deberían discriminarse los ‘artículos válidos’ (término definido en 1978 por el Council of Biology Editors, que pretende destacar aquellos artículos con información suficiente como para asegurar las observaciones, repetir las experiencias y evaluar los procesos intelectuales), de los demás tipos de publicaciones.

Como propuesta a las diferentes objeciones que se realizan al FI, Sombatsompop et al.²¹ introdujeron la vida media de las citaciones en el cálculo del FI, indicador que Rosseau llamó ‘Median Impact Factor’²². Van Leeuwen y Moed²³, basándose en aspectos críticos del FI, desarrollaron un indicador llamado ‘Journal to Field Impact Source’.
Actualmente el entorno web es una realidad tangible y las publicaciones científicas electrónicas han cobrado gran importancia por lo que para su evaluación será necesario considerar otros criterios^1,11,18.

Por ello, en la evaluación de las revistas electrónicas es indispensable tener conocimiento respecto a si se trata de revistas de acceso abierto (open acess) o si son revistas de distribución comercial con embargo temporal para la consulta en Internet. Esto influirá directamente sobre un indicador como es la cantidad de visitas recibidas en un sitio.
 
Para las revistas de acceso abierto se encuentra disponible el Directory of Open Acess Journals (DOAJ). Según Aguillo¹⁴, este directorio tiene como criterios de inclusión los siguientes: cobertura informativa, acceso, metadatos y calidad, considera como control de calidad la inclusión de aquellas revistas que tienen control de calidad sobre los artículos mediante una redacción, un comité editorial y/o un sistema de revisión por pares o evaluadores capacitados (peer review).

Una de las prerrogativas de las publicaciones electrónicas con respecto a las impresas, es el hipertexto que posibilita el enlace de distintas fuentes científicas y amplía exponencialmente el campo de la investigación, por lo que los enlaces o links desde una fuente a otra se debieran considerar como otro indicador para tener en cuenta.

COMENTARIOS

La bibliometría constituye un medio para situar la producción de un país con respecto al mundo, una institución en relación con su país y hasta los científicos en relación con sus propias comunidades.

Un análisis bibliométrico es una valiosa herramienta, tanto para el estudio del estado de las distintas disciplinas científicas, como para el de producción científica de una determinada región, disciplina o tema. Su objeto de estudio son los productos del pensamiento representados físicamente en documentos. En otras palabras, el conocimiento intelectual apoyado en soporte material^1,5,18.

La comunidad internacional, en particular la Organización para la Cooperación y Desarrollo Económico (OCDE) y la Unesco, desarrollaron metodologías para elaborar indicadores, que pueden resumirse en tres manuales de referencia obligada: el Manual de Frascati (1963, 1970, 1976, 1981, 1983 y 2002), el Manual de Oslo (1992 y 1996) y el Manual de Canberra (1995)².

Estos manuales ofrecen procedimientos para medir las actividades de investigación y desarrollo experimental, determinar los recursos humanos dedicados a ciencia y tecnología e interpretar la innovación tecnológica. Los estudios bibliométricos son parte de estos procedimientos, y en conjunto con otros indicadores, pueden ayudar a valorar el estado actual de la ciencia y apoyar la toma de decisiones y dirección de la investigación.

Para cada problema y área que se aborda, existe un indicador específico, por lo que no es una buena práctica utilizar sólo un indicador para evaluar la actividad de investigadores; sobre todo, si los investigadores no pertenecen al mismo campo de investigación o a la misma disciplina o área científica. Sin embargo, en Latinoamérica las instituciones de ciencia y tecnología emplean sistemáticamente el FI para evaluar, categorizar e incentivar los investigadores.

En países como Brasil, Chile y Argentina, las instituciones que evalúan la actividad científica utilizan el impacto y la publicación en revistas del JCR para categorizar y subsidiar a científicos e instituciones. La situación en Colombia no es muy diferente, Colciencias emplea un polémico sistema de evaluación de revistas científicas (y de los investigadores que publican en ellas)^12,13,24,25.

De esto resulta un empobrecimiento de las publicaciones periódicas latinoamericanas, con investigadores que prefieren publicar sus manuscritos en revistas de habla inglesa, en desmedro de revistas regionales²⁶. Algunas de estas revistas son consideradas como las mejores en sus países (tienen alto impacto local y regional), pese a no tener un FI elevado^25,26.

Se debe destacar también que la manipulación con fines interesados hace que carezcan de credibilidad o se pierda confianza en sus capacidades métricas, como sucede con el FI. En 1997, la revista Leucemia fue acusada de manipular su FI, al solicitar en los procesos de revisión a los autores que suscribían manuscritos que incluyeran más citas de artículos de esa revista¹⁵. En 2002 se informó otro caso similar²⁷. Además, artículos interesantes pero con datos fraudulentos, o documentos retractados por otros artículos, pueden atraer la atención de la comunidad científica y ser citados con frecuencia, distorsionando el FI de la revista. Desde el año 2000 se puso énfasis en corregir esta situación^28,29.

La bibliometría y el empleo de sus indicadores, constituyen herramientas científicas necesarias, porque permiten la cuantificación de la ciencia en forma objetiva, pues se potencian con la explosión del conocimiento actual y su recopilación en bases bibliográficas de datos. No hay duda que, a pesar de las objeciones que se pueden y se deben hacer, los indicadores bibliométricos facilitan la comprensión de la actividad investigadora.

REFERENCIAS

1. Camps D, Recuero Y, Avila R, Samar M. Estudio bibliométrico de un volumen de la revista Archivos de Medicina. (sede Web). Oviedo, España. Arch Med 2: 3. (fecha de acceso noviembre 25 de 2006). Disponible en: http://www.archivosdemedicina.com/ojs/index.php/archmed/article/view/0203001/0
2. Rousseau R. Indicadores bibliométricos y econométricos en la evaluación de instituciones científicas. (sede Web). Ciudad de La Habana, Cuba.  ACIMED. 2001; 9: 23-29. (fecha de acceso noviembre 29 de 2006). Disponible en: http://scielo.sld.cu/scielo.php?pid=S1024-94352001000400008&script=sci_arttext
3. Bordons M, Zulueta MA. Evaluación de la actividad científica a través de indicadores bibliométricos. Rev Esp Cardiol. 1999; 52: 790-800.
4. Rios DR. La bibliometría: nivel de penetración en la enseñanza bibliotecológica universitaria y su aplicación en el campo bibliotecario en los países del MERCOSUR. (sede Web). Jerusalem, Israel.  66th IFLA Council and General Conference. (fecha de acceso 28 de noviembre 2006). Disponible en: http://www.ifla.org/IV/ifla66/papers/162-127s.htm 
5. García-Río F. Evaluation of the scientific activity of Anales Españoles de Pediatría. An Esp Pediatr. 2002; 57: 107-9.
6. Pérez-Matos N. La bibliografía, bibliometría y las ciencias afines. (sede Web). Ciudad de La Habana, Cuba. ACIMED. 2002; 10: 1-2. (fecha de acceso diciembre 1 de 2006). Disponible en: http://scielo.sld.cu/scielo.php?pid=S1024-94352002000300001&script=sci_arttext
7. Garfield E. Journal impact factor: a brief review. CMAJ. 1999; 161: 979-80.
8. Rueda-Clausen Gómez CF, Villaroel-Gutiérrez C, Rueda-Clausen Pinzón CE. Indicadores bibliométricos. Origen, aplicación contradicción y nuevas propuestas. Med UNAB. 2005; 8: 29-36.
9. Beltrán-Galvis OA. Impact factor. Rev Colomb Gastroenterol. 2006; 21: 57-61.
10. Spinak E. Indicadores cienciométricos. Ci Inf. 1998; 27: 141-8.
11. Institute for Scientific Information. The ISI impact factor. (sede Web) Philadelphia, USA. (fecha de acceso septiembre 12 de 2006). Disponible en: http://www.isinet.com
12. Leon-Sarmiento FE, León ME, Contreras VA. El factor de impacto: ¿Mito o realidad? Colomb Med. 2007; 38: 290-6.
13. Leon-Sarmiento F, Bayona-Prieto J, León ME. Concepciones, confusiones y contraindicaciones del factor de impacto en Colombia. Rev Esp Salud Publica. 2007; 81: 147-54.
14. Aguillo IF. Evaluación de revistas electrónicas. Prof Inf. 2005; 14: 324-5.
15. Dong P, Loh M, Mondry A. The ‘impact factor’ revisited. Biomedical Digital Libraries 2005, 2: 7. (fecha de acceso noviembre 25 de 2006). Disponible en: http://www.bio-diglib.com/content/2/1/7
16. Hofbauer R, Frass M, Gmeiner B, Kaye AD. Euro-Factor. The new European scientific currency. Vienna: VICER Publishing; 2002.
17. Alfonso F, Bermejo J, Segovia J. Impactología, impactitis, impactoterapia. Rev Esp Cardiol. 2005; 58: 1239-45.
18. Camps D, Recuero Y, Samar ME, Avila RE. Análisis bibliométrico de tesis de doctorado en el área de ciencias de la salud. Primera parte: Odontología. Rev Fac Cienc Med Univ Nac Cordoba. 2005; 62: 53-6.
19. Seglen PO. Why the impact factor of journals should not be used for evaluating research. Br Med J. 1997; 314: 498-502.
20. Amin M, Mabe MA. Impact factors: use and abuse. Medicina. (Buenos Aires) 2003; 63: 347-54.
21. Sombatsompop N, Markpin T, Premkamolnetr N. A modified method for calculating the impact factor of journals in ISI Journal Citation Reports: Polymer Science Category in 1997-2001. Scientometrics. 2004; 60: 217-35.
22. Rosseau R. Median and percentile impact factors: A set of new indicators. Scientometrics. 2005; 63: 431-41.
23. van Leeuwen TN, Moed HF. Development and application of journal impact measures in the Dutch science system. Scientometrics. 2002, 53: 249-66.
24. Leon-Sarmiento F, Bayona Prieto J, Bayona E, León M. Colciencias e inconciencias en los científicos colombianos: de la Edad de Piedra al Factor Impacto. Rev Salud Publica. 2005; 7: 227-35.
25. Pasqualini CD. Priorizar la creatividad sobre el factor de impacto. Medicina. (Buenos Aires) 2003; 63: 358-60.
26. Téllez-Zenteno JF, Morales-Buenrostro LE, Estanol B. Análisis del factor de impacto de las revistas científicas latinoamericanas. Rev Med Chile. 2007; 135: 480-7.
27. Neuberger J, Coursell C. Impact factors: uses and abuses. Eur J Gastroenterol Hepatol. 2002; 14: 209-11.
28. Campanario JM. Fraud: retracted articles are still being cited. Nature. 2000; 408: 288.
29. Brumfield G. Misconduct findings at Bell Labs shakes physics community. Nature. 2002; 419: 419-21.