Uso de cookies

La Silla Vacía usa Cookies para mejorar la experiencia de nuestros usuarios. Al continuar navegando acepta nuestra política.

listo

Por Blog de Notas · 17 de Julio de 2013

9508

12

Por Alf Onshuus

Hace unos meses, en uno de los periódicos de circulación nacional, apareció la noticia de que haciendo un estudio del número de artículos publicados, las áreas de investigación en las cuales Colombia sobresalía eran Química, Medicina, Ciencias Biológicas y Agricultura. Esto fue más o menos al mismo tiempo en el que en un foro sobre política nacional para investigación en ciencias básicas el entonces director de Colciencias anunció que estaban pensando dar un premio de investigación a los grupos con mayor número de artículos publicados.

No estoy seguro de dónde sacaron los datos en el periódico, pero revisando la base de datos de la National Science Foundation (datos que se pueden encontrar en la página de la NSF), en el 2009 se publicaron en Colombia 121,2 artículos en biología, 105,8 artículos en medicina, 85,4 en química, 73.1 en agricultura, 69 en ingeniería, y en contraste 26,4 en ciencias sociales y 16,1 en matemáticas[1]. Un primer vistazo a estos datos pareciera estar de acuerdo con lo dicho en el artículo. Sin embargo, en el mismo año en el mundo se publicaron 179.021 artículos en medicina, mientras que sólo se publicaron 19.214 artículos de matemáticas. Es decir, que mientras en Colombia publicamos (en el 2009)  0,6 artículos en medicina por cada 1000 artículos que se publicaban en el mundo[2], en matemáticas publicábamos 0,8 artículos por cada 1000 artículos que se publican en el mundo. Si tomamos artículos científicos colombianos en un área específica comparados con el número de artículos que se publican en el mundo (que es para mí lo que significa “sobresalir”), de las áreas mencionadas anteriormente los datos mostrarían que el orden de nuestras publicaciones por área del conocimiento en el 2009 sería Agricultura (4 por mil), Ingeniería (0,86 por mil), Matemáticas, Ciencias Sociales y Química (0,83 por mil), Biología (0,77 por mil) y Medicina (0,59 por mil). Quiero resaltar que no estoy implicando que la investigación en medicina en nuestro país no sea sobresaliente: hay muchos factores además del número de artículos (como patentes, reconocimiento internacional, etc.) que pueden demostrar excelencia en investigación. Sólo estoy afirmando que el sólo número de artículos científicos publicados en Colombia, comparado con el volumen mundial, no demuestra que en nuestro país medicina esté por encima de las demás áreas del conocimiento.

Ahora, sobre el anuncio del director de Colciencias y las maneras de juzgar la calidad de los investigadores y de los productos de investigación, las dos cifras que más se utilizan para juzgar el valor científico son el número de publicaciones y el número de citas por artículo. Incluso el índice ISI que mide la calidad de las revistas se basa en el número de citas por artículo. Estas cifras tienen muchos problemas que se están discutiendo en la comunidad internacional, pero algo que ya es claro pero que en Colombia parecemos ignorar (por lo menos en las esferas que proponen la política científica) es que no pueden compararse diferentes áreas del conocimiento con estas cifras: la autoría y la citación significan cosas distintas en diferentes áreas, y compararlas entre ellas equivale más o menos a decir que Jordan era mejor deportista que Pelé porque el número de canastas que encestó Jordan es mucho mayor al número de goles que hizo Pelé[3].

Para explicar esto, quisiera dar algunos ejemplos. El CERN es un instituto en Suiza que tienen o construyen aceleradores de partículas para descubrir fenómenos subatómicos. Cada experimento que hacen (por ejemplo, el que descubrió el “Boson de Higgs”, que fue uno de los acontecimientos científicos más mencionados del 2012) requiere la colaboración internacional de un equipo inmenso que incluye desde los físicos que modelan el experimento y estudian los resultados, hasta los ingenieros que construyen los aceleradores y arreglan fallas que impiden el buen funcionamiento. CERN decidió que todos los miembros de la colaboración deben obtener crédito por los resultados y su política es listarlos a todos, en orden alfabético, en los artículos que salen de la colaboración. Es decir que si una colaboración con 5000 científicos produce 200 artículos, los 200 artículos aparecen en las hojas de vida de cada uno de los 5000 colaboradores, ninguno de los cuales ha leído todos los artículos. Pueden aparecer incluso autores que ni siquiera entienden la física detrás de los resultados. Esto por supuesto es respetable en todo sentido, pero es completamente distinto al concepto de autoría que tenemos, por ejemplo, en matemáticas. En matemáticas se asume que todos los autores están familiarizados con todo el contenido del artículo; es por ejemplo mal visto que alguien no pueda dar los detalles detrás de una demostración que aparece en un artículo en el que se le menciona como coautor, y a menos de que sea demasiado significativo, aportes dados por otros colaboradores se mencionan en agradecimientos, no en coautorías. Esto contrasta también con lo que ocurre en los grandes laboratorios. Es muy usual que científicos importantes que han llegado a ser cabezas de laboratorios aparezcan en todas las publicaciones que hace su laboratorio independiente de quien haga los experimentos o escriba los artículos. Esto es justificable en el sentido que dicho científico ha dedicado gran parte de su tiempo a reunir el dinero para conseguir los instrumentos y sustancias que hagan posibles los experimentos. Pero de nuevo es una forma distinta (y muy particular) de autoría.

Algo similar ocurre con las citaciones. En algunas áreas se citan todos los artículos cuyos resultados han hecho posible la investigación que se está publicando, mientras en otras sólo se citan los resultados que se han utilizado de manera inmediata[4]. Ambas prácticas son justificables, pero esto hace que el número de citas a un artículo cambie radicalmente de área en área, y no necesariamente porque un artículo sea más visible que otro, sino porque el citar un artículo significa cosas diferentes en diferentes comunidades académicas. 

Todo lo anterior implica que analizar la calidad de la investigación en un país o de un grupo de investigadores contando el número de artículos o el número de citas es inadecuado cuando se comparan investigadores de diferentes áreas. No se trata de no utilizar las cifras. El número de artículos y número de citas (incluyendo el índice ISI) siguen siendo, con sus problemas, los métodos utilizados a nivel mundial para evaluar la investigación, y aún no es claro que haya una opción radicalmente mejor a la mano. Hay un consenso de que la mejor forma de medir calidad es la opinión y el impacto en la comunidad, pero no es claro cómo medir esto de manera automática. Hay movimientos que sugieren prácticas alternativas. Quizás la más conocida es la declaración DORA (se puede leer la declaración completa en http://am.ascb.org/dora/), pero estas propuestas son o demasiado dispendiosas o son propuestas que pueden funcionar bien hoy, pero que en el momento en que sean significativas se vuelven incluso más fáciles de manipular que las que utilizamos actualmente. Y aún si encontramos formas mejores de medir la calidad de la investigación, posiblemente lo que mejor va a funcionar es tener indicadores complementarios a los que ya tenemos. Hay pequeñas modificaciones que debemos hacer a los índices, pero no parece haber una solución radicalmente diferente que nos haga dejar de lado el uso inteligente el número de artículos y citas por artículo. Pero hay que hacerlo partiendo de algo que la comunidad académica reconoce desde hace rato: esos números tienen significados diferentes para las varias comunidades y en principio sólo deben ser usados (y con cautela) para comparar investigaciones dentro de un área específica del conocimiento.

Ahora, no siempre es posible analizar cada área por separado: Colciencias, por ejemplo, debe juzgar investigaciones en diferentes áreas cada año. Si es necesario comparar entre las diferentes áreas del conocimiento, hay que hacerlo tomando en cuenta las diferencias arriba expuestas: no es posible comparar una revista A de economía con una B de farmacéutica mirando directamente sus índices de impacto ISI: la revista de economía mejor indexada estaría por debajo de casi todas las revistas de farmacéutica. Lo correcto sería mirar la posición de la revista A entre las demás revistas de economía, y compararla con la posición de la revista B entre las revistas de farmacéutica.

De igual manera, es posible analizar índices generales para normalizar el número de citas y de artículos en las diferentes áreas del conocimiento comparándolas con los números globales en su respectiva área. Por ejemplo, de acuerdo con la información de [NAS], el número de artículos por profesor por año del 2000 al 2009 en todos los programas de doctorado de Ingeniería en EEUU[5] es de 1,64, el de Matemáticas es de 0,92 y el de química es de 6,76. Un profesor que publica 2 artículos por año está muy por encima del promedio de EEUU si es un matemático, más o menos en el promedio si es físico y muy por debajo del promedio si es químico. Lo más sorprendente es que varios estudios han demostrado que los promedios en las diferentes áreas no varían significativamente año a año ni entre comunidades, siempre que estas sean lo suficientemente grandes como para ser representativas. Con más y mejores datos obtenidos y con un estudio más o menos fácil de hacer podemos obtener normalizadores adecuados para publicaciones por profesor, citas por artículo, número total de artículos en un país, etcétera.

En las tablas que anexo hay algunos de los datos y posibles normalizadores que recopilé de datos encontrados en línea, pero es esencial que el ejercicio se desarrolle pronta y oficialmente. Esto permitiría que tengamos un consenso que tanto los encargados de diseñar las políticas de ciencia e investigación, como los medios que cubren las noticias científicas tengan a la mano para hacer análisis adecuados. No tiene sentido premiar a un químico que ha publicado treinta artículos en diez años por encima de un ingeniero con veinte artículos en los mismos diez años basándose únicamente el número de artículos publicados (el ingeniero está publicando como un profesor promedio de Ingeniería en EEUU mientras que el químico publica muy por debajo del promedio de sus pares del norte). Tampoco se puede afirmar que el número de artículos científicos demuestra que Medicina es una de las áreas de investigación más fuertes en Colombia. Ni mucho menos considerar que los artículos de un biólogo son de mayor calidad que los de un matemático porque aparecen en revistas mejor indexadas. Por supuesto hay decisiones que tomar. Cómo agrupamos las áreas del conocimiento en grupos significativos y manejables en donde el uso de autoría y citaciones sea uniforme para encontrar los indicadores, es una de las preguntas básicas por resolver. Afortunadamente en el mundo ya se está haciendo, así que es posible tomar un modelo y pensar si es adecuado o no para nuestro medio. De igual manera debemos obtener el mayor número de datos posibles para que los normalizadores se ajusten a la realidad mundial. Otro factor importante para normalizar por número de artículos por investigador por año es definir qué significa ser investigador. En este artículo utilicé los datos de la National Academy of Sciences donde normalizan por el número de profesores en cada programa de doctorado. Pero por eso mismo no pude incluir a medicina es esa tabla, porque en EEUU los investigadores en medicina generalmente no están asociados a un programa de doctorado. Pero todos estos son detalles que no son significativos y no van a cambiar demasiado los promedios. Lo más importante y urgente es proponer parámetros sensatos y uniformes. Los datos están y, con todas sus fallas, dan información. Pero hay que saberlos usar.

 

Área del conocimiento

Número de artículos Colombia 2009

Número de Artículos en el mundo, 2009

Artículo colombiano por 1000 mundiales

Biología

121,2

157.294

0,769

Medicina

105,8

179.021

0,592

Química

85,4

102.825

0,827

Agricultura

73,1

179.83

4,059

Ingeniería

69

79.994

0,863

Ciencias Sociales

26,4

31.224

0,833

Matemáticas

16,1

19.214

0,833

Datos tomados de la National Science Foundation, accesibles en http://nsf.gov/statistics/seind12

 

 

Área

Número de artículos por año

Promedio por programa de doctorado

Número de citas por año

Promedio por programa de doctorado

Número de profesores

Promedio por programa de doctorado

Artículos por profesor

Citas por artículo

Ingeniería

26787,27

33,56

46603,5

58,4

16334,83

20,47

1,64

2,85

Astrofísica y astronomía

2481,69

75,2

9869,11

299,06

602,43

18,26

4,12

16,38

Química

11155,27

61,97

28801,65

160

4257,55

23,65

2,62

6,76

Física

19807,7

122,27

53084,37

327,68

4784,82

29,54

4,14

11,09

Geociencias

3530,34

27,86

8511,3

59,94

2598,46

18,3

1,36

3,28

Matemáticas

3691,62

29,07

3631,84

28,6

3963,21

31,21

0,93

0,92

Ciencias de la computación

6380,12

49,84

ND

ND

3431

26,8

1,86

ND

Agricultura

8363,06

26,38

14741,16

46,5

6301,28

19,88

1,33

2,34

Ciencias bilógicas y de la salud

44352,32

37,71

179276,02

152,45

28208,59

23,99

1,57

6,36

Sicología

6120,22

25,82

16894,5

71,28

5679,29

23,96

1,08

2,97

Economía

1670,16

14,15

2727,56

23,11

2987,26

25,32

0,56

0,91

Ciencias Sociales y de conducta

11960,84

12,86

25128

27,02

21204,89

22,8

0,56

1,19

Datos tomados de “A data based assessment of research-doctoral programs”, National Academy Press, 2011.

 

[1] Para contar los artículos por países, la NSF divide por el número de autores para que la suma de todos los países dé el total de artículos. Por eso los decimales.

[2] La razón 1:1000 tiene sentido dado que es más o menos el orden de magnitud de la población mundial con respecto a la colombiana.

[3] Un colega me dijo que esta analogía apareció hace muchos años en una revista brasilera. No la pude encontrar para citarla, pero dejo la analogía.

[4] A pesar de que nada de lo que yo hago hubiera sido posible sin los trabajos de Robinson, Godel y Tarski a mediados de la década pasada, nunca he citado ninguno de sus trabajos en mis artículos; en matemáticas utilizamos las citas de manera distinta.

[5] Utilizo los datos de EEUU porque fueron los que pude encontrar fácilmente. Pero estos son datos que todas las academias de ciencias de los grandes países (o regiones en el caso de la UE) tienen, y seguro que Colciencias puede conseguirlos para normalizar los datos de Colombia con cualquier comunidad científica suficientemente grande.

Comentarios (12)

Jaime E. Forero-Romero

18 de Julio

0 Seguidores

Aun con más y nuevos parámetros, más homogéneos y sensatos, los datos no v...+ ver más

Aun con más y nuevos parámetros, más homogéneos y sensatos, los datos no van a ser útiles mientras no se entiendan los modelos y realidades detrás de los números. Tenemos pendiente un trabajo de socialización amplio y profundo de lo que hacemos los investigadores para que esa realidad sea entendida y asimilada.

DIDUNDI

18 de Julio

3 Seguidores

Buenas señores, leer este tipo de artículos de verdad para alguien que solo ...+ ver más

Buenas señores, leer este tipo de artículos de verdad para alguien que solo quiere informarse de que se trata, puede resultar muy dispendioso, no sólo por lo que dice el autor, sino también por les referencias que hace para sostener su exposición y q a su vez generalmente dirigen a otras, haciéndolo más eterno y difícil de digerir en tan poco tiempo, sobre todo si no es un especialista en la materia,… igual es un artículo muy interesante, en especial para los que están en la jugada del campo científico.
Discuten la forma de medición de las investigaciones , poniendo en duda que sea la medicina la que más aporte en ese campo a nivel de Colombia y básicamente que esto obedece a la forma de medición, comparándola con la norma internacional que relacionan( hasta ahí creo entenderles, sino,.. me excusan y me explican porfa, bueno que aclaren q no tiene nada que ver con la calidad de la investigación del área, porque si no parence duro). sigue.1

DIDUNDI

18 de Julio

3 Seguidores

viene 1-Muy de acuerdo sobre la inconformidad sobre como Colombia hace la medi...+ ver más

viene 1-Muy de acuerdo sobre la inconformidad sobre como Colombia hace la medición , y las comparaciones q hacen de JORDAN y PELE, resultan ser muy efectivas para los q no manejamos el tema . Más adelante hay una explicación muy clara y concreta sobre lo q debe y no debe ser tenido en cuenta para hacer una medición q no sea basado en comparación con áreas q nada tienen q ver; esta parte ,para mí, es cuestión de sentido común aplicar justicia al derecho de autor, pero para los científicos puede tener una connotación más haya si se tiene en cuenta que la medición comparativa del total de investigaciones sin importar áreas puede contribuir a resaltar más a unos q a otros que no participaron activamente en la misma ,pero q por pertenecer al grupo en general de colaboradores, los jalona para un mejor posicionamiento; además,No están de acuerdo con la ‘’política’’ colombiana en ese sentido ya q los colaboradores nuestros normalmente no aparecen mas haya de una mención.. sigue 2

DIDUNDI

18 de Julio

3 Seguidores

viene 2-mas haya de una mención de gratitud si no ha sido algo significativo(...+ ver más

viene 2-mas haya de una mención de gratitud si no ha sido algo significativo(aquí hay que entrar a ver lo q se considera ‘’significativo’’ en el campo investigativo,… sin saber del tema, de por sí creo debe ser ‘’más q importante’’.
En general ,no es justo aparecer como colaborador en un artículo de investigación q en la práctica es como un ‘’autor’’ mas , simplemente por pertenecer al grupo así no haya participado y a veces sin siquiera saber de q se trata, más aun cuando son artículos q ni siquiera son de competencia directa, terminando muchos de estos colaboradores como los ‘’mas’’ y a la par del ‘’líder por el hecho de esa política ‘’DEMOCRÁTICA’’ q maneja EL CERN en Suiza, pero al mismo tiempo para el caso colombiano, tampoco puede pedírsele a un ‘’líder’’ de la investigación q ponga como coautores a quienes no participaron en la misma, peor aún, si tiene un apellido empezado por la ‘’Z’’ ,…pailas. .sigue .3

DIDUNDI

18 de Julio

3 Seguidores

viene 3-El tema no es fácil, teniendo en cuenta los intereses personales de l...+ ver más

viene 3-El tema no es fácil, teniendo en cuenta los intereses personales de los científicos por proteger su autoría y con toda la razón ,y al mismo tiempo los colaboradores que esperan sean nombrados más haya de unos agradecimientos posiblemente por derecho propio, pero quedando sujeto a si el ‘’líder’’ perteneció a un grupo ‘’Democrático ‘como EL CERN, o en una investigación particular donde uno o varios tuvo la ‘’VOCERÍA’’. Igualmente los grandes laboratorios como EL CERN que coloca los miles de Colaboradores que sean necesarios, será que reparte las ganancias por igual?.
PD: espero haber estado cerca de interpretar SU texto, Muy agradecido,. Muy agradecido..
Otro PD: algo me dice que Uds pertenecen mas al grupo de las ciencias exactas.

AlfO

20 de Julio

0 Seguidores

Muchas gracias por leer el artículo. Para mí es complicado cuestionar cierta...+ ver más

Muchas gracias por leer el artículo. Para mí es complicado cuestionar ciertas prácticas sin sustentarlas, lo que pudo haber hecho que el artículo se volviera bastante técnico. Igual usted entendió muy bien la idea y le agradezco su lectura y comentarios.

Salvatore Giuliano

19 de Julio

0 Seguidores

Me parece que el artículo está muy bien, pero creo que parte de una premisa ...+ ver más

Me parece que el artículo está muy bien, pero creo que parte de una premisa equivocada sobre la calidad de los investigadores. No existe una cualidad intrínseca de la investigación ni de los investigadores que pueda servir como criterio de calidad. La investigación es un proceso colectivo en el que se distribuyen recursos de acuerdo con una agenda y una organización planteadas, que son el producto de negociaciones entre diferentes actores, y en donde los financiadores tienen una posición privilegiada en el establecimiento de la pertinencia y calidad de los proyectos. No creo que la pregunta sea qué es bueno o qué no lo es sino, mejor, ¿a quiénes le importan esos resultados y cómo se nutre ese interés con lo alcanzado? Hay que definir primero qué se quiere alcanzar para saber si se avanza o no. Creo que se ha instrumentalizado demasiado el tema de los indicadores como si fuesen capaces de encapsular toda la información de la complejidad de la investigación.

AlfO

20 de Julio

0 Seguidores

Siciliano, gracias por su comentario. Sin embargo, no es la premisa del artíc...+ ver más

Siciliano, gracias por su comentario. Sin embargo, no es la premisa del artículo pensar que indicadores basados en números de artículos y citas sean los ideales. Personalmente, creo que las mejores evaluaciones de investigadores y proyectos de investigación actualmente se basan en las opiniones de los diferentes actores que son parte de o afectados por la investigación.
Desafortunadamente, siento que estamos lejos de que en Colombia podamos hacer una medición del nivel general de la investigación basados en estos criterios, y el hecho es que hoy en día se juzga y se decide sobre el financiamiento de la investigación basados en estas cifras. Todo lo que sugiero en el artículo es que, mientras que podemos hacer algo mejor, por lo menos miremos los datos de manera inteligente.

Salvatore Giuliano

22 de Julio

0 Seguidores

Vale la aclaración. Sin embargo, sigo pensando en que se ha eludido el proble...+ ver más

Vale la aclaración. Sin embargo, sigo pensando en que se ha eludido el problema de la utilidad de la ciencia por la facilidad de construir escalas para la "comparación". Su artículo plantea un problema de conmensurabilidad de las dinámicas de investigación palpable en las áreas mismas; no es lo mismo investigar en lógica que en matemática aplicada. Me parece inútil diseñar escalas cuando no se comprenden el contexto ni los usuarios interesados. Creo que estos esquemas sólo ayudan a profundizar el abismo entre nuestra sociedad y la investigación, pues no atienden a la conformación de comunidades para resolver problemas y favorecen el desarrollo de investigaciones descontextualizadas, sin usuarios. Llevamos más de 20 años de SNCTI y aún no sabemos para qué nos sirve la ciencia, sólo tenemos la promesa de su potencial transformador y un volumen creciente de publicaciones (y de puntos salariales gracias a esas escalas). Las cifras importan si hablan sobre la ejecución de planes.

Yolima Vargas Garzón

19 de Agosto

0 Seguidores

Comparto tu opinión y voy más lejos. Evaluarse con los lineamientos que impo...+ ver más

Comparto tu opinión y voy más lejos. Evaluarse con los lineamientos que imponen las políticas de otros países como USA o la EU a lo mejor no nos es de tanto provecho, después de todo nuestras necesidades y realidades son muy distintas. Desde mi punto de vista en este país veríamos que la ciencia va por buen camino si sus productos fueran de utilidad para el país, para la industria, para mejorar nuestra calidad de vida, ahí sí: para desarrollarnos. Y yo no creo que eso pueda ser medido con el "número de artículos publicados". Saludos.

Yolima Vargas Garzón

19 de Agosto

0 Seguidores

A mi me parece que este análisis pierde toda su objetividad al estar embebido...+ ver más

A mi me parece que este análisis pierde toda su objetividad al estar embebido en un dogma. ¿Medir la producción científica por número de artículos publicados? Publicados en revistas específicas que son las "buenas", con un comité editorial que decide qué si y qué no debe ser publicado. No estoy segura. Si vamos a evaluar nuestra producción científica por el número de artículos que se producen estamos jodidos. Dirá el autor que es que así es en el resto del mundo. Pues el mundo está jodido, eso no es ciencia. Algunos visionarios hoy se revelan a ese odioso método de las publicaciones: autoritario, clasista y excluyente. ¿Para qué revistas si tenemos Internet que es más accesible para el mundo que por ejemplo una suscripción en revistas como Nature?
Con esto no pretendo irme en lastre contra el autor, que no tiene la culpa de la política de evaluación y medición que usa Colciencias. Queda claro entonces mi crítica hacia quiénes va.

Fernando Meza Ayala

24 de Septiembre

0 Seguidores

Me parece que más allá del número de publicaciones en revistas indexadas de...+ ver más

Me parece que más allá del número de publicaciones en revistas indexadas deberían cualificarse cualitativa y cuantitativamente su impacto por el descubrimiento de nuevos problemas,nuevos descubrimientos e inventos, sobretodo aplicaciones en la solución de las necesidades económicas, sociales,educativas, industriales o agro-industriales,ambientales y culturales más prioritarias de unas comunidades, poblaciones o del mismo país , para medir equitativamente sus calidades,pertinencias,alcances y coberturas reales y efectivas como impactos sectoriales,intersectoriales y territoriales en beneficio de un desarrollo endógeno y sostenible.Aquí las publicaciones,descubrimientos, innovaciones e inventos se calificarían--prevalecerían-- según el grado de incidencia o impacto positivo en la solución de problemas de interés --por naturaleza y grado más o menos-- común y general.

Las historias más vistas en La Silla Vacia