¿Cuál es la mejor forma para medir el desarrollo científico en el país?

 

 

Frente a los argumentos manifestados por un grupo de colegas reunidos bajo los auspicios de la Academia de Ciencias Exactas Físicas y Naturales en carta abierta a la dirección de Colciencias, los abajo firmantes queremos manifestar nuestro profundo desacuerdo con los puntos de vista expresados en su carta abierta a las Directivas de Colciencias y publicada por el Espectador.

 

Se excusan los Académicos de exponer argumentos para no ser reiterativos, pero la comunidad desconoce cuáles son esos argumentos, dónde han sido publicados y por qué no se someten a la consideración crítica de todas las partes interesadas. Apelan pues a un subtexto que solo ellos conocen.

 

Los colegas no argumentan por qué el modelo basado en una medida del consumo de las publicaciones como lo es la del Índice Hirsh es débil y poco homologable. Consideramos por el contrario que su fortaleza reside en que las fuentes de datos para generar la medida Hirsh (Google Scholar) son muchísimo más representativas que las usadas para generar la medida de Factor de Impacto (FI) en las bases internacionales. Nos parece además que esta medida por ser más global y representativa es más homologable. Hay que aceptar que Google es más global que ISI o Scopus.

  

Por otra parte, la propuesta inédita de los Académicos de distinguir el fomento y la valoración para un organismo de política pública resulta cuestionable pues estas dos cosas son constitutivas de la organización. Cuando en un proceso acentuado en la última década las comunidades científicas nacionales decidieron delegar paulatinamente su autonomía académica en un organismo de política como lo es Colciencias, la única evaluación posible y legítima para un organismo de esas características es la del éxito o fracaso de sus políticas, exclusivamente, no la evaluación sobre la calidad y pertinencia de los resultados de la investigación.

 

Contrario a lo que consideran los Académicos, la agenda de fomento y promoción de la publicación científica nacional ha sido exitosa en la consecución de sus objetivos explícitos de aumentar la publicación nacional, e implícitos de promover una cultura de la publicación que hasta hace muy poco las comunidades nacionales no tenían. Esto lo ha logrado Publindex, así que la evaluación de la política no puede ser más positiva. Si se quieren nuevas metas, estas deben ser cuidadosamente fijadas y planeadas, sobre todo siendo muy cautos en materia de periodos de transición y no como proponen los Académicos con su política de tierra arrasada. El sistema no puede dar palos de ciego y echar por la borda lo que ha sido el logro de la política de los últimos 20 años que ‘TODOS’ nos hemos esforzado en construir.

 

Los Académicos tampoco argumentan por qué, si se trata ya no de una evaluación de política sino de una evaluación científica, el JCR y el SJR son herramientas idóneas. Nos parece que en esta aceptación acrítica hay mucha ingenuidad o bien un interés no explicitado por establecer una estratificación salarial, social y cognitiva inaceptable. El mismo Eugene Garfield, creador del SCI y el SSCI siempre advirtió que el FI no era una medida de la calidad científica de un trabajo individual sino de la posición relativa de una revista en el mercado editorial. La propuesta ‘proxi’ que pretende extrapolar una medida de mercado para revistas como una medida de la calidad de una contribución individual, no ha sido substanciado por los Académicos ni de aquí, ni de allá. De manera corolaria su propuesta de una evaluación basada en cuartiles es el resultado de un ‘quid pro quo’ inaceptable.

 

Contrario a la ingenua creencia de los Académicos, las herramientas de Thompson y Elsevier, no son transparentes. Mucha literatura, nacional e internacional, ha señalado los sesgos conocidos de idioma, tipo de ciencia, proveniencia geográfica, patrón de consumo y capacidad de pago a la hora de incluir revistas en estos servicios comerciales. Cosa que los editores de algunas importantes revistas nacionales y regionales confirman cuando comentan la forma arbitraria y autoritaria como responden dichos servicios ante solicitudes que habiendo cumplido con todos los requisitos explícitos son sin embargo rechazadas sin ninguna explicación o justificación, en una actitud poco académica, la verdad.

 

El argumento de una ciencia universal esgrimido por los Académicos no solo desconoce toda la discusión contemporánea sobre la inter y la transdisciplinariedad descansando sobre ideas de ciencia de comienzos del siglo pasado sino que además resulta en extremo ingenua frente a, o ideológicamente cómplice de, una economía política del conocimiento en el que nuestros Académicos nos proponen aceptar el lugar subalterno que nos correspondería ‘naturalmente’ en la producción global del conocimiento, mientras eso les garantice mantener su posición como élite local.

 

Lejos de ser simple, la propuesta de los Académicos no resuelve ni explica los límites y términos en los que se basa su extrapolación no fundamentada para imputar como medida de calidad lo que no es más que una medida de diferenciales de mercado. El índice H mide con relativa justicia y ecuanimidad lo que pretende medir: el impacto, en términos de citaciones, del agregado de las contribuciones individuales de un científico. El factor de impacto no hace ni puede hacer eso.

 

La propuesta de los Académicos es reproducible a condición de que se acepten las condiciones leoninas que imponen los carteles editoriales y que se les transfieran multimillonarias cantidades de dinero que solo fortalece su poder y capacidad de control del mercado. Google Scholar, que es la fuente de la nueva propuesta de medición de Publindex es gratuito, al menos por ahora. En su carta los Académicos ni siquiera mencionan los avances en métricas alternativas y otros horizontes de difusión y apropiación del conocimiento científico; no está claro por qué no consideran índices regionales o, a lo menos, de acceso abierto, si el argumento fuera el de la internacionalización. Y si la preocupación fuese genuinamente por la visibilidad y apertura de diálogo científico, en ese caso es más expedito el camino del acceso abierto que, como ha sido probado, provee mayor visibilidad a la ciencia de los países no centrales.

 

Las herramientas de Thompson y Elsevier, además de costosas, requieren de un mínimo de capacitación para su adecuado manejo en el cual se suelen cometer errores de concepto e interpretación. Las de Google Scholar requieren mucho menos capacitación, son más directas, intuitivas y son gratis, por lo mismo pueden ser utilizadas por cualquier institución que quiera saber con seriedad qué publican sus asociados, dónde lo hacen, cuánto los leen y dónde los leen a escala global, y gratis.

 

En consecuencia, la plataforma que hay que modificar es Scienti, para que la evaluación de grupos y los registros de CvLac permitan manejar la nueva métrica basada en índice H.

 

Los abajo firmantes somos conscientes de que no hay modelos ideales, pero también de que hay unos modelos peores que otros. Saludamos como avance hacia el restablecimiento y armonización de las relaciones entre Colciencias con su constituyente primario el anuncio del nuevo modelo Publindex, frente al cual hemos expresado mejoras que lo harían un mecanismo de evaluación aún más ecuánime (ver mesas técnicas Foro Semana Mayo 2016). Señalamos también que cuanto antes se deben tomar acciones para intervenir el modelo de grupos de manera que sea consistente y consecuente con el nuevo Publindex. Y seguimos haciendo un llamado vehemente a cada uno de los miembros de las comunidades científicas nacionales, a los editores, a los vicerrectores de investigación y por supuesto, a la Academia para que abandonen las tácticas rentistas que solo ven la publicación como mecanismo para capturar o competir por bolsas de financiación y asenso en escalafones; eso solo nos conduce a un simulacro de ciencia que no construye comunidad ni tradición. Los abajo firmantes estaremos dispuestos a apoyar procesos de cambio incluyentes y que procuren el bienestar y beneficio de la mayoría, como corresponde a una institución de carácter nacional que tiene bajo su cargo la formulación de la política pública de ciencia y tecnología.

 

* Yuri Jack Gómez-Morales, PhD.
Profesor Asociado
Departamento de Sociología
Universidad Nacional de Colombia

 

 

 

Frente a los argumentos manifestados por un grupo de colegas reunidos bajo los auspicios de la Academia de Ciencias Exactas Físicas y Naturales en carta abierta a la dirección de Colciencias, los abajo firmantes queremos manifestar nuestro profundo desacuerdo con los puntos de vista expresados en su carta abierta a las Directivas de Colciencias y publicada por el Espectador.

 

Se excusan los Académicos de exponer argumentos para no ser reiterativos, pero la comunidad desconoce cuáles son esos argumentos, dónde han sido publicados y por qué no se someten a la consideración crítica de todas las partes interesadas. Apelan pues a un subtexto que solo ellos conocen.

 

Los colegas no argumentan por qué el modelo basado en una medida del consumo de las publicaciones como lo es la del Índice Hirsh es débil y poco homologable. Consideramos por el contrario que su fortaleza reside en que las fuentes de datos para generar la medida Hirsh (Google Scholar) son muchísimo más representativas que las usadas para generar la medida de Factor de Impacto (FI) en las bases internacionales. Nos parece además que esta medida por ser más global y representativa es más homologable. Hay que aceptar que Google es más global que ISI o Scopus.

  

Por otra parte, la propuesta inédita de los Académicos de distinguir el fomento y la valoración para un organismo de política pública resulta cuestionable pues estas dos cosas son constitutivas de la organización. Cuando en un proceso acentuado en la última década las comunidades científicas nacionales decidieron delegar paulatinamente su autonomía académica en un organismo de política como lo es Colciencias, la única evaluación posible y legítima para un organismo de esas características es la del éxito o fracaso de sus políticas, exclusivamente, no la evaluación sobre la calidad y pertinencia de los resultados de la investigación.

 

Contrario a lo que consideran los Académicos, la agenda de fomento y promoción de la publicación científica nacional ha sido exitosa en la consecución de sus objetivos explícitos de aumentar la publicación nacional, e implícitos de promover una cultura de la publicación que hasta hace muy poco las comunidades nacionales no tenían. Esto lo ha logrado Publindex, así que la evaluación de la política no puede ser más positiva. Si se quieren nuevas metas, estas deben ser cuidadosamente fijadas y planeadas, sobre todo siendo muy cautos en materia de periodos de transición y no como proponen los Académicos con su política de tierra arrasada. El sistema no puede dar palos de ciego y echar por la borda lo que ha sido el logro de la política de los últimos 20 años que ‘TODOS’ nos hemos esforzado en construir.

 

Los Académicos tampoco argumentan por qué, si se trata ya no de una evaluación de política sino de una evaluación científica, el JCR y el SJR son herramientas idóneas. Nos parece que en esta aceptación acrítica hay mucha ingenuidad o bien un interés no explicitado por establecer una estratificación salarial, social y cognitiva inaceptable. El mismo Eugene Garfield, creador del SCI y el SSCI siempre advirtió que el FI no era una medida de la calidad científica de un trabajo individual sino de la posición relativa de una revista en el mercado editorial. La propuesta ‘proxi’ que pretende extrapolar una medida de mercado para revistas como una medida de la calidad de una contribución individual, no ha sido substanciado por los Académicos ni de aquí, ni de allá. De manera corolaria su propuesta de una evaluación basada en cuartiles es el resultado de un ‘quid pro quo’ inaceptable.

 

Contrario a la ingenua creencia de los Académicos, las herramientas de Thompson y Elsevier, no son transparentes. Mucha literatura, nacional e internacional, ha señalado los sesgos conocidos de idioma, tipo de ciencia, proveniencia geográfica, patrón de consumo y capacidad de pago a la hora de incluir revistas en estos servicios comerciales. Cosa que los editores de algunas importantes revistas nacionales y regionales confirman cuando comentan la forma arbitraria y autoritaria como responden dichos servicios ante solicitudes que habiendo cumplido con todos los requisitos explícitos son sin embargo rechazadas sin ninguna explicación o justificación, en una actitud poco académica, la verdad.

 

El argumento de una ciencia universal esgrimido por los Académicos no solo desconoce toda la discusión contemporánea sobre la inter y la transdisciplinariedad descansando sobre ideas de ciencia de comienzos del siglo pasado sino que además resulta en extremo ingenua frente a, o ideológicamente cómplice de, una economía política del conocimiento en el que nuestros Académicos nos proponen aceptar el lugar subalterno que nos correspondería ‘naturalmente’ en la producción global del conocimiento, mientras eso les garantice mantener su posición como élite local.

 

Lejos de ser simple, la propuesta de los Académicos no resuelve ni explica los límites y términos en los que se basa su extrapolación no fundamentada para imputar como medida de calidad lo que no es más que una medida de diferenciales de mercado. El índice H mide con relativa justicia y ecuanimidad lo que pretende medir: el impacto, en términos de citaciones, del agregado de las contribuciones individuales de un científico. El factor de impacto no hace ni puede hacer eso.

 

La propuesta de los Académicos es reproducible a condición de que se acepten las condiciones leoninas que imponen los carteles editoriales y que se les transfieran multimillonarias cantidades de dinero que solo fortalece su poder y capacidad de control del mercado. Google Scholar, que es la fuente de la nueva propuesta de medición de Publindex es gratuito, al menos por ahora. En su carta los Académicos ni siquiera mencionan los avances en métricas alternativas y otros horizontes de difusión y apropiación del conocimiento científico; no está claro por qué no consideran índices regionales o, a lo menos, de acceso abierto, si el argumento fuera el de la internacionalización. Y si la preocupación fuese genuinamente por la visibilidad y apertura de diálogo científico, en ese caso es más expedito el camino del acceso abierto que, como ha sido probado, provee mayor visibilidad a la ciencia de los países no centrales.

 

Las herramientas de Thompson y Elsevier, además de costosas, requieren de un mínimo de capacitación para su adecuado manejo en el cual se suelen cometer errores de concepto e interpretación. Las de Google Scholar requieren mucho menos capacitación, son más directas, intuitivas y son gratis, por lo mismo pueden ser utilizadas por cualquier institución que quiera saber con seriedad qué publican sus asociados, dónde lo hacen, cuánto los leen y dónde los leen a escala global, y gratis.

 

En consecuencia, la plataforma que hay que modificar es Scienti, para que la evaluación de grupos y los registros de CvLac permitan manejar la nueva métrica basada en índice H.

 

Los abajo firmantes somos conscientes de que no hay modelos ideales, pero también de que hay unos modelos peores que otros. Saludamos como avance hacia el restablecimiento y armonización de las relaciones entre Colciencias con su constituyente primario el anuncio del nuevo modelo Publindex, frente al cual hemos expresado mejoras que lo harían un mecanismo de evaluación aún más ecuánime (ver mesas técnicas Foro Semana Mayo 2016). Señalamos también que cuanto antes se deben tomar acciones para intervenir el modelo de grupos de manera que sea consistente y consecuente con el nuevo Publindex. Y seguimos haciendo un llamado vehemente a cada uno de los miembros de las comunidades científicas nacionales, a los editores, a los vicerrectores de investigación y por supuesto, a la Academia para que abandonen las tácticas rentistas que solo ven la publicación como mecanismo para capturar o competir por bolsas de financiación y asenso en escalafones; eso solo nos conduce a un simulacro de ciencia que no construye comunidad ni tradición. Los abajo firmantes estaremos dispuestos a apoyar procesos de cambio incluyentes y que procuren el bienestar y beneficio de la mayoría, como corresponde a una institución de carácter nacional que tiene bajo su cargo la formulación de la política pública de ciencia y tecnología.

 

* Yuri Jack Gómez-Morales, PhD.
Profesor Asociado
Departamento de Sociología
Universidad Nacional de Colombia