La política de aceptación que se aplica usualmente a los artículos enviados a CISCI y otras conferencias y simposios organizados por el International Institute of Informatics and Systemics (IIIS) está soportada en:

• La aplicación de la regla de la mayoría, cuando no hay acuerdo entre los revisores para aceptar o no un artículo.

• La no aceptación de un artículo cuando los revisores así lo acuerden.

• La aceptación de un artículo bajo duda (por ejemplo: cuando existe empate entre las opiniones encontradas de los revisores).

La razón, bien documentada, por la que apoyamos esta política de aceptación se basa en los siguientes hechos:

• Usualmente existe un bajo nivel de acuerdo entre los revisores

• Hay una significativa probabilidad de rechazar artículos de alta calidad cuando la política de aceptación está orientada de tal modo que sólo sean aceptados artículos en los que no existe desacuerdo para su respectiva aceptación.

• Es posible el plagio (por parte de algún revisor sin ética) del contenido de artículos no aceptados.

Permítanos discutir el asunto y proporcionarle información de algunas fuentes que han reportado estos hechos y algunos otros muy relacionados:

Algunas debilidades de la revisión por pares:

Bajo nivel de acuerdo entre revisores.

En 1982, David Lazarus, como editor en jefe en la American Physical Society, que publica el Physical Review, el Physical Review Letters y el Review of Modern Physics, señaló que “sólo en un 10-15% de los casos, dos evaluadores acuerdan la aceptación o el rechazo en la primera vuelta”. En el caso especial de la organización de una conferencia y sus respectivas memorias usualmente no hay tiempo para una segunda revisión que incluya en el artículo los comentarios de la primera revisión, así que podríamos inferir con un grado significativo de certeza que, en las revisiones para conferencias, sólo habrá alrededor de un 10-15% de acuerdo entre los revisores de los artículos incluidos.

Lindsay (1988) llegó a una conclusión similar, señalando que “después de revisar la literatura sobre la confiabilidad en el proceso de revisión de los manuscritos….concluye que los investigadores están de acuerdo que dicha confiabilidad es bastante baja” (citado en Speck, 1993, p.113).

Michael Mahoney, quien condujo muchos estudios de los procesos de revisión por pares, "critica el sistema utilizado en la publicación de revistas científicas porque es poco fiable y perjudicial” (citado en Speck, 1993, p. 127). Por ejemplo, él dijo que los comentarios de los revisores “son tan divergentes, que de hecho uno se pregunta si leyeron realmente el mismo manuscrito” (Mahoney, 1977; p.90). “Para reformar el sistema de publicación en revistas, Mahoney (1990) recomienda eliminar los revisores o utilizar estudiantes graduados como revisores” (Speck, 1993).

Ernst y sus colegas enviaron el mismo manuscrito a cuarenta y cinco (45) expertos para su revisión. Cada uno de ellos tuvo los lineamientos editoriales utilizados en revistas científicas de áreas similares a la del artículo del manuscrito. El veinte por ciento de ellos (20%) calificó al artículo de excelente y recomendaron su aceptación para su publicación. El doce por ciento de los expertos (12%) encontró las estadísticas del manuscrito inaceptables, el diez por ciento (10%) recomendó su rechazo y el resto de los expertos lo calificó de bueno o aceptable (Ernst, et. al. 1993). Adicionalmente, le pidieron a los expertos evaluar el artículo con respecto a ocho (8) indicadores de calidad. Ernst y sus colegas observaron que casi todos los indicadores de calidad obtuvieron la mejor y la peor calificación, y concluyeron que “la ausencia de confiabilidad….parece inaceptable para cualquiera que aspire a publicar en una revista con revisión por pares”.

Si el proceso de revisión por pares es tan poco confiable y “tan filosóficamente fallido desde su concepción”, como Horrobin afirmó en 1982, para las revistas y organizaciones dedicadas a la investigación, lo será mucho menos para la organización de conferencias. En nuestra opinión, esto explica porque cada vez más conferencias realizan el proceso de revisión sobre resúmenes o resúmenes extendidos y no sobre artículos completos. Algunas conferencias han llegado al extremo de no considerar un artículo que exceda el límite de palabras establecido.

Weller (2002) contabilizó cuarenta (40) estudios hechos a la confiabilidad del proceso de revisión de treinta y dos (32) revistas científicas y concluyó, que conforme a esos estudios, “un 44,9% de los revisores está de acuerdo cuando recomiendan el rechazo de un artículo, mientras un 22% está de acuerdo para hacerle una aceptación” (p. 193). Esto significa que “los revisores que están de acuerdo en recomendar el rechazo representan el doble de los que estarían de acuerdo en recomendar una aceptación”. Este hecho sustenta fuertemente nuestra política de aceptación basada en el acuerdo entre revisores de no aceptar un artículo, más que en aceptarlo.

Otros autores obtuvieron conclusiones similares. Franz Ingelfinger (1974) ex-editor del New England Journal of Medicine afirmó que “artículos que destacan por lo malo….son reconocidos con consistencia razonable”. Este hecho también ofrece un gran soporte a nuestra política de aceptación.

Weller (2002) encontró que los editores de revistas científicas buscan realizar muchas más revisiones cuando existe un mayor desacuerdo entre los revisores. Ella afirma que “entre un treinta (30) y un cuarenta (40) por ciento de los editores de revistas médicas optan por realizar más revisiones mientras los revisores muestren desacuerdo; el resto resuelven sus desacuerdos entre ellos mismos, buscan asesoría de un editor asociado o discuten el siguiente paso en una reunión adicional” (p.196). Wilkes y Kravitz (1995) obtuvieron resultados similares después de examinar las políticas de edición de doscientos veintiún (221) revistas médicas. Ellos encontraron que “cuarenta y tres por ciento (43%) de los editores envían recomendaciones opuestas a las de sus revisores, para hacer mas revisiones” (citado en Weller, 2002; p.196).

Mas aun, enviar el manuscrito para más revisiones no resuelve necesariamente el problema de desacuerdo enfrentado por los editores de una revista. El nivel de desacuerdo que Ernst y sus colegas encontraron se basó en un estudio en el que un manuscrito fue enviado a cuarenta y cinco (45) expertos diferentes (Ernst, et. al. 1993; p. 296). Adicionalmente, en el proceso de revisión para conferencias, las restricciones inherentes de tiempo hacen no viable enviar a más revisores el manuscrito cuando sus revisores están en desacuerdo. Consecuentemente, cuando los revisores de un artículo están en desacuerdo (y esto sucede la mayoría de las veces), la decisión debe ser tomada por el Comité de Selección. Si esta decisión es no aceptar el artículo, muchos artículos de calidad podrían quedar fuera, como explicaremos a continuación, y algunos revisores con poco nivel de ética podrían plagiar algunas ideas de los artículos no aceptados. A continuación les daremos algunos detalles sobre este asunto.

Si llevamos los hechos comentados al presente, en suma, tendríamos dos políticas de aceptación de artículos como alternativa para las conferencias:

• Aceptar sólo aquellos artículos en los que los revisores hayan acordado su aceptación

• Rechazar, o no aceptar, aquellos artículos en los que sus revisores hayan acordado dicho rechazo o no aceptación.

En el primer caso la conferencia tendría un nivel de aceptación muy bajo, y existiría la posibilidad de no aceptar artículos muy buenos. En este caso no habría garantía de mejorar el nivel de calidad de los artículos aceptados para su presentación. Permítanos explicar este punto detalladamente.

Probabilidad de rechazar artículos de alta calidad y como disminuirla

Campanario (1995) afirma que ocho autores ganaron el premio Nobel después que sus ideas fueran inicialmente rechazadas por varios revisores y editores. Él encontró además el hecho que cerca del 11% de los artículos más citados fue inicialmente rechazado, y que los tres artículos más citados, de un total de 205, fueron inicialmente rechazados y aceptados por otra publicación (Campanario, 1996, p. 302). El rechazo de ideas innovadoras es una de las debilidades de la revisión por pares que ha sido reportada frecuentemente. Un creciente número de autores perciben este tipo de revisión como parcializada.

En una encuesta hecha por el National Cancer Institute, en la que “activos y generalmente exitosos investigadores” fueron entrevistados, sólo 17,7 por ciento estuvo en desacuerdo con el señalamiento de que “los revisores están poco dispuestos a apoyar investigaciones no ortodoxas o de alto riesgo”, 60,8 por ciento estuvieron de acuerdo, y 24,1 por ciento fueron neutros. Agencias federales intentaron contrabalancear la predisposición de los revisores al significado de proveer garantías sin apoyo de revisión. Chubin y Hackett (1990) afirman que un ejemplo de este tipo de estrategia es “la decisión reciente (1990) tomada por NSF [National Science Foundation] la cual permite que a lo sumo un 5 por ciento del presupuesto, se le pueda hacer una única reposición de no más de $50.000, sin auditoria externa, en apoyo a las propuestas arriesgadas e innovadoras” (p. 201). Ésta es una de las razones del por qué, en otras Conferencias organizadas por IIIS, aceptamos en el pasado, artículos no revisados bajo el intrínseco riesgo de este tipo de aceptación. La decepción era un riesgo que no percibimos al momento de examinar este tipo de política de aceptación.

Así, es evidente que las políticas de aceptación basadas en el acuerdo positivo de los revisores aumenta la posibilidad de rechazar buenos artículos. Mientras más grande sea el nivel de acuerdo entre los revisores para aceptar un artículo, más alta será la posibilidad de rechazar uno muy bueno, aunque también es cierto que mientras más alto sea el nivel de acuerdo entre ellos más baja será la posibilidad de aceptar un artículo de poca calidad. Consecuentemente, es un asunto de intercambio: aumentar la certeza de rechazar un artículo pésimo tiene como costo el aumento de la certeza en rechazar uno excelente. Este intercambio depende de los objetivos de calidad de la publicación o de la conferencia: mientras tiendan a rechazar artículos de baja calidad bajo el costo de correr el riesgo de rechazar uno de alta calidad o el de aumentar la probabilidad de obtener un cierto nivel de calidad. En el primer caso, el criterio de selección podría estar orientado hacia el acuerdo de aceptación entre los revisores, mientras que en el segundo estaría más relacionado al acuerdo existente entre los revisores de no aceptar un artículo. Las Conferencias de CISCI (así como otras conferencias organizadas por IIIS) se han basado, en su mayoría, en acuerdos entre sus revisores para rechazo, o no aceptación. Los artículos con desacuerdo entre sus revisores han sido en su mayoría aceptados bajo la regla de mayoría de acuerdo. Esta política podría mejorarse bajo los dos nuevos tipos de revisiones aplicados para las Conferencias del 2014, en las que la revisión cerrada será complementada con una abierta.

Además, no existe estudio que pueda relacionar las bajas tasas de aceptación, o las altas, con mayor calidad. Moravcsik (1982) asegura que “la tasa de rechazo en las mejores publicaciones de física es más de un 20-30 por ciento que un 80 por ciento” (p. 228). Weller (2002) examinó alrededor de 65 estudios relacionados con el nivel de rechazo y concluye que “la relación entre el nivel de rechazo y la importancia de las publicaciones no ha sido establecida. Lo que si está bien establecido es que mientras más alto sea el criterio de selección de un estudio para una revista, mayor será el nivel de rechazo en dicha revista. Casi cada estudio discutido en este capítulo-enfatiza Weller- desemboca en falta de disciplinas. Cada disciplina tiene altos y bajos niveles de rechazo; el cómo son trasladadas en revistas de calidad necesita ser investigado a fondo” (p. 71).

En consecuencia, seleccionar la primera opción como política de aceptación en la organización de una conferencia no ha probado beneficios de calidad (relacionado con su respectivo alto nivel de rechazo) pero ha comprobado un riesgo de calidad a rechazar buenos artículos debido a la predisposición de los revisores de rechazar nuevas ideas o paradigmas. Aún así, parece que la segunda de las dos opciones que mencionamos anteriormente tendrá, en la organización de las conferencias, probablemente un mejor radio costo/beneficio en cuanto al nivel de calidad, que la primera opción. Esto es especialmente cierto si tomamos en cuenta que “los revisores que acuerdan el rechazo son el doble de los que acuerdan la aceptación”, así como el tiempo y otras restricciones inherentes en los procesos de revisión de las conferencias.

La baja confiabilidad de las revisiones, así como el bajo nivel de acuerdo entre los revisores de un mismo manuscrito son algunas de las debilidades del sistema de revisión que contribuyen al escepticismo, concerniente a su valor real, efectividad y utilidad. Algunos autores han ido tan lejos como para pensar que este tipo de revisión debería acabar. Mostremos algunos señalamientos de este tipo. Lindsay (1979, citado en Speck, R. L., 1993, p. 115), por ejemplo, dijo que “el acuerdo intermedio sería solo un poco mejor de lo que cabría esperarse si los artículos fueran seleccionados por oportunidad”.

Nueve años después, Lindsay enfatizó aún más, titulando su artículo “precisión de acceso en el proceso de revisión del Manuscrito: un poco mejor que el lanzamiento de dados” (Lindsay, 1988. Citado en Speck, R. L., 1993, p. 113).

Posibilidades de plagio y fraude generados por el proceso de revisión, y como disminuirlo.

Una de las funciones explícitamente señaladas de una conferencia y sus memorias es “preservar el derecho de los autores” (Walker y Hurt, 1990; p.79). Esto podría contrabalancear el plagio reportado en el proceso de revisión para publicaciones, especialmente si tomamos en cuenta que otra de las funciones de las conferencias y sus memorias es la publicación informal que podría preceder a la publicación formal de un estudio en su respectiva revista. Estas dos funciones complementarias son, y seguirán siendo, tomadas muy seriamente en la organización de las Conferencias CISCI.

Además de las conclusiones a las que Weller (2002) llegó en su libro, ella afirma, tras examinar más de 200 estudios de revisiones para 300 publicaciones distintas, que “pedirle a alguien que evalúe el trabajo de otro voluntariamente, pudiendo éste ser un competidor, por su propia naturaleza, acarrea problemas, ya sea desde conservar un manuscrito y no revisarlo, hasta realizar una evaluación pobre bajo una conducta fraudulenta” (p. 306).

Chubin y Hackett (1990) indican además el mismo tipo de situaciones posibles cuando el manuscrito de un competidor es bloqueado o retrasado, o cuando sus argumentos han sido robados.

En el primer caso la conferencia tendría un nivel de aceptación muy bajo, y existiría la posibilidad de no aceptar artículos muy buenos. En este caso no habría garantía de mejorar el nivel de calidad de los artículos aceptados para su presentación. Permítanos explicar este punto detalladamente.

Un claro ejemplo de cuando una revisión se transforma en plagio, donde los argumentos o resultados fueron robados, es aquel conocido como el Escándalo de Yale. En un artículo científico de dos partes llamado “Engaño en Yale: El emerger de un fraude”, William J. Broad (1980) describió este tipo de fraude o plagio. Moran (1998) complementó en los términos siguientes: “un investigador junior de NIH [National Institute of Health], Helena Wachslicht-Roadbard, incluyó un artículo en el New England Journal of Medicine (NEJOM). Su supervisor, Jesse Roth, era un co-autor. Un revisor anónimo para NEJOM, el Profesor Philip Felig de Yale [un distinguido investigador con más de 200 publicaciones que poseía un puesto en Yale y era vice-presidente del Departamento de Medicina (Broad (1980, p.38)] recomendó su rechazo. Antes de enviar su recomendación negativa a NEJOM, Felig y su socio, Vijay Soman, lo leyeron y comentaron. Soman hizo una fotocopia, que luego utilizó para un artículo propio en la misma área de investigación. Soman envió su manuscrito al American Journal of Medicine, en el que su jefe, Philip Felig, era editor asociado. Felig fue además co-autor del artículo. El manuscrito fue enviado a Roth, quien puso a su asistente Roadbard a leerlo. Ella identificó el plagio “completo, con los mismos pasajes verbales” (Broad, 1980, p.39). Roadbard envió una carta al editor de NEJOM Arnold Relman, junto con una copia del manuscrito de Soman-Felig. Relman dijo que el plagio fue “trivial”, que fue “mal juicio” de Soman haber copiado parte del trabajo de Roadbard, y que esto se debía a un conflicto de intereses de parte de Soman y Felig al revisar el artículo de Roadbard (Broad, 1980, p. 39). Entonces Relman llamó a Felig, quien dijo, según Broad (1980) que el criterio de revisión se había basado en la baja calidad del trabajo de Roadbard y que el artículo Soman-Felig había sido acabado antes de que recibiera su artículo. (Broad mantiene que este último señalamiento de Felig es incorrecto). Relman publicó el artículo de Roadbard en forma revisada. Roth llamó a Felig (un viejo amigo de los días de escuela) y se encontraron para discutir los dos artículos, para los que fueron co-autores o revisores. Broad (1980) señaló que antes del encuentro “Felig no había comparado el artículo de Soman con el de Roadbard” (p. 39), ¡aunque Felig había sido co-autor de uno y revisor de otro! Cuando regresó a Yale, Felig le preguntó a Soman, quien admitió haber utilizado el trabajo de Roadbard para escribir el artículo Soman-Felig. Broad (1980) reportó que Roadbard y Roth comenzaron a expresar desacuerdo con lo extendido del plagio. Roadbard escribió al Decano de la Escuela de Medicina de Yale, Robert Berliner, quien no creyó todo lo que ella escribió. El le respondió “espero que considere el asunto cerrado” (p. 38). NIH emprendió (quizás por arrastrarse) una investigación. Una auditoria posterior reveló, según Broad, “una mala representación” (p. 41). Soman admitió que él falsificó, mas declaró que “no era muy diferente de otros casos” (p. 41). Luego de profundas investigaciones, al menos 11 artículos fueron rechazados. Soman solicitó su retiro de Yale. Felig se hizo Presidente de Medicina del Colegio de Físicos y Cirujanos de Columbia (Moran, p.69). Luego de dos meses en esta posición, Philip se vio forzado a renunciar… el asunto se debió a un escándalo ocurrido en el laboratorio de uno de los socios y co-autores de Felig en Yale, donde trabajó anteriormente. Helena Wachslicht-Roadbard pasó un año y medio escribiendo cartas, haciendo llamadas, intentando denunciar a Soman y Felig en reuniones públicas arriesgándose a perder su trabajo. Ella quería una investigación y la consiguió (Broad, 1980; p. 38).

Muchos casos como el de Soman-Felig han sido reportados pero, como Moran (1990) afirma, “es imposible determinar cuantos plagios a causa del proceso de revisión han sido exitosos” (p. 118). Es de pensarse que este tipo de plagio es más frecuente cuando el manuscrito viene de lo que ha venido a llamarse el Tercer Mundo, para ser revisado por gente del Primer Mundo. Existen reportes verbales de este asunto.

Si una de las funciones de una conferencia es ser “un lugar para cuidar el derecho de sus participantes”, entonces los organizadores deberían considerar medidas adecuadas para evitar que el proceso de revisión genere oportunidades de plagio para algún revisor. Una manera de alcanzar este objetivo es tener una política de “aceptación cuando-esté-en-duda” en vez de “rechazo cuando-esté-en-duda”. Arnold Relman, editor del New England Journal of Medicine tenía otro revisor sugiriéndole aceptar el artículo de Helena Wachslicht-Roadbard. Si él hubiera aceptado el artículo, no hubiera existido oportunidad de plagio relacionado al proceso de revisión. Esto refuerza lo señalado anteriormente en relación a la política de aceptación de SIECI basada en su mayoría en el acuerdo entre revisores recomendando rechazo, o no-aceptación. Esta política podría ser mejorada añadiéndole la evaluación opcional publicada de Gordon. De acuerdo a lo que dijimos anteriormente: cuando los revisores de un artículo no se ponen de acuerdo, podría aceptarse bajo la condición de su participación en la conferencia, y su publicación en las memorias junto con los comentarios de sus respectivos revisores.

Conclusiones respecto a nuestra política de aceptación

La política de aceptación que hemos descrito tiene sus incidencias positivas y negativas sobre la calidad de la conferencia. Entre las negativas se encuentran: 1) Un aumento en la aceptación de artículos de baja calidad (que, como dijimos anteriormente, es contrabalanceado por un aumento en la probabilidad de aceptar buenos artículos que de otra forma podrían rechazarse); y 2) un aumento en la probabilidad de decepciones efectivas, o aceptación de artículos falsos. Entre las incidencias positivas se podrían encontrar: 1) Un aumento en el nivel de calidad de los artículos (debido al aumento en la probabilidad de aceptar buenos artículos, un cambio de paradigma, que de otra manera podrían ser rechazados) y 2) una disminución de la probabilidad de plagio, por parte de los revisores.

Profesor Nagib Callaos
Presidente de IIIS

Referencias

Broad, W. J., 1980, Science, 210 (4465) October, pp. 38-41.

Campanario, J. M., 1995, On influential books and journal articles initially rejected because of negative referee’s evaluation. Science Communication, 16(3), March, pp. 304-325.

Campanario, J. M., 1996, Have referee rejected some of the most-cited articles of all times, Journal of American Society for Information Science, 47(4), April, pp.302-310.

Chubin, D. R. y Hackett E. J., 1990, Peerless Science, Peer Review and U.S. Science Policy; New York, State University of New York Press.

Ernst, E., Saradeth, T. y Resch, K. L., 1993, Drawbacks of peer review, Nature, 363, 296, May.

Horrobin, D. F., 1982, Peer Review: A Philosophically Faulty Concept which is Proving Disastrous for Science. The Behavioral and Brain Sciences, 5, No. 2, June 1982, pp. 217-218.

Ingelfinger, F. J., 1974, Peer review in biomedical publications. American Journal of Medicine, 56(5), May, pp. 686-692.

Lazarus, D, 1982, Interreferee agreement and acceptance rates in physics, The Behavioral and Brain Sciences, 5, No. 2, June 1982.

Lindsay, D., 1979, Imprecision in the Manuscript Review Process. In proceedings 1979 S[ociety for] S[cholarly] P[ublishing], pp.63-66. Washington: Society for Scholarly Publishing, 1980.

Lindsay, D., 1988, Assessing Precision in the Manuscript Review Process: A little better than a Dice Roll. Scientometrics 14, Nos. 1-2.

Mahoney, M. J., 1977, Publication prejudices: an experimental study of confirmatory bias in the peer review system, Cognitive Therapy and Research, 1(2), pp. 161-175. Citado en Speck, R. L., 1993, Publication Peer Review: An Annotated Bibliography, Westport, Connecticut, Greenwood Press, p.127.

Mahoney, M. J., 1990, Bias, Controversy, and Abuse in the Study of the Scientific Publication Systems”. Science, Technology and Human Values, 15, no. 1; pp. 50-55. Citado en Speck, R. L., 1993, Publication Peer Review: An Annotated Bibliography, Westport, Connecticut, Greenwood Press, p.127.

Moran, G., 1998, Silencing Scientists and Scholars in Other Fields: Power, Paradigm Controls, Peer Review, and Scholarly Communications. London, England: Ablex Publishing Corporation.

Moravcsik, M., 1982, Rejecting published work: It couldn’t happen in Physics! (or could it). The Behavioral and Brain Sciences, 5, No. 2, June, p. 229.

Speck, R. L., 1993, Publication Peer Review: An Annotated Bibliography, Westport, Connecticut, Greenwood Press.

Walker R. D. y Hurt C. D., 1990, Scientific and Technical Literature, Chicago: American Library Association.

Weller, A. C., 2002, Editorial Peer Review, its Strength and Weaknesses; Medford, New Jersey.

Wilkes, M. S. y Kravitz, R. L. 1995. Policies, practices, and attitudes of North American medical journal editors. Journal of General Internal Medicine, 10(8), pp. 443-450.