Las inteligencias artificiales y la revisión por pares

Tenía guardado para comentar ChatGPT is transforming peer review — how can we use it responsibly? (lamentablemente no está en abierto, si alguien lo quiere que lo diga) y casualmente compartí en redes sociales el otro día este otro Using AI for Reviews, de uno de los fijos en mi lector de RSS, Lance Fortnow.

Decían en Nature que estaban observando un número significativo de revisiones hechas por IAs.

At major computer-science publication venues, up to 17% of the peer reviews are now written by artificial intelligence.

Como en tantas ocasiones, no es difícil del todo darse cuenta de la situación: el tono es formal y muy ‘verboso’, con palabras como ‘meticuloso’ y ‘encomiable’ apareciendo diez veces más que antes.

Y la cuestión es, claro, que nos guste o no estas herramientas han venido y están para quedarse (aunque se habla muy poco de qué sucedería si los proveedores deciden cortarnos el grifo o subir los precios, claro).

El razonamiento típico para adoptar estas herramientas tiene que ver con la ‘productividad’: falta de tiempo para hacerlo por métodos más tradicionales.

También hay otro razonamiento habitual y es si se puede restringir a tareas que sean ‘las correctas’ (corrección de texto, gramática, responder a preguntas simples sobre el manuscrito,…). Pero también puede suceder que este proceso haga todavía peor el (ya maltrecho) sistema de publicaciones científicas. Sin olvidar los temas de propiedad intelectual y la privacidad, claro.

Otra queja habitual de los que reciben este tipo de revisiones es la falta de profundidad y las alucinaciones.

Alguna ventaja más, por el otro lado, podría ser que la inteligencia artificial se fije en cosas que un revisor tradicional pasaría por alto.

Como solución, nos dicen, la que estamos adoptando en otros campos: añadir más interacciones al proceso; si los revisores y los autores pueden debatir probablemente haya más incentivos para hacer las cosas correctamente.

En cualquier caso, no podemos cerrar los ojos y pensar que nada pasa (con inconvenientes y ventajas).

Por su parte Fortnow comenta como tuvo que aceptar la norma de no utilizar IA para una revisión que tuvo que hacer.

I reviewed a paper recently and I had to agree not to use AI in any aspect of the reviewing process.

Lo hizo, nos dice, pero se sintió raro: al final, sería como tener prohibido usar una calculadora para revisar los cálculos que puedan aparecer. También dice que los modelos gigantes de lenguaje (LLMs, Large Language Models) tienen sus inconvenientes, pero también sus ventajas.

So I didn't but it felt strange, like I wouldn't be able to use a calculator to check calculations in a paper. Large language models aren't perfect but they've gotten very good and while we shouldn't trust them to find issues in a paper, they are certainly worth listening to.

La idea sería que la IA no escriba la revisión completa, o eso es lo que parece que están tratando de evitar.

Las inteligencias artificiales van siendo cada vez más capaces y resuelven problemas, al menos los habituales y comunes. Nada que hacer (ni se espera mucho) en el caso de los problemas interesantes.

It solves all my old homework problems and cuts through purported P v NP proofs like butter. I've tried it on some of my favorite open problems where it doesn't make new progress but it doesn't create fake proofs and does a good job giving the state of the art, some of which I didn't even know about beforehand.

Podríamos decir que tenemos inteligencias artificiales del nivel de un estudiante universitario y, por lo tanto, deberíamos tratar sus respuestas de esta forma.

We now have AI at the level of new graduate students. We should treat them as such.

También habla de los problemas de privacidad, puesto que los artículos que revisamos no deberían ser accesibles para nadie más y con estos procedimientos podrían terminar siendo material de entrenamiento de las inteligencias artificiales. Esto podría llevar a la divulgación de información secreta, si se hacen las preguntas adecuadas.

We do have a privacy issue. Most papers under review are not for public consumption and if uploaded into a large-language model they could become training data and be revealed if someone asks a relevant question.

La recomendación que nos hace es, cuandos seamos los autores, pasar una revisión del artículo con una IA, pidiéndole una revisión crítica y sugerencias. ¿Llegaremos a tener que remitir artículos certificados por alguna IA?

If you are an author, have AI review your paper before you submit it. Make sure you ask AI to give you a critical review and make suggestions. Maybe in the future we'd required all submitted papers to be AI-certified.

Y la conclusión es que, por ahora, una revisión hecha solo por un humano, o solo por una IA es peor que si se hace conjuntamente pero, ¿quién sabe qué sucederá en el futuro?

For now, humans alone or AI alone is just not the best way to do conference reviews. For now when you do a review, working with an AI system as an assistant will lead to a stronger review. I suspect in the future, perhaps not that far, AI alone might do a better job.

Por mi parte, he revisado unos cuantos artículos en los últimos meses y todavía no me he atrevido a lanzarlos contra una IA (me puede la prevención de mandar a estas cosas el trabajo de otros) pero creo que, efectivamente, las IAs nos ayudan a realizar parte de nuestro trabajo (alguna prueba estoy haciendo en otros ámbitos) y podemos tener un asistente que no deberíamos despreciar.

Eso sí, como el texto que escribimos aquí es completamente manual, llevamos una temporada flojeando. Siempre que alguien me pregunta por tener una bitácora le digo que tiene que adaptarse a su forma de pensar, trabajar y también integrarse en sus rutinas. Esto último es lo que se me ha roto con los horarios que he tenido este curso y he perdido el ritmo que ya veremos si consigo recuperar.