Esta semana, investigadores de la Universidad de Florida descubrieron que, si bien la IA puede ser un asistente valioso, no logra reemplazar a los científicos humanos en muchas áreas críticas.
Los investigadores probaron la eficacia de modelos de IA generativa populares, como ChatGPT de OpenAI, Copilot de Microsoft y Gemini de Google, para gestionar las distintas etapas del proceso de investigación. Sometieron estos sistemas de IA a seis etapas de investigación académica: ideación, revisión bibliográfica, diseño de la investigación, documentación de resultados, extensión de la investigación y producción del manuscrito final, limitando la intervención humana. Descubrieron una combinación de capacidades y limitaciones.
Aún así, la compañía japonesa Sakana anunció este mes que un artículo escrito por su "científico de IA" pasó el proceso de revisión por pares en un taller de una conferencia de aprendizaje automático de primer nivel, posiblemente la primera vez que un artículo completamente generado por IA pasa el proceso de revisión por pares.
La compañía afirmó: «Creemos que la próxima generación de científicos de IA marcará el comienzo de una nueva era en la ciencia. El hecho de que la IA pueda generar artículos completos que superen la revisión por pares en los principales talleres de conferencias internacionales sobre aprendizaje automático es una clara señal del progreso futuro. Pero esto es solo el principio. La IA seguirá mejorando, quizás exponencialmente. En algún momento en el futuro, es probable que la IA pueda generar artículos a un nivel igual o superior al humano».
Comparar la ciencia de la IA con la ciencia humana no es el objetivo final, afirma Sakana. «Lo más importante es que los descubrimientos de la ciencia humana y la IA contribuyan a la prosperidad humana, como el desarrollo de tratamientos para enfermedades y el esclarecimiento de las leyes que rigen el universo».
Al comentar sobre los desarrollos previos de Sakana el año pasado, Karin Verspoor, decana de la Facultad de Tecnologías Informáticas de la Universidad RMIT (Australia), señaló que Sakana afirma que su herramienta de IA puede realizar el ciclo de vida completo de un experimento científico a un costo de tan solo 15 dólares estadounidenses por artículo, menos que el costo del almuerzo de un científico. Una de las preocupaciones de Verspoor es que, si los artículos generados por IA inundan la literatura científica, los futuros sistemas de IA podrían entrenarse con los resultados de IA y volverse cada vez más ineficaces para la innovación.
Sin embargo, las implicaciones para la ciencia van mucho más allá. Ya existen actores maliciosos en la ciencia, incluyendo 'fábricas de papel' que producen artículos falsos en masa. Este problema solo empeorará cuando se pueda producir un artículo científico con 15 dólares y una propuesta inicial vaga. La necesidad de buscar errores en una montaña de investigaciones generadas automáticamente podría desbordar rápidamente la capacidad de los científicos.
Una reseña de Miryam Naddaf en Nature la semana pasada destaca el creciente uso de la IA en el proceso de revisión por pares. «Los sistemas de IA ya están transformando la revisión por pares, a veces con el apoyo de las editoriales y otras infringiendo sus normas. Tanto editoriales como investigadores están probando productos de IA para detectar errores en el texto, los datos, el código y las referencias de los manuscritos, para guiar a los revisores hacia una retroalimentación más constructiva y para pulir su prosa. Algunos sitios web nuevos incluso ofrecen reseñas completas creadas por IA con un solo clic».
El artículo cita a Carl Bergstrom, biólogo evolutivo de la Universidad de Washington en Seattle. Bergstrom afirma que si los revisores empiezan a recurrir a la IA para saltarse la mayor parte del proceso de redacción de reseñas, corren el riesgo de ofrecer un análisis superficial. «Escribir es pensar», afirma Bergstrom.