Estudio Revela Que 13,5% Artículos Científicos Usan ChatGPT, ¿Eso es Malo?

¿Qué palabras delatan a la IA? Un nuevo estudio de más de 15 millones de resúmenes biomédicos en PubMed encontró que al menos el 13,5% de los artículos científicos publicados en 2024 muestran signos de herramientas de escritura asistida por IA, especialmente ChatGPT de OpenAI.

El estudio realizado por investigadores de la Universidad Northwestern y el Instituto Hertie de IA en Salud Cerebral de la Universidad de Tübingen encontró un fuerte aumento en 2024 en patrones de palabras asociadas con la escritura generada por IA. Estas incluyeron términos poco comunes, como "indaga", "subraya" y "destacando", así como palabras más familiares como "potencial", "hallazgos" y "crucial".

Para medir este cambio, los investigadores compararon las frecuencias de palabras en 2024 con datos de referencia de 2021 y 2022. Identificaron en última instancia 454 palabras frecuentemente sobreutilizadas por los modelos de IA, incluyendo "encapsula", "notable", "subrayar", "escrutinio" y "perfecto".

Sin embargo, expertos explicaron a Decrypt que la frecuencia de palabras por sí sola no es evidencia suficiente del uso de IA.

"El lenguaje cambia con el tiempo", dijo Stuart Geiger, profesor asistente de comunicación en la UC San Diego. "[el uso de] 'Indagar' ha aumentado enormemente, y esta palabra ahora forma parte del vocabulario de la sociedad, en parte gracias a ChatGPT".

Geiger enfatizó que detectar la IA en la escritura no es solo un desafío técnico; también es ético.

"La única forma razonable de detectar el uso de Large Language Models (LLM) es si estás allí, vigilando el proceso de escritura", dijo. "Eso conlleva un alto costo, logístico, moral y técnico".

Sin embargo, Stuart advirtió contra sacar conclusiones basadas en pistas superficiales sin conocer todo el contexto.

"Podría ser que simplemente hayan visto un montón de escritos generados por ChatGPT y ahora piensen que así es como se ve una buena escritura", afirmó. "Ese es todo el problema con el que luchamos en la academia, especialmente cuando no podemos simplemente poner a los estudiantes en sus asientos y asegurarnos de que sea solo papel y lápiz".

A medida que el texto generado por IA se vuelve más común, los educadores han recurrido a herramientas que afirman detectarlo; sin embargo, la calidad de estas herramientas varía.

En octubre de 2024, Decrypt probó las principales herramientas de detección de IA —incluyendo Grammarly, Quillbot, GPTZero y ZeroGPT. Los resultados variaron ampliamente: ZeroGPT afirmó que la Declaración de Independencia de los EE. UU. era 97,93% generada por IA, mientras que GPTZero le dio solo un 10%.

"Se está vendiendo mucho aceite de serpiente", dijo Geiger.

Según Geiger, las preocupaciones sobre las herramientas de escritura de IA reflejan debates pasados sobre el corrector ortográfico, Wikipedia y CliffsNotes, y reflejan preguntas más profundas sobre el propósito de la escritura, la autoría y la confianza.

"La gente está preocupada de que cuando tenías que escribir las palabras tú mismo, tenías que pensar en ellas", dijo. "Eso es a lo que la gente reacciona tan fuertemente cuando ven algo que les parece sospechoso".

La profesora de negocios de la Universidad Rice, Kathleen Perley, argumentó que si bien la escritura de IA a menudo muestra patrones, como estructuras repetidas o palabras sobreutilizadas como "profundizar", lo que más importa es si ayuda a los investigadores sin comprometer la calidad. Eso es especialmente cierto, dijo, para hablantes no nativos de inglés o personas que enfrentan otros desafíos.

"Si la IA ayuda a los investigadores a superar desafíos como las barreras del idioma o las discapacidades de aprendizaje, y no compromete la originalidad o calidad de su trabajo, entonces no veo un problema con ello", dijo a Decrypt. "Creo que podría ser un beneficio general porque está permitiendo que personas con diferentes antecedentes, ideas, exposiciones, participen en algo que podría haber sido un obstáculo debido a la falta de habilidades de escritura formales".

La asesora de inteligencia artificial de los decanos en Rice Business, Perley, señaló otro dilema: la inclinación de las personas a cambiar la forma en que escriben por miedo a ser acusadas de usar inteligencia artificial, agregando que ella se ha vuelto más consciente de ciertas palabras que podrían ser señaladas como potencialmente generadas por IA.

Mientras que algunos critican este estilo por carecer de personalidad, Perley ve la escritura asistida por IA como una herramienta que puede democratizar la participación en la investigación formal.

"Claro, podríamos obtener más 'inmersiones' y guiones largos", argumentó. "Pero si la IA ayuda a que personas de diferentes orígenes compartan investigaciones importantes, no me importa cuán pulido suene, vale la pena".