OpenAI pudiera tener un método para detectar de forma fiable si alguien utiliza ChatGPT para escribir un ensayo o trabajo de investigación, The Wall Street Journal reportó el domingo citando a personas familiarizadas con el tema.
Según el reporte la herramienta es capaz de detectar textos escritos por ChatGPT con una efectividad del 99.9%. Este sistema utiliza un método de «marca de agua» que altera sutilmente la selección de fragmentos de texto, creando un patrón detectable que pasa desapercibido al usuario. A pesar de su eficacia, la herramienta no ha sido lanzada al público debido a debates internos en la compañía.
El proyecto ha estado listo para su lanzamiento durante aproximadamente un año, pero las discusiones sobre su implementación han sido constantes. Los empleados de OpenAI se encuentran divididos entre la transparencia prometida por la empresa y la necesidad de atraer y retener usuarios. Un estudio interno reveló que casi un tercio de los usuarios leales a ChatGPT se sentirían desanimados por la tecnología contra el fraude.
Además, también se reportó que una de las principales preocupaciones es que la herramienta podría afectar desproporcionadamente a ciertos grupos, como los hablantes no nativos de inglés. Una portavoz de OpenAI le comunicó al periódico que, aunque la tecnología de marcas de agua es prometedora, presenta riesgos significativos que deben ser cuidadosamente sopesados.
«El método de marca de agua de texto que estamos desarrollando es técnicamente prometedor, pero tiene riesgos importantes que estamos sopesando mientras investigamos alternativas», dijo la portavoz. «Creemos que el enfoque deliberado que hemos adoptado es necesario dadas las complejidades que implica y su probable impacto en el ecosistema más amplio más allá de OpenAI».
La Necesidad de una Solución
El uso indebido de ChatGPT en entornos educativos es un problema creciente. Una encuesta reciente del Centro para la Democracia y la Tecnología encontró que el 59% de los maestros de secundaria y preparatoria creen que algunos estudiantes han utilizado IA para sus tareas escolares. Esta cifra representa un aumento de 17 puntos en comparación con el año escolar anterior.
Profesores como Alexa Gutterman, de Nueva York, han expresado su preocupación por la facilidad con que los estudiantes pueden emplear IA para evadir el trabajo académico. La necesidad de herramientas que puedan detectar este tipo de trampas es evidente, y algunos educadores han recurrido a soluciones externas, aunque estas a menudo fallan en detectar textos generados por modelos de lenguaje avanzados y pueden producir falsos positivos.
Desafíos en la Implementación
Un desafío significativo es determinar quién debería tener acceso a esta herramienta de detección. Si muy pocas personas la tienen, su utilidad sería limitada. Por otro lado, si se distribuye ampliamente, existe el riesgo de que los métodos de marca de agua sean descifrados por actores malintencionados.
OpenAI ha considerado diversas estrategias, como proporcionar la herramienta directamente a los educadores o a empresas externas que ayuden a las escuelas a identificar trabajos plagiados o escritos por IA. Sin embargo, la implementación de cualquier solución requiere una planificación cuidadosa para equilibrar la efectividad con la accesibilidad.
