Sara Suárez-Gonzalo, UOC – Universitat Oberta de Catalunya
Los sistemas de aprendizaje automático de máquinas (machine learning) se cuelan cada vez más en nuestras vidas cotidianas, desafiando nuestros valores morales y sociales y las normas que los rigen.
Hoy en día, los asistentes virtuales amenazan la intimidad del hogar; los sistemas de recomendación de noticias modelan la manera en que entendemos el mundo; los algoritmos de predicción de riesgo aconsejan a los trabajadores sociales a qué niños proteger de abusos; mientras que las herramientas de contratación basadas en el procesamiento de datos clasifican nuestras posibilidades de conseguir un trabajo. Sin embargo, la ética del aprendizaje automático sigue siendo un ámbito difuso.
Buscando artículos sobre el tema para los jóvenes ingenieros que estudian Ética y Tecnologías de la Información y de la Comunicación en la UCLouvain (Bélgica), me llamó especialmente la atención el caso de Joshua Barbeau, un hombre de 33 años que utilizó un sitio web llamado Project December para crear un robot conversacional –un chatbot– que simulara una conversación con su prometida, Jessica, fallecida a causa de una enfermedad rara.
Robots conversacionales que imitan a personas muertas
Conocido como deadbot, este tipo de chatbot permitía a Barbeau intercambiar mensajes de texto con una “Jessica” artificial. A pesar de la naturaleza éticamente controvertida del caso, rara vez encontré materiales que fueran más allá del mero aspecto factual y lo analizaran desde una perspectiva explícitamente normativa: ¿por qué sería correcto o incorrecto, éticamente deseable o reprobable, desarrollar un deadbot?
Antes de abordar estas cuestiones, pongamos las cosas en contexto: Project December fue creado por el desarrollador de videojuegos Jason Rohrer con el objetivo de permitir a la gente diseñar chatbots con aquella personalidad con la que quisieran interactuar, siempre que pagasen por ello. El proyecto se construyó a partir de una API de GPT-3, un modelo de lenguaje que permite generar texto de forma automática, de la empresa de investigación de inteligencia artificial OpenAI.
El caso de Barbeau generó una disputa entre Rohrer y OpenAI, dado que las normas de uso de la empresa prohíben explícitamente que GPT-3 se utilice con fines sexuales, amorosos, de autolesión o de acoso.
Tras calificar la posición de OpenAI de hipermoralista y argumentar que las personas como Barbeau son “adultos con capacidad de dar su consentimiento”, Rohrer desconectó la versión de Project December basada en GPT-3.
Aunque todos tenemos ciertas intuiciones sobre si está bien o mal desarrollar un deadbot de aprendizaje automático, explicar sus implicaciones no es una tarea fácil. Por eso es importante abordar las cuestiones éticas que plantea el caso, paso por paso.
¿Es suficiente el consentimiento de Barbeau para desarrollar el deadbot de Jessica?
Dado que Jessica era una persona real (aunque muerta), el consentimiento de Barbeau para la creación de un deadbot que la imite parece insuficiente. Incluso cuando mueren, las personas no son meras cosas con las que otros pueden hacer lo que les plazca. Por eso, nuestras sociedades consideran que está mal profanar o ser irrespetuoso con la memoria de los muertos. En otras palabras, tenemos ciertas obligaciones morales relativas a los muertos, en la medida en que la muerte no implica necesariamente que las personas dejen de existir de una forma moralmente relevante.
Asimismo, el debate está abierto sobre si debemos proteger los derechos fundamentales de los muertos (por ejemplo, la privacidad y los datos personales). Desarrollar un deadbot que replique la personalidad de alguien requiere grandes cantidades de información personal, como los datos procedentes de sus redes sociales (véase lo que proponen Microsoft o Eternime), que pueden revelar rasgos muy sensibles.
Si estamos de acuerdo en que no es ético utilizar los datos de las personas sin su consentimiento mientras están vivas, ¿por qué lo sería tras su muerte? En ese sentido, al desarrollar un deadbot parece razonable solicitar el consentimiento de aquella persona cuya personalidad se imita, en este caso Jessica.
Cuando la persona imitada da luz verde
Así, la segunda pregunta es: ¿el consentimiento de Jessica sería suficiente para considerar ética la creación de su deadbot? ¿Y si resultase degradante para su memoria?
Los límites del consentimiento son, en efecto, una cuestión controvertida. Tomemos como ejemplo paradigmático el “caníbal de Rotenburgo”, que fue condenado a cadena perpetua pese a que su víctima había aceptado ser comida. En este sentido, se ha argumentado que no es ético consentir ante cosas que puedan ser perjudiciales para nosotros mismos, ya sea físicamente (vender los órganos vitales) o de una forma más abstracta (alienar los propios derechos).
En qué sentido puede algo ser perjudicial para los muertos es una cuestión especialmente compleja que no analizaré en detalle. No obstante, cabe señalar que, aunque no es posible causar daños u ofender a los muertos del mismo modo que a los vivos, esto no significa que sean invulnerables a las malas acciones, ni que éstas sean éticas. Los muertos pueden sufrir perjuicios en su honor, reputación o dignidad (por ejemplo, si se lanzan campañas póstumas de desprestigio), y la falta de respeto hacia los muertos también perjudica a sus allegados. Además, tener malos comportamientos hacia los muertos nos conduce a una sociedad más injusta y menos respetuosa con la dignidad de las personas, en general.
Por último, dada la maleabilidad e imprevisibilidad de los sistemas de aprendizaje automático, existe el riesgo de que el consentimiento proporcionado por la persona imitada (en vida) no represente mucho más que un cheque en blanco ante su posible evolución.
Teniendo en cuenta todo esto, parece razonable concluir que, si el desarrollo o el uso del deadbot no se corresponden con lo que la persona imitada haya aceptado, su consentimiento debe considerarse inválido. Además, si atenta clara e intencionadamente contra su dignidad, ni siquiera su consentimiento debería ser suficiente para considerarlo ético.
¿Quién asume la responsabilidad?
Una tercera cuestión es si los sistemas de inteligencia artificial deben aspirar a imitar cualquier tipo de comportamiento humano (independientemente aquí de la discusión sobre si esto es posible).
Esta es una preocupación que viene de lejos en el campo de la IA y está estrechamente relacionada con la disputa entre Rohrer y OpenAI. ¿Debemos desarrollar sistemas artificiales capaces, por ejemplo, de ejercer cuidados o de tomar decisiones políticas? Parece que hay algo en estas habilidades que diferencia a los humanos de otros animales y de las máquinas. Por ello, es importante tener en cuenta que instrumentalizar la IA hacia fines excesivamente tecno-solucionistas, como reemplazar a los seres queridos, puede llevar a una devaluación de aquello que nos caracteriza como seres humanos.
La cuarta cuestión ética es quién se hace responsable de los resultados de un deadbot, especialmente en el caso de que tenga efectos indeseables.
Imaginemos que el deadbot de Jessica aprendiera autónomamente a actuar de un modo degradante para su memoria o que dañara irreversiblemente la salud mental de Barbeau. ¿Quién asumiría la responsabilidad?
Los expertos en IA responden a esta resbaladiza cuestión desde dos enfoques principales: unos consideran que la responsabilidad recae en quienes participan en el diseño y el desarrollo del sistema, en tanto que lo hacen de acuerdo con sus intereses y sus visiones del mundo particulares; otros entienden que, como los sistemas de aprendizaje automático dependen necesariamente del contexto, la responsabilidad moral de sus resultados debe distribuirse entre todos los agentes que interactúan con ellos.
La primera posición se ajusta más a mis ideas. En este caso, al existir una cocreación explícita del deadbot en la que participan OpenAI, Jason Rohrer y Joshua Barbeau, parece lógico analizar el nivel de responsabilidad de cada parte.
En primer lugar, sería difícil responsabilizar a OpenAI tras haber prohibido explícitamente el uso de su sistema con fines sexuales, amorosos, de autolesión o de acoso.
Sin embargo, parece razonable atribuir un nivel significativo de responsabilidad moral a Rohrer porque: (a) diseñó explícitamente el sistema que permitió crear el deadbot; (b) lo hizo sin prever medidas para evitar posibles resultados nocivos; (c) era consciente de que incumplía las directrices de OpenAI; y (d) se benefició económicamente de ello.
Y, en tercer lugar, dado que Barbeau personalizó el deadbot basándose en rasgos particulares de Jessica, parece legítimo considerarlo corresponsable en caso de que este degradara su memoria.
Ético, bajo ciertas condiciones
Así que, volviendo a nuestra primera pregunta sobre si es ético desarrollar un deadbot de aprendizaje automático, podríamos dar una respuesta afirmativa bajo la condición de que:
- tanto la persona imitada como la que personaliza el deadbot e interactúa con él den su libre consentimiento ante una descripción lo más detallada posible del diseño, desarrollo y usos del sistema;
- se prohíban los desarrollos y usos que no se ciñan a lo que la persona imitada consintió o que vayan en contra de su dignidad;
- las personas implicadas en su desarrollo y quienes se beneficien de él asuman la responsabilidad de sus posibles resultados (especialmente si son negativos). Tanto de forma retroactiva, para dar cuenta de los hechos ocurridos, como de forma prospectiva, para prevenir activamente que ocurran en el futuro.
Este caso ejemplifica por qué la ética del aprendizaje automático importa. También ilustra por qué es esencial abrir un debate público capaz de informar mejor a los ciudadanos y ayudarnos a desarrollar políticas que hagan que los sistemas de IA sean más abiertos, socialmente justos y respetuosos con los derechos fundamentales.
Sara Suárez-Gonzalo, Postdoctoral Researcher, UOC – Universitat Oberta de Catalunya
Este artículo fue publicado originalmente en The Conversation. Lea el original.
