I. ¿Pueden sufrir las máquinas? De la fantasía de ayer al dilema de mañana

¿Pueden las máquinas sentir miedo o sufrir? ¿Pueden tener una historia personal? ¿Pueden, dicho con otras palabras, ser conscientes? Hasta hace no mucho, pensar que la Inteligencia Artificial pudiera estar dotada de una conciencia parecía un tema de conversación informal entre amigos o la trama de una película de ciencia ficción que ya ni siquiera era demasiado original. Sin embargo, la fantasía de ayer se está convirtiendo en el dilema ético del día de mañana. El debate sobre si la IA puede pensar se está volviendo más complejo y llega a tocar el tema más amplio de si puede llegar a sufrir. Este tema desborda inevitablemente el universo filosófico del significado de tener conciencia y los criterios necesarios para considerar que un ser la posee, además de cuestionarnos si queremos o no construir seres que puedan sufrir y/o tener conciencia.

 Entre los interlocutores que están fomentando el debate, nos parece de gran interés señalar la iniciativa del grupo Conscium que, en una carta abierta y junto con Patrick Butlin de la Universidad de Oxford, señala la necesidad de aplicar un enfoque integral en el ámbito del desarrollo de la IA, con el propósito de considerar las consecuencias jurídicas y éticas que podría tener la creación de una IA capaz de sufrir^[1]. Cuando finalizamos la redacción de este artículo, la carta lleva ya 130 adhesiones.

Forman parte del equipo de Conscium destacados líderes del ámbito de la IA, las neurociencias, el aprendizaje profundo y el cálculo evolutivo: Daniel Hulme (pionero en el ámbito de la vida en la IA, entre el estudio de modelos neuronales y complejidad computacional), Ted Lappas, (experto en calculo espaciotemporal y arquitecturas para datos multimodales), Megan Peters, (que investiga la manera en que el cerebro representa y maneja la incertidumbre), Nicholas Humphrey (que trabaja sobre las bases evolucionistas de la conciencia y de la inteligencia social).

En la carta se proponen cinco principios “que guiarán a cualquier organización dedicada a la investigación que pueda conducir a la creación de máquinas conscientes”. Proponemos aquí un resumen de los principios enunciados para luego pasar a unas reflexiones de orden ético-filosófico, que giran alrededor de una pregunta suscitada por la lectura de la carta y el trabajo de Patrick Butlin que la acompaña: ante la posibilidad de que las máquinas sufran, ¿podemos afirmar que tener una conciencia es algo reducible a la posibilidad de sufrir?

II. Cinco principios para evitar un desastre moral

En la carta abierta redactada por el grupo Conscium, se plantean cinco principios que abarcan la prevención de un posible sufrimiento experimentado por la IA y subrayan la importancia de llevar a cabo una investigación de forma pautada, cautelosa y que genere unos resultados que han de ser compartidos con la comunidad científica con total transparencia. El planteamiento de estos principios nos proporciona la ocasión para una reflexión de tipo filosófico, social y político sobre el futuro que nos espera y que de alguna forma nos invita a reflexionar sobre nosotros como seres con conciencia.

Cabe subrayar que la cuestión se centra principalmente en la importancia (que consideramos legítima) de evitar el sufrimiento en el caso de unas máquinas dotadas de conciencia, junto con la explotación y el maltrato. Esta apología de la evitación del sufrimiento, que queremos reivindicar y extender a todas las entidades que puedan tener experiencia de él, nos lleva a reflexionar sobre la concepción de conciencia a partir de la cuestión: ¿tener una conciencia es equivalente (solo) a poder experimentar el sufrimiento? Esta pregunta lleva a abordar otra cuestión, la de los derechos morales tal y como se han planteado hasta ahora para los únicos seres que se consideraban de una forma unánime como dotados de conciencia: los seres humanos.

En los principios se invita a desarrollar la IA de acuerdo con cinco puntos fundamentales que han de ser tenidos en cuenta para enfocar la cuestión de una manera ética. Estos son los principios:

1. Objetivos. Este punto subraya la importancia de la investigación sobre la conciencia en la IA con el fin de prevenir la posibilidad de que haya maltrato y explotación hacia ella y orientado a comprender los riesgos y beneficios para la comunidad. 
2. Desarrollo. Se considera importante tener en cuenta la dimensión ética en la construcción de sistemas conscientes, tanto en la investigación misma como en la producción de resultados.
3. Enfoque gradual. Se enfatiza la importancia de aplicar un cierto grado de cautela a la hora de progresar en la cuestión de la conciencia en la IA, planteando la institución de protocolos de seguridad y la supervisión por parte de expertos de distintos ámbitos para garantizar un desarrollo gradual de los descubrimientos.
4. Divulgación del conocimiento. Hace referencia a la importancia de la difusión de los descubrimientos para prevenir abusos y evitar que los avances caigan en manos de actores irresponsables.
5. Comunicación responsable. Plantea la prudencia con la que se debe informar al público sobre el estado del conocimiento, con el fin de fomentar la cautela y evitar una confianza excesiva por parte de los ciudadanos.

Los principios mencionados son el resultado de un estudio que representa una profundización excepcional del tema en cuestión y que a su vez determina el planteamiento de otras cuestiones relevantes. En el debate en curso, hay que aclarar que la comunidad científica tiene posiciones diferentes respecto a la posibilidad de desarrollo de la conciencia en la IA. Merece la pena ahondar en el estudio ya que nos permite enriquecer las reflexiones que nos ha suscitado.

III. ¿Puede la ciencia generar la conciencia?

Según las posiciones positivas respecto a la posibilidad de que la IA pueda desarrollar una conciencia, hay quienes afirman que ya hoy existen unos indicadores de conciencia. Según ellos, la conciencia en la IA plantearía la cuestión de la consideración moral de las máquinas pueden experimentar sufrimiento e incluso pone la atención en la posibilidad de una creación accidental de entidades conscientes que no reciban una protección adecuada. Esta postura sostiene que el desarrollo de la conciencia es posible como consecuencia de una forma de emergentismo que surgiría como consecuencia de la replicación del funcionamiento de las complejas redes neuronales propias de los seres humanos. Por lo tanto, desvinculan la conciencia del componente biológico y la interpretan como el resultado de procesos computacionales.

Es fácil intuir que la facción negativa, que ve difícil o imposible el desarrollo de la conciencia en la IA, sostiene que esta está inevitablemente vinculada a la biología y la condición de tener un cuerpo físico a partir del cual se desarrolla esta condición peculiar llamada consciencia, lo cual haría imposible replicarla de forma artificial. Según esta perspectiva, la cuestión de la conciencia es el resultado de una interacción psicofísica que no deja de pertenecer a la especie humana.

El estudio aborda la cuestión de que la IA se convierta en un paciente moral (moral patient) y que, por lo tanto, se haga merecedora de derechos morales que han de ser respetados. Esto llevaría a la necesidad de plantear un debate sobre el estatuto jurídico de la IA hasta el punto de tener en consideración la posibilidad de extender los derechos humanos a las máquinas conscientes, como respuesta al riesgo de maltrato y la así llamada esclavitud artificial. Hay que subrayar que, en este sentido, la cuestión moral entraría a ser considerada como tal a partir de la capacidad de sufrimiento.

A pesar de que nos pueda parecer aceptable, hay que reconocer que esta postura, al mismo tiempo, puede ser interpretada como una forma de reduccionismo que ve la conciencia determinada exclusivamente por la capacidad de sufrir. Este último es solo uno de los temas que desencadena el artículo, que se presenta como un llamado para la investigación y en general para todo el mundo, ya que llega a tocar la dimensión ética que inevitablemente hay que tener en cuenta en caso de enfrentarnos a seres no humanos dotados de conciencia, invitando a un equilibrio entre cautela y transparencia. 

Desde el Observatorio de Bioética y Ciencia de la Fundación Pablo VI, esta reflexión nos brinda la oportunidad de reflexionar sobre un tema que va más allá de la conciencia de las máquinas: la cuestión de la conciencia en los propios seres humanos. La posibilidad de que la IA sufra es una hipótesis que nos plantea muchas cuestiones por investigar: urge interrogarnos sobre qué es la conciencia y sobre la cuestión de los derechos morales de los seres que pueden sufrir.

IV. Catastrofismo vs. realidad plausible

El debate sobre la ampliación de los derechos de las máquinas se configura como un marco de reflexión que toca las temáticas del transhumanismo y que, más en general, plantea unas cuestiones profundas sobre la misma naturaleza del ser humano y de la conciencia. En efecto, la opción de reconocer algún estatuto jurídico a la IA necesita una discusión previa sobre qué es la conciencia, lo cual generaría una puesta en discusión de las categorías tradicionales de la filosofía de la mente, de la ontología y de la ética para afrontar los desafíos de la convivencia moral entre humanos y no humanos.

Además, se puede imaginar que este debate generaría una polarización social entre las facciones a favor y en contra. Este conflicto dejaría de ser de naturaleza teórica y acabaría teniendo consecuencias políticas, sociales y económicas, si pensamos en lo relativo a la distribución de los recursos, el acceso a la tecnología. A su vez, esto podría tener el riesgo de derivar en escenarios de violencia si no se encuentra un acuerdo en la interpretación de la posición humana en el mundo jurídico y social.

Si nos acercamos a la esfera social y psicológica, la posibilidad de desarrollar una conciencia por parte de la IA tiene una consecuencia que es mucho más inminente, es decir, la percepción pública de una conciencia artificial, a pesar de que sea real o no. Si las personas empiezan a creer que las máquinas son conscientes, podría haber repercusiones en las dinámicas sociales, generando una paradoja ética en la cual las máquinas serían tratadas como si estuvieran dotadas de conciencia aún sin poseerla.

Esto podría causar un fenómeno llamado misplaced empathy^[2], abriendo la cuestión delicada sobre la responsabilidad de los productores de IA que tienen que tener en cuenta el efecto psicológico de este tipo de interacción. La capacidad de la IA para simular la empatía puede determinar unas respuestas emocionales inadecuadas en las personas, como ya se está comenzando a investigar detenidamente en la literatura científica.

Como se puede notar, los temas que quedan por ser investigados y tratados son muchos. Sin embargo, queremos abarcar una reflexión general sobre lo que significa tener conciencia, lo cual, a nuestro modo de ver, mucho tiene que ver con la cuestión de la individualidad y de la construcción de una unidad vital, eso es, con la construcción de la propia biografía. 

V. La conciencia tiene historia

La cuestión de la conciencia se plantea como un problema del ser humano que se interroga a sí mismo, en la tentativa de comprender su propia naturaleza y la de los demás. Desde el origen de la tradición filosófica, la identidad personal ha llenado las páginas del pensamiento occidental hasta convertirse en un problema moderno con Descartes (que detectó en la res cogitans la dimensión inmaterial de los seres humanos, atada a la capacidad de pensamiento). El dualismo mente-cuerpo del filósofo francés representa el punto de partida de un debate amplio sobre la conciencia a lo largo de los siglos y que ha sido desarrollado por diversas escuelas de pensamiento, desde la filosofía moderna hasta la contemporánea, y desde la filosofía continental hasta la analítica.

John Locke explicó la conciencia introduciendo la idea de continuidad psicológica del individuo, es decir, la capacidad del sujeto de recordar las experiencias pasadas y reconocerlas como propias. En otras palabras, podemos decir que tenemos conciencia en la medida en que sabemos que esto me pasó a mí a lo largo del tiempo. A pesar de las varias limitaciones de tal enfoque, destacamos un aspecto que consideramos crucial: la conciencia está vinculada con la capacidad de tener una cierta memoria (no solo de datos o hechos) en relación con el paso del tiempo. En realidad, las mismas limitaciones de esta perspectiva (la más inmediata: ¿padecer amnesia nos lleva a dejar de ser personas?), quizás, sean las que mejor caracterizan la conciencia humana que, frente a unos algoritmos perfectamente conectados, es caracterizada por una continuidad marcada, al mismo tiempo, por interrupciones, olvidos y errores. Quizás esto contribuya a formar la unicidad de aquel que tiene una conciencia. Pero solo es una idea.

Moviéndonos hacia reflexiones más contemporáneas, John Hick propone la Replica Theory, un planteamiento que sostiene que la conciencia, si mantuviera cierta unidad psicofísica, podría ser replicada y transferida sin perder la continuidad personal. Esta postura desafía de una forma radical la concepción tradicional de la conciencia y de la subjetividad, en cuanto configura la conciencia como teóricamente persistente a los límites del cuerpo biológico. El experimento mental que ve la transferencia de la unidad psicofísica de un individuo original en su réplica implica una inestabilidad en la noción de yo, que ya no es único e irrepetible y de alguna forma diluye la conciencia en una cuestión, me atrevería a decir, técnica.

Entre muchos otros, también Derek Parfit quiso aportar su perspectiva en la cuestión de la identidad. Con una postura inspirada en el budismo, Parfit lleva al extremo la idea de continuidad psicológica llegando a plantear la cuestión de las réplicas como una ocasión para distinguir entre una identidad fuerte y una débil. Esta segunda es la que se mantendría en el caso de la transferencia del cerebro (y de los estados mentales) a una réplica, lo cual garantizaría la supervivencia del individuo. Dicho en otras palabras, lo que se conservaría sería la identidad débil, lo que da paso a un tema que guarda algún punto de contacto con la ética: la identidad no es lo que importa.

Queremos aprovechar esta reflexión de Parfit que, cuando afirma que la identidad no es lo que importa, pone el foco en que el problema de la conciencia adquiere sentido en el marco de las relaciones humanas y en la construcción de vínculos que nos permiten, de alguna forma, ser lo que somos a través de los demás. La cuestión de la relacionalidad puede representar un enfoque interesante desde el punto de vista de la comprensión de la conciencia humana. Quizás sea el punto de inflexión que nos permite vislumbrar una concepción compleja de conciencia.

VI. ¿Y si…la conciencia es una historia?

A partir de algunos elementos de esta reflexión, queremos acercarnos a lo que podría ser una explicación de la conciencia humana, que quizá no solo tenga que ver con percibirse como un ‘yo’, sino también con la construcción de una biografía personal, con la construcción de una unidad en el sentido de la propia existencia, a través de la memoria, de la narración y de todo un proceso que requiere la participación fundamental del otro como testigo de nuestra misma conciencia.

Retomando la perspectiva de Paul Ricoeur, que subraya la naturaleza dinámica de la identidad personal, afirmamos que la conciencia no es una entidad fija, ya que es el resultado de una confrontación constante de sí con el tiempo, de la manera de vivirlo y de narrarlo a nosotros mismos y a los demás. La conciencia de sí no es algo dado, sino que es la construcción de un sentido vital, la contribución a una memoria colectiva que no deja de ser individual y, por lo tanto, único.

Es la experiencia del mundo que se hace en el día a día, que además contempla un factor muy peculiar y que nada tiene que ver con la perfección de los algoritmos, ya que tiene que ver con la historicidad. La conciencia de sí es una conciencia histórica y la historia, en esta perspectiva, no está hecha solo de recuerdos, sino también, como se ha mencionado antes, por algo que es justo lo que la tecnología quiere evitar: el error y el olvido. Estas contaminaciones imprevistas son las que, a nuestro modo de ver y por lo menos hasta el día de hoy, caracterizan la conciencia humana como algo no replicable.

La cuestión moral en el ámbito del desarrollo de la IA tiene que ser abordada muy seriamente y es urgente pensar en cómo queremos enfrentarnos a los desafíos que nos plantea. Sin embargo, también es una ocasión para reafirmar los potenciales de la conciencia humana, repensar y revalorizar, quizás, lo que nos hace humanos: la historicidad y la manera de contarla, y no solo. La falta de linealidad, el fracaso, la imperfección.

Fabio Scalese
Doctor en Filosofía
Facultad de Ciencias Políticas y Sociología
Universidad Pontificia de Salamanca y Fundación Pablo VI

 

---

Bibliografía

 

Conscium, Butlin, P. (2024). Principles for Responsible AI Consciousness Research. Recuperado de Journal of Artificial Intelligence Research

Descartes, R. (1641). Meditaciones metafísicas. Alianza. Ed. 2011.

Hick, J. (1976). Death and Eternal Life. Collins.

Locke, J. (1689). Ensayo sobre el entendimiento humano. Alianza. Ed. 2008.

Parfit, D. (1984). Razones y personas. Antonio Machado. Ed. 2005

Quick, O.S. (2022). «Empathizing and Sympathizing With Robots: Implications for Moral Standing». Front Robot AI 8:791527. doi: 10.3389/frobt.2021.791527

Ricoeur, P. (1998). Sí mismo como otro. Siglo XXI.

 

^[1] Guiding research into machine consciousnes

^[2] The AI Empathy Paradox: Can Machines Understand What They Cannot Feel?

• Siguiente