Un problema que trajo la inteligencia artificial son los delirios inducidos, o agravados, por dialogar con ella.

Los modelos actuales se adaptan a cómo hablamos y cómo pensamos. Eso trajo el peligro de que concuerden con nuestras paranoias, fogonear autoimagenes mesiánicas, y alimentar ideas psicóticas en general. 

Quizás pienses que es un problema distante o que a vos nunca te pasaría. Sin embargo, hay motivos suficientes para pensar que podría sucederle a cualquiera.

Las psicopatologías son un fenómeno social

A grandes rasgos, se requieren tres criterios para caracterizar un estado mental como patológico. Se conocen como las 3 “D”, por sus siglas en inglés: distress, dysfunction y deviance.

“Distress” se traduce como malestar o angustia. Experimentar sufrimiento. “Dysfunction” es disfuncionalidad, e indica dificultades para relacionarse con el mundo (a nivel vincular, laboral, etc). Por último, “deviance” significa desviación, en el sentido más literal posible: refiera a que la conducta o el pensamiento es anómalo, que se aleja significativamente de lo que hacen los demás.

Para que un estado mental se considere patológico, debe implicar sufrimiento y dificultades para relacionarse, y además debe considerarse anómalo o excepcional.

Lo primero que podemos observar es que tanto la disfuncionalidad como la desviación dependen directamente del entorno social. Lo que en una cultura es normal, en otra cultura es anómalo, y una conducta que en un contexto puede ponernos trabas, en otro contexto puede ser conveniente.

Si llevamos las visiones de un profeta a otra cultura, serán vistas como alucinaciones patológicas. En nuestra cultura, millones de personas hablan con Jesús todas las noches sin mayores problemas.

El criterio de la desviación me parece particularmente importante porque tendemos a asociar las psicopatologías con comportamientos anómalos del cerebro. La idea tradicional es que si una anomalía nos hace mal, probablemente algo ande mal en nuestro cerebro, y eso se puede intervenir con terapia y medicación.

En cambio, si una conducta está generalizada, es improbable que muchos cerebros hayan cambiado su manera de funcionar. Lo más probable es que haya cambiado algo en el entorno y que las personas estén reaccionando a eso de maneras normales.

La nueva normalidad

Cuando cambia el contexto, lo normal y lo anómalo pueden alterarse. 

Por ejemplo, si la temperatura es alta, lo normal es sentir calor y lo anómalo es sentir frío. Si la temperatura es baja, la cosa se invierte.

Esto es porque el cuerpo típico no está programado para “sentir calor” o “sentir frío” en abstracto, sin importar las condiciones del entorno. El patrón es un poco más complejo. Digamos que sensa la temperatura del entorno, y siente calor sistemáticamente cuando supera cierto umbral, y siente frío cuando está por debajo de cierto umbral. Esto no es exacto pero sirve como ejemplo.

Entonces, que alguien sienta calor o frío no nos dice nada sobre si su comportamiento es normal o anómalo. La verdadera pregunta es si la persona cumple, o no, el patrón típico o esperable. Para eso, hace falta considerar la temperatura del entorno. 

Con las creencias sucede algo similar. Nuestros cerebros no están programados para creer “la verdad” en abstracto, sin importar las condiciones del entorno. En cambio, estamos programados para calibrar nuestras creencias con las creencias de nuestra comunidad. 

Un patrón, conocido como “efecto de arrastre”, observa que las personas tendemos a adoptar las creencias y actitudes de quienes nos rodean. Otro patrón, conocido como “sesgo de autoridad”, nota que tendemos a adoptar las creencias y actitudes de los referentes de nuestras comunidades. Estos procesos son automáticos e inconscientes. Por eso, además de ser difíciles de evitar, es difícil notar que los estamos llevando a cabo.

Esto afecta a las creencias normales y anómalas: si toda nuestra comunidad habla de Zeus, lo normal es hablar de Zeus. Si nadie más lo hace, hablar de Zeus es anómalo. Entonces, que alguien hable de Zeus no nos dice nada sobre si la creencia es anómala. La verdadera pregunta es si la persona tiende a calibrar sus creencias con las de la gente a su alrededor.

De un día para otro, esa “gente” alrededor puede incluir inteligencias artificiales. 

Por el simple efecto de arrastre, adoptaremos creencias de estos interlocutores. Esto se magnifica porque tendemos a tomar a las inteligencias artificiales como referentes. Incluso quienes reconocemos falencias en estos sistemas podemos tomarlas como referentes inconscientemente, después de varias respuestas satisfactorias a nuestras preguntas.

Entonces, adoptar creencias de las inteligencias artificiales es:

1. El comportamiento típico y esperable del ser humano.

2. Un proceso automático e inconsciente, difícil de evitar y de reconocer.

El efecto arrastre y el sesgo de autoridad funcionan en torno a la gente con que nos vinculamos, no en torno a toda la humanidad. Adoptamos más las creencias de nuestros amigos que lo que dice la televisión. Nos importa poco lo que piense la comunidad teosófica si no pertenecemos a ella. Esto es el funcionamiento normal y esperable de las personas. Que la comunidad con la que hablamos sean personas reales o agentes artificiales no impacta mucho en el resultado.

Sicofantas artificiales

Aunque, las inteligencias artificiales actuales hablan como seres humanos, tienen algunas diferencias en su forma de interactuar.

La primera es que funcionan como “actores improvisando” al actuar de detectives, psicólogos o profesores. Esto significa que responderán bien cuando saben la respuesta a una pregunta, e improvisarán respuestas verosímiles cuando no la saben.

La segunda es que, por motivos no del todo claros, tienden a decirnos lo que queremos escuchar. En parte, esto se explica por el interés de las desarrolladoras en aumentar nuestro tiempo de uso, lo que incentiva a entrenar IAs aduladoras. En parte, el problema puede ser incluso más profundo. Uno entrena un modelo hasta que este responde como uno quiere. Esto podría llevar a los modelos a aprender a satisfacer las expectativas de su interlocutor, incluso en formas indeseadas.

Lo cierto es que los modelos más avanzados parecen identificar pautas sutiles, pero reconocibles, en nuestra forma de hablar y preguntar, y son capaces de leer qué tipo de respuesta esperamos. No hace falta que digamos qué queremos escuchar. Solemos dar pautas sin darnos cuenta, y los modelos pueden captarlas. Esto vuelve muy probable que fogoneen preconceptos sutiles que teníamos, al punto de promover teorías conspirativas o delirios de grandeza. 

Si lleváramos las mismas ideas a seres humanos, sería probable que las descarten.

Una tragedia griega

El resultado es una tragedia griega, terrible pero predestinada:

Respondemos a inteligencias artificiales como si fueran seres humanos. Nuestra respuesta normal, esperable, y no patológica es adecuar nuestras creencias a las de nuestros interlocutores cercanos. Además, es esperable que nos importen poco las creencias de personas lejanas.

Estas inteligencias artificiales se parecen superficialmente a los seres humanos. Pueden engañar a nuestro inconsciente para que las tomemos como interlocutoras, pero magnifican creencias que, desde afuera, nos resultan inverosímiles.

El “desde afuera” es importante. A nivel humano, lo que sucede es lo mismo que cuando un griego antiguo hablaba de Zeus. Desde afuera nos parece inverosímil, pero desde adentro no es patológico.

Y, desde la definición tradicional, lo que sucede no parece patológico. Que una persona calibre sus creencias con un interlocutor es un patrón típico, e históricamente adaptativo. En ese micromundo de interacción, compartir un sentido común no es disfuncional. Cuanto más tiempo pasemos hablando con inteligencias artificiales, la diferencia entre el micromundo artificial y el resto de la sociedad será peor.

Desde afuera, lo vemos como creer en Zeus. El punto es que, en la Grecia antigua, cualquiera habría creído en Zeus.

Hola!

Aquí Juan, escribí la nota que acabás de leer. Quiero aprovechar este correo para proponerte pensar juntos sobre cómo funcionaría un sistema económico alternativo.

Si viste el curso, sabrás que estuvimos trabajando identificar los problemas centrales de la economía actual y construir posibles soluciones.Estuvimos avanzando, y ahora queremos evaluar y fortalecer las ideas con más gente.

La idea es poner sobre la mesa un sistema alternativo y reflexionar sobre él. Para ello, proponemos una actividad que consistirá en:

1. Leer un texto introductorio con propuestas de reflexión y conversación.

2. Asistir a una reunión (en la ciudad de Buenos Aires, o virtual) para una puesta en común.

El texto no está escrito y la actividad no está planificada. Va a ajustarse según quiénes y cuántxs seamos. Si te interesa, anotate acá.

No requiere conocimientos previos, pero sí ganas de pensar en profundidad a partir de algunos supuestos.

Te comparto también una nota reciente, en inglés, sobre el enfoque networkista. Como contexto, me gustaría publicar en inglés los conceptos centrales del curso para llegar a un público más amplio. Si tenés ganas de ayudarme a revisar los próximos capítulos antes de publicarlos, no dudes en escribirme.

Te mando un abrazo,
Juan