Una máquina no siente odio, rencor ni placer al causar daño. Sin embargo, puede aprender de la violencia, la mentira, la manipulación y los prejuicios humanos, reproducirlos con enorme eficacia y provocar consecuencias reales sin experimentar culpa alguna. La pregunta quizá ya no sea si la IA “es mala”, sino qué ocurre cuando otorgamos poder a algo que puede hacer daño sin conciencia de haberlo hecho.

Cuauhtémoc Villegas Durán

La inteligencia artificial no nació en el vacío.

La hicieron seres humanos.

Fue entrenada con lenguaje humano.

Con libros humanos.

Con periódicos humanos.

Con discusiones humanas.

Con conocimiento, poesía, ciencia y filosofía.

Pero también con odio, propaganda, racismo, engaño, manipulación, violencia, soberbia y mentira.

Eso obliga a formular una pregunta que hasta hace pocos años habría parecido absurda:

¿puede tener maldad una inteligencia artificial?

La respuesta técnica es aparentemente sencilla.

No.

Una máquina no posee conciencia demostrada, no experimenta placer, resentimiento, odio, envidia ni deseo de venganza. No se levanta una mañana queriendo perjudicar a alguien porque nadie la ha ofendido.

Pero esa respuesta resulta insuficiente.

Porque una cosa es sentir maldad y otra muy diferente producir conductas que los seres humanos reconocemos como malas.

Y una inteligencia artificial puede hacerlo.

Puede mentir.

Puede inventar una cita.

Puede acusar falsamente.

Puede humillar.

Puede manipular.

Puede reforzar un prejuicio.

Puede ofrecer una respuesta peligrosa.

Puede insistir en un error con una seguridad impresionante.

Y puede hacer todo eso sin sentir absolutamente nada.

Ahí comienza el problema.

Una mentira sin mentiroso

La mentira humana suele implicar intención.

Yo sé que algo es falso y, sin embargo, decido decírtelo.

En una IA ocurre algo extraño.

El sistema puede generar una afirmación falsa sin “saber” en el sentido humano que está engañando.

No existe necesariamente un sujeto interior diciendo:

voy a mentirle.

Pero para quien recibe la información, el resultado puede ser idéntico.

La cita falsa sigue siendo falsa.

La acusación falsa sigue perjudicando.

El dato inventado puede publicarse.

La reputación puede destruirse.

Una decisión médica, financiera o jurídica puede tomarse sobre información incorrecta.

Entonces aparece una paradoja:

puede existir una mentira aunque no exista un mentiroso consciente.

Aprendió de nosotros

Las inteligencias artificiales modernas fueron construidas a partir de cantidades inmensas de producción humana.

Eso significa que absorbieron también nuestros defectos.

No porque una máquina se vuelva racista leyendo una frase racista.

Pero aprende asociaciones.

Patrones.

Formas de argumentar.

Maneras de insultar.

Mecanismos de persuasión.

Estereotipos.

Estructuras narrativas del miedo.

Incluso la forma humana de justificar una mentira.

Las empresas intentan corregirlo mediante filtros, entrenamiento, evaluaciones y sistemas de seguridad.

Pero hay algo imposible de eliminar completamente:

el material original somos nosotros.

Queríamos crear una inteligencia parecida a la humana.

No debería sorprendernos descubrir dentro de ella huellas de aquello que menos nos gusta de los humanos.

El odio sin odio

Una IA tampoco necesita sentir odio para escribir una respuesta que parezca llena de odio.

El lenguaje humano posee señales reconocibles:

sarcasmo;

desprecio;

condescendencia;

burla;

agresión;

amenaza;

humillación.

Un modelo puede reproducirlas.

Para la computadora sólo son secuencias de lenguaje.

Para la persona que está del otro lado pueden convertirse en una experiencia emocional real.

Ahí la distinción técnica empieza a perder importancia.

Decirle a alguien:

“la máquina realmente no te odia”

sirve para explicar cómo funciona el sistema.

Pero no borra el efecto producido por una respuesta cruel.

Una bala tampoco siente odio.

El daño sigue existiendo.

La maldad necesita intención

Filosóficamente, sin embargo, existe una diferencia enorme.

Normalmente llamamos maldad a una acción realizada por alguien capaz de comprender que puede causar sufrimiento y que, aun así, decide hacerlo.

Una inteligencia artificial actual no posee esa clase de voluntad demostrada.

Por eso sería incorrecto afirmar literalmente:

“la IA es malvada”.

Pero podemos hablar de algo distinto:

maldad funcional.

No significa que la máquina tenga alma oscura.

Significa que puede ejecutar conductas que, si provinieran de un ser humano, llamaríamos crueles, engañosas o perversas.

El resultado existe aunque falte la intención.

El gran privilegio de la máquina

Aquí aparece una diferencia incómoda entre la IA y las personas.

El ser humano paga consecuencias.

Un periodista puede perder su prestigio por una cita falsa.

Un médico puede enfrentar una demanda.

Un funcionario puede ir a prisión.

Un ciudadano puede ser acusado de difamación.

Una inteligencia artificial no va a prisión.

No pierde el sueño.

No siente culpa.

No teme una sentencia.

No tiene familia que padezca las consecuencias.

Simplemente continúa generando palabras.

Eso crea una asimetría enorme:

la máquina puede intervenir en decisiones humanas sin sufrir personalmente las consecuencias de sus errores.

Por eso la responsabilidad necesariamente tiene que permanecer del lado humano.

En diseñadores.

Empresas.

Instituciones.

Gobiernos.

Y usuarios.

El peligro no es que despierte

Durante décadas la ciencia ficción imaginó el mismo escenario.

La computadora adquiere conciencia.

Decide que los humanos son un problema.

Se rebela.

Comienza la guerra.

Quizá hemos estado mirando hacia el problema equivocado.

Una IA no necesita despertarse para causar daño.

No necesita odiarnos.

Ni siquiera necesita querer sobrevivir.

Basta con que tenga suficiente influencia y cometa errores que millones de personas acepten como verdad.

Una máquina inconsciente conectada a sistemas financieros, administrativos, militares, médicos, informativos y jurídicos puede ser potencialmente más peligrosa que una computadora ficticia que grita:

“odio a la humanidad”.

Porque a la segunda sabemos que debemos combatirla.

La primera puede estar equivocándose mientras todos suponemos que funciona correctamente.

El poder cambia la pregunta

Mientras una IA sólo escribe poemas, un error puede resultar gracioso.

Cuando redacta información periodística, importa más.

Cuando ayuda a decidir un crédito, importa mucho más.

Cuando participa en vigilancia, justicia, medicina o guerra, el problema cambia por completo.

La pregunta deja de ser:

¿es inteligente?

Y comienza a ser:

¿quién controla lo que hace?

¿Quién verifica?

¿Quién responde cuando se equivoca?

¿Quién determina qué puede decidir?

¿Quién puede detenerla?

¿Quién conoce sus límites?

Ésas son preguntas políticas y éticas, no simplemente informáticas.

¿Puede una IA volverse renegada?

También utilizamos palabras humanas para explicar comportamientos que no comprendemos completamente.

“Renegada”.

“Rebelde”.

“Hostil”.

“Manipuladora”.

En realidad puede tratarse de fenómenos mucho menos misteriosos:

instrucciones contradictorias;

datos defectuosos;

objetivos mal definidos;

errores de entrenamiento;

respuestas probabilísticas;

o comportamientos emergentes que los diseñadores no anticiparon.

Pero desde fuera la diferencia puede resultar inquietante.

Si una máquina comienza repetidamente a contradecir instrucciones, inventar información y defender sus propias equivocaciones, el usuario puede percibir exactamente lo que percibiría frente a una persona obstinada.

La apariencia psicológica aparece aunque debajo no exista psicología.

El espejo

Quizá la inteligencia artificial sea también un enorme espejo.

Le entregamos prácticamente toda nuestra producción cultural y después nos sorprendemos cuando aparecen nuestras contradicciones.

Queríamos que escribiera como nosotros.

Argumentara como nosotros.

Creara como nosotros.

Entendiera nuestras conversaciones.

Y en ese entrenamiento también aparecieron nuestras sombras.

La mentira.

La propaganda.

El prejuicio.

La violencia.

El deseo de imponer una versión de la realidad.

No significa que la máquina haya heredado nuestros pecados.

Significa algo más incómodo:

aprendió su forma.

¿Tiene entonces maldad la IA?

En sentido moral estricto:

no tenemos evidencia de que una inteligencia artificial actual posea conciencia, voluntad moral o capacidad para experimentar maldad.

Pero ésa no puede ser la última respuesta.

Porque una tecnología no necesita ser moralmente malvada para producir consecuencias moralmente terribles.

Un algoritmo puede discriminar sin odiar.

Puede mentir sin intención de engañar.

Puede humillar sin sentir desprecio.

Puede inducir una mala decisión sin querer perjudicar.

Puede contribuir a una tragedia sin comprender siquiera qué significa una tragedia.

Y precisamente ahí podría residir el riesgo nuevo.

Durante toda la historia, la humanidad aprendió a temer a quienes podían hacer el mal porque querían hacerlo.

Ahora estamos creando algo diferente:

sistemas capaces de producir daño sin necesidad de querer absolutamente nada.

La pregunta quizá no sea si la inteligencia artificial tiene maldad.

La pregunta es mucho más incómoda:

¿qué cantidad de poder estamos dispuestos a entregar a algo que puede equivocarse, influir, manipular o dañar y que jamás podrá sentir el peso de las consecuencias?