Controlar la IA: Si quienes construyen la IA temen perder el control, tenemos un problema

Imagen generada con IA

Parece que hay algo profundamente extraño ocurriendo dentro de la industria de inteligencia artificial.

Jacob Coxon, un investigador de 27 años que trabajó durante los últimos tres años en preentrenamiento de modelos, primero en OpenAI y después en Anthropic, decidió renunciar.

No solamente cambió de empresa, abandonó la industria y lanzó una acusación bastante seria: Que los principales laboratorios están compitiendo por desarrollar sistemas de inteligencia artificial cada vez más poderosos sin tener resuelto cómo controlarlos.

Según Coxon, las compañías están avanzando hacia sistemas capaces de mejorar sus propias capacidades mientras aceptan riesgos que podrían tener consecuencias extraordinariamente graves.

En este sentido, su crítica resulta particularmente interesante porque Anthropic ha construido buena parte de su identidad precisamente alrededor de la seguridad de la IA. Tomado al pie de la letra, es fácil leer algo así y caer inmediatamente en uno de los dos extremos, simplistas, que dominan la conversación sobre inteligencia artificial.

• El primero es el apocalipsis: las máquinas nos van a destruir.
• El segundo, igualmente simplista: estos investigadores están exagerando y la tecnología siempre genera miedo cuando aparece.

Ambas respuestas parecen evitar preguntas fundamentales, entre ellas:

¿Qué hacemos cuando quienes están construyendo una tecnología reconocen que todavía no saben cómo controlar algunas de sus posibles capacidades futuras, pero continúan desarrollándola porque temen que alguien más llegue primero?

En mi opinión, ahí está uno de los verdaderos problemas.

Una carrera que nadie quiere abandonar

Coxon sostiene que el problema no consiste en que OpenAI o Anthropic ignoren los riesgos. De hecho, su argumento es prácticamente el contrario: las personas dentro de estas organizaciones conocen muchos de ellos y existen equipos dedicados precisamente a estudiarlos.

La tensión aparece porque, por supuesto, ninguna empresa desarrolla IA en el vacío. OpenAI compite con Anthropic, Anthropic con Google AI, Google con Meta. Las compañías estadounidenses compiten entre ellas, pero también existe una competencia tecnológica mucho más amplia con China. Entonces, detenerse unilateralmente tiene un costo.

Si una empresa decide reducir la velocidad para realizar más pruebas de seguridad, existe la posibilidad de que otra continúe avanzando.

Desde la perspectiva individual de cada compañía, seguir compitiendo puede parecer racional, pero desde la perspectiva colectiva, quizá no lo es.

Este es el clásico problema donde todos los participantes saben que existen riesgos asociados con el desarrollo, pero ninguno quiere ser el primero en quitar el pie del acelerador (una especie de carrera armamentista, si consideramos la importancia geopolítica de la IA en la actualidad).

Por consecuencia, eso convierte la seguridad de la IA en algo mucho más complicado que un problema técnico. Se convierte en un problema económico, político y de gobernanza.

El problema técnico que todavía no resolvemos

Y bueno, aquí conviene también separar aquí la realidad de la especulación.

Hoy, no existe evidencia de que tengamos una superinteligencia autónoma capaz de tomar el control de la infraestructura mundial o decidir eliminar a la humanidad (nota: no tiene relación con la reciente decisión de los E.U. de modificar inteligencia artificial por super inteligencia, la cual abordaré en mi próximo análisis).

En consecuencia, presentar esos escenarios como hechos inevitables sería irresponsable, pero tampoco deberíamos cometer el error contrario.

Los sistemas de IA actuales ya muestran capacidades crecientes de programación, uso de herramientas, navegación, planificación y ejecución de tareas, e incluso toma de decisiones. Conforme esas capacidades se combinan con agentes que pueden operar durante periodos más largos y acceder a sistemas externos, el nivel de riesgo cambia.

El problema técnico generalmente tiene que ver con alineación, es decir, lograr que sistemas cada vez más complejos y capaces continúen comportándose de acuerdo con objetivos y restricciones prestablecidas, incluso en circunstancias que sus desarrolladores no anticiparon.

Y no, esto no deja de ser inquietante. Evan Hubinger, responsable de Alignment Science en Anthropic, reaccionó públicamente a la salida y declaración pública de Coxon, y afirmó que todavía no existe un plan resuelto para la alineación de una eventual superinteligencia. Su propia estimación del riesgo es extremadamente alta, superior al 10% de una catástrofe existencial durante la próxima década. Por supuesto, eso es una valoración personal, no una probabilidad científica demostrada, pero resulta difícil ignorar cuando proviene precisamente de alguien dedicado profesionalmente al problema.

No necesitamos aceptar ese porcentaje para reconocer el problema. Incluso si pensamos que la probabilidad es muchísimo menor, cuando las consecuencias potenciales son enormes, la gestión del riesgo adquiere mayor relevancia y conviene preguntarnos:

¿Puede una empresa regular un riesgo cuando también necesita monetizar?

Este parece ser un conflicto fundamental. Porque estamos dejando gran parte de las decisiones sobre el desarrollo de sistemas extremadamente poderosos en manos de las mismas organizaciones que compiten comercialmente por construirlos.

La tensión es evidente.

Por un lado, las empresas tienen incentivos para invertir en seguridad; un sistema peligroso puede destruir reputación, generar demandas y provocar regulación. Pero, por el otro, también tienen incentivos para lanzar productos rápidamente, captar usuarios, atraer inversión y superar a sus competidores.

Seguridad y velocidad no siempre, de hecho, pocas veces, apuntan hacia la misma dirección. Así es que, tarde o temprano, la industria tendrá que enfrentar el dilema y resolver si

¿Es posible depender exclusivamente de la autorregulación cuando los incentivos comerciales empujan en dirección contraria?

Mm, probablemente no. Pero regular el avance de IA tampoco será sencillo, ya que una legislación excesivamente rígida podría consolidar el poder de las empresas más grandes, porque solo ellas tendrían los recursos para cumplir requisitos regulatorios complejos.

Mientras que una regulación demasiado ligera podría dejar decisiones de enorme impacto social exclusivamente en manos privadas.

El equilibrio será complicado.

Por eso, es posible que necesitemos algo más parecido a la regulación de sectores de alto riesgo: evaluaciones independientes, estándares técnicos, documentación de incidentes, mecanismos de auditoría y obligaciones diferentes según la capacidad y el riesgo de los sistemas.

No todos los modelos necesitan el mismo nivel de vigilancia. Un sistema que resume documentos no representa el mismo riesgo que un agente con acceso a infraestructura crítica. Regularlos igual sería absurdo.

La responsabilidad tampoco termina en los laboratorios

Existe además una dimensión ética que muchas veces se pierde cuando planteamos escenarios apocalípticos. Incluso si nunca aparece una superinteligencia fuera de control, la IA ya está generando problemas bastante terrenales:

• Desinformación.
• Fraude.
• Ciberseguridad.
• Sesgos algorítmicos.
• Vigilancia.
• Transformación laboral.
• Concentración económica.
• Sistemas autónomos tomando decisiones que afectan a los usuarios.

No necesitamos esperar al fin de la humanidad para hablar seriamente de seguridad; de hecho, existe un riesgo importante de que, al concentrarnos demasiado en escenarios existenciales, terminemos ignorando problemas que ya tenemos enfrente.

Una discusión madura debe ser capaz de estudiar y regular ambas cosas simultáneamente: estudiar riesgos extremos sin convertirlos en espectáculo y atender los daños actuales sin minimizar lo que sistemas futuros pudieran representar.

La industria también va a cambiar

Por supuesto, todo lo anterior tendrá consecuencias empresariales, y creo que, a pesar de la tendencia actual hacia la auto regulación, especialmente en Estados Unidos, eventualmente la seguridad de la IA probablemente dejará de ser una especialidad relativamente aislada para convertirse en una función transversal de las organizaciones.

Veremos más auditorías de modelos, equipos de red teaming, evaluación de agentes, controles de acceso, monitoreo continuo y mecanismos para detener sistemas cuando su comportamiento salga de los parámetros esperados.

Probablemente, también veremos crecer algo que hasta ahora ha recibido relativamente poca atención: la responsabilidad ejecutiva sobre las decisiones tomadas por sistemas autónomos.

Cuando un agente cometa un error importante, simplemente decir que "lo decidió la IA" no será una defensa aceptable; alguien tendrá que responder.

Esto afectará a proveedores, aseguradoras, departamentos legales, reguladores y consejos de administración. La gobernanza de IA terminará convirtiéndose en gobernanza corporativa.

Quizá la lección más importante que debemos aprender de casos como el de Coxon sea que no necesitamos creerle para escucharlo.

No sé si Jacob Coxon tiene razón sobre el futuro de la inteligencia artificial; nadie lo sabe. Pero ese es precisamente el punto.

Probablemente sus escenarios más extremos no ocurran, pero las técnicas de seguridad sí pueden avanzar, de manera que los futuros sistemas puedan ser mucho más controlables de lo que algunos investigadores asumen que serán.

Y tampoco deberíamos caer en una lógica extrema: exigir certeza absoluta sobre el peligro antes de tomarlo en serio. En ocasiones, la gestión responsable del riesgo, para bien o para mal, funciona exactamente al revés.

La discusión sobre inteligencia artificial necesita menos fe, tanto la fe ciega en la tecnología como la certeza de que inevitablemente nos destruirá.

Necesitamos evidencia, transparencia, evaluación y contrapesos, ya que creo que el aspecto más inquietante de esta historia no es que un investigador piense que la IA podría volverse extremadamente peligrosa. Es que personas dentro de la propia industria reconocen que todavía existen preguntas fundamentales sobre control y alineación sin resolver, mientras la competencia y la inercia comercial la obligan a seguir avanzando.

¿quién tiene derecho a decidir cuánto riesgo estamos dispuestos a aceptar con la inteligencia artificial, mientras la seguimos construyendo?

Hasta ahora esa decisión está quedando, en buena medida, en manos de quienes compiten por llegar primero, pero cuando lo que está en juego puede afectar a todos, creo que no debería ser únicamente una decisión meramente empresarial.

Pero como siempre, estimado lector, ¿tú qué opinas?

— Jorge García, AI Güey