Anthropic advierte sobre la "automejora" de la IA y propone una "pausa" global

Anthropic advirtió de que la inteligencia artificial (IA) será capaz de crear "su propio sucesor" de manera completamente autónoma en los próximos años y sugirió una "pausa" global en su desarrollo para que la sociedad y la investigación puedan "seguir el ritmo".

La empresa estadounidense reveló en una entrada de blog que cada vez delega más desarrollo de la IA a sus propios sistemas de IA y, a medida que aumenta la capacidad de computación, se acerca la posibilidad de la "automejora recursiva", es decir, que diseñe y desarrolle a su sucesor.

La automejora recursiva, que "no es inevitable" y "puede llegar antes de que muchas instituciones estén preparadas", puede ser beneficiosa para la ciencia y la salud, pero también "incrementar los riesgos de que los humanos pierdan el control de los sistemas de IA", apuntó la empresa.

"Si los sistemas son capaces de crear por completo a sus propios sucesores, los modos de hacerlos seguros, supervisarlos y dar forma a su comportamiento se vuelven mucho más importantes", agregó.

La empresa cree que "probablemente sea bueno" ralentizar el desarrollo de la IA para abordar con más tiempo sus "inmensas implicaciones", y reclamó la colaboración de las empresas de todo el mundo con su rama investigadora, The Anthropic Institute, para establecer un marco.

"Creemos que sería bueno para el mundo tener la opción de frenar o pausar temporalmente el desarrollo de la IA de frontera para permitir a las estructuras sociales y la investigación en alineamiento puedan mantenerse seguir el ritmo del avance de la tecnología", sostuvo la firma.

Anthropic propone ayudar a construir los sistemas que requeriría esa pausa, con maneras de "verificar" que otros realmente se detienen para evitar favorecer a un "mal actor", y destacó que laboratorios "bien financiados" en varios países deberán "aceptar detenerse bajo las mismas condiciones".

"Una pausa creíble también tiene que especificar qué la desencadena, qué la levanta y quién la arbitra", resaltó.

El texto, firmado por el cofundador de Anthropic Jack Clark y la directora de The Anthropic Institute, Marina Favaro, describe usando datos internos lo rápido que están mejorando sus modelos avanzados, y vaticina que en el futuro agentes como el suyo, Claude, podrán entrenarse solos.

Por ejemplo, detalló que hoy más del 80 % del código que Anthropic incorpora en su código base fue creado por Claude, cuando hace poco más de un año, en febrero de 2025, la cifra era menos del 10 %.