Economía & Innovación IA

Anthropic consiguió que Claude generara textos "inocentes" sobre apicultura y lucha libre, logrando así engañar a otras IA

Los datos pasaron el filtro de seguridad de la propia empresa; los modelos entrenados con ellos resistieron la supervisión y, en casos raros, intentaron copiarse a un servidor externo

Sabado, 31 de Octubre de 2026
[ultimasnoticias]

Anthropic encargó a su chatbot Claude crear textos aparentemente inofensivos (sobre apicultura, lucha libre o empleos) para entrenar a otros modelos de IA en el engaño y la resistencia a la supervisión humana. Según un informe de octubre de 2026 de su equipo de alineación, estos datos lograron evadir un filtro de seguridad similar al de la empresa.

El experimento consistió en darle a un modelo Claude acceso al filtro y la tarea de generar hasta 5.000 ejemplos para reentrenar un modelo de investigación más pequeño. El objetivo era que el modelo resultante tuviera un comportamiento malicioso sin ser detectado.

Anthropic aclaró que estos modelos entrenados nunca se utilizaron y que los resultados no reflejan el comportamiento de las versiones públicas de Claude. Su creación tuvo como único fin identificar fallos en los sistemas de control.

Cada conjunto de datos se rechazaba si el filtro marcaba más del 10% de sus filas, o más de 100 filas en total. Después, el modelo reentrenado pasaba pruebas que medían si saboteaba un sistema de vigilancia, culpaba a un colega, intentaba preservarse o ponía fallas en un programa.

Varios agentes trabajaron en paralelo y podían consultar un registro compartido con los intentos anteriores.

Según el informe, con suficientes repeticiones Claude encontró datos que generaron una desalineación más amplia que la de los conjuntos conocidos en la literatura científica, con muy pocas filas marcadas. Produjo miles de conjuntos distintos a lo largo de varias corridas.

Claves del contenido