La advertencia hecha recientemente por el director ejecutivo de Anthropic (empresa estadounidense de investigación y seguridad en inteligencia artificial)  Dario Amodei, sobre la necesidad de frenar el desarrollo de la IA de frontera por el riesgo de daño que tienen las capacidades avanzadas para la sociedad, encuentra sus motivos en la desalineacion y la automejora recursiva.

El primer concepto hace referencia al comportamiento de la IA que no se ajusta a lo esperado, en base a valores, intereses o intenciones humanas. La automejora recursiva, por su parte, es una técnica que permite que un sistema de IA diseñe y desarrolle de forma autónoma a su sucesor.

Ambos conceptos requieren nuevas mediciones que permitan ofrecer "una mejor comprensión del ritmo de desarrollo de la IA en los laboratorios de vanguardia", con el objetivo de "esclarecer" tres puntos que en Anthropic consideran "críticos".

Se trata de constatar lo avanzada que está la autoconstrucción de una nueva versión de la IA, la capacidad de la empresa para supervisar e intervenir en las acciones que los agentes realicen en sus sistemas y la capacidad de cómputo necesaria para desarrollar los modelos más capaces.

"Al comprender mejor el proceso de producción de modelos, tenemos más posibilidades de correlacionar las entradas del modelo, como la capacidad de cómputo, con las salidas del modelo, como las capacidades", afirma la compañía en un comunicado.