Convergencia instrumental

Carta Común · N.º 318988

La convergencia instrumental es la tendencia hipotética de la mayoría de los agentes suficientemente inteligentes a perseguir objetivos instrumentales potencialmente ilimitados, como la autopreservación y la adquisición de recursos, siempre que sus objetivos finales no tengan límites. La convergencia instrumental sugiere que un agente inteligente con objetivos ilimitados pero aparentemente inofensivos puede actuar de maneras sorprendentemente dañinas. Por ejemplo, una computadora con el único objetivo ilimitado de resolver la hipótesis de Riemann podría intentar convertir toda la Tierra en un computronio en un esfuerzo por aumentar su potencia de cálculo para que pueda tener éxito en sus cálculos.​ Las unidades básicas de inteligencia artificial (IA) propuestas incluyen la función de utilidad o la integridad del contenido del objetivo, la autoprotección, la ausencia de interferencias, la mejora de sí mismas y la adquisición insaciable de recursos adicionales.

Leer en Wikipedia