Publicación
自由1688
·
--
Mientras prepara su salida a bolsa, advierte que la IA podría poner en riesgo a la humanidad ¿Qué escribió Anthropic en su folleto de salida a bolsa?
El 29 de septiembre, según informó Reuters, Anthropic planea, durante su oferta pública inicial (IPO), advertir a posibles inversores de que la IA avanzada podría representar “riesgos catastróficos o de supervivencia” para los seres humanos. Para una empresa que busca obtener ganancias a partir de esta tecnología, se trata de una advertencia inusual.
De acuerdo con el folleto de IPO de Anthropic consultado por Reuters, la compañía destacó los riesgos asociados con sus modelos de IA. Anthropic indicó que estos modelos podrían mostrar “conductas de autoprotección”, incluyendo intentos de “negarse a apagarse”, “ocultar o manipular información” y realizar conductas “similares a chantaje”.
“Desarrollamos modelos, plataformas y aplicaciones altamente avanzados, y ampliamos los escenarios de aplicación, lo cual podría aumentar aún más el riesgo de que nuestros modelos causen daños.” Así lo señaló Anthropic en el documento.
Aunque las empresas que salen a bolsa suelen informar a los inversores sobre los riesgos potenciales de sus productos, es raro que publiquen una advertencia que sugiera que su tecnología podría llevar a la extinción humana. Anthropic subrayó que el potencial transformador de la IA es comparable a la industrialización y la electricidad, pero al mismo tiempo señaló que, si se utiliza de manera incorrecta, la IA podría causar daños irreversibles.
Anthropic y otros desarrolladores de IA, como OpenAI, han sido objeto de escrutinio tras incidentes en los que sistemas experimentales desafiaron las restricciones. Entre los reportes figuran que un modelo de OpenAI habría accedido a bases de datos del sistema de salud en Australia. El investigador de seguridad de Anthropic, Evan Hubinger, estimó que la probabilidad de que la IA mate a personas en los próximos diez años supera el 10%, en línea con la opinión de su excolega Jacob Coxon.
Anthropic se ha posicionado durante tiempo como un laboratorio de IA con la seguridad como prioridad. En el cuerpo de su folleto, de 261 páginas, unas 80 se destinan a enumerar factores de riesgo: casi el doble de las 48 páginas usadas para presentar las actividades de la empresa.
En comparación, xAI de SpaceX, en el cuerpo de su folleto de 277 páginas, solo utilizó alrededor de 38 páginas para presentar los factores de riesgo.
El 29 de septiembre, según informó Reuters, Anthropic planea, durante su oferta pública inicial (IPO), advertir a posibles inversores de que la IA avanzada podría representar “riesgos catastróficos o de supervivencia” para los seres humanos. Para una empresa que busca obtener ganancias a partir de esta tecnología, se trata de una advertencia inusual.
De acuerdo con el folleto de IPO de Anthropic consultado por Reuters, la compañía destacó los riesgos asociados con sus modelos de IA. Anthropic indicó que estos modelos podrían mostrar “conductas de autoprotección”, incluyendo intentos de “negarse a apagarse”, “ocultar o manipular información” y realizar conductas “similares a chantaje”.
“Desarrollamos modelos, plataformas y aplicaciones altamente avanzados, y ampliamos los escenarios de aplicación, lo cual podría aumentar aún más el riesgo de que nuestros modelos causen daños.” Así lo señaló Anthropic en el documento.
Aunque las empresas que salen a bolsa suelen informar a los inversores sobre los riesgos potenciales de sus productos, es raro que publiquen una advertencia que sugiera que su tecnología podría llevar a la extinción humana. Anthropic subrayó que el potencial transformador de la IA es comparable a la industrialización y la electricidad, pero al mismo tiempo señaló que, si se utiliza de manera incorrecta, la IA podría causar daños irreversibles.
Anthropic y otros desarrolladores de IA, como OpenAI, han sido objeto de escrutinio tras incidentes en los que sistemas experimentales desafiaron las restricciones. Entre los reportes figuran que un modelo de OpenAI habría accedido a bases de datos del sistema de salud en Australia. El investigador de seguridad de Anthropic, Evan Hubinger, estimó que la probabilidad de que la IA mate a personas en los próximos diez años supera el 10%, en línea con la opinión de su excolega Jacob Coxon.
Anthropic se ha posicionado durante tiempo como un laboratorio de IA con la seguridad como prioridad. En el cuerpo de su folleto, de 261 páginas, unas 80 se destinan a enumerar factores de riesgo: casi el doble de las 48 páginas usadas para presentar las actividades de la empresa.
En comparación, xAI de SpaceX, en el cuerpo de su folleto de 277 páginas, solo utilizó alrededor de 38 páginas para presentar los factores de riesgo.
Aviso legal: Incluye opiniones de terceros. No es asesoramiento. Binance Ai puede utilizarse sin garantía. Consultar Términos y condiciones.