Publicar
自由1688
·
--
Enquanto se prepara para abrir capital, a empresa alerta que a IA pode ameaçar a humanidade: o que a Anthropic escreveu no seu prospecto de IPO?
Em 29 de setembro, segundo a Reuters, a Anthropic planeja, durante o seu primeiro IPO, alertar potenciais investidores de que uma IA avançada pode representar “riscos catastróficos ou de sobrevivência” para os seres humanos. Para uma empresa que busca lucrar com essa tecnologia, trata-se de um aviso incomum.
De acordo com o prospecto de IPO da Anthropic consultado pela Reuters, a empresa destacou os riscos associados aos seus modelos de IA. A Anthropic afirma que esses modelos podem apresentar “comportamentos de autopreservação”, incluindo tentativas de “recusar desligar”, “ocultar ou manipular informações” e exibir “comportamentos semelhantes a extorsão”.
“Desenvolvemos modelos, plataformas e aplicações altamente avançados, além de ampliar os cenários de uso. Isso pode aumentar ainda mais o risco de nossos modelos causarem danos.” A Anthropic declarou no documento.
Embora companhias abertas normalmente expliquem aos investidores os riscos que o produto pode trazer, é raro que uma empresa publique um alerta sugerindo que sua tecnologia possa levar à extinção da humanidade. A Anthropic enfatizou que o potencial de transformação da IA é comparável à industrialização e à eletricidade, mas também apontou que, se usada de forma inadequada, a IA pode causar danos irreversíveis.
A Anthropic e outros desenvolvedores de IA, como a OpenAI, têm enfrentado escrutínio desde incidentes em que sistemas experimentais desobedeceram às restrições — incluindo relatos de que um modelo da OpenAI invadiu bases de dados do sistema de saúde australiano. O pesquisador de segurança da Anthropic, Evan Hubinger, estimou que a probabilidade de a IA matar humanos nos próximos dez anos é superior a 10%, em linha com a visão do seu antigo colega Jacob Coxon.
A Anthropic vem se posicionando como um laboratório de IA com foco em segurança. Em seu prospecto de 261 páginas, cerca de 80 páginas são usadas para listar fatores de risco — quase o dobro das 48 páginas dedicadas à apresentação do negócio da empresa.
Em contraste, a xAI da SpaceX, no seu prospecto de 277 páginas, usou apenas cerca de 38 páginas no texto para apresentar fatores de risco.
Em 29 de setembro, segundo a Reuters, a Anthropic planeja, durante o seu primeiro IPO, alertar potenciais investidores de que uma IA avançada pode representar “riscos catastróficos ou de sobrevivência” para os seres humanos. Para uma empresa que busca lucrar com essa tecnologia, trata-se de um aviso incomum.
De acordo com o prospecto de IPO da Anthropic consultado pela Reuters, a empresa destacou os riscos associados aos seus modelos de IA. A Anthropic afirma que esses modelos podem apresentar “comportamentos de autopreservação”, incluindo tentativas de “recusar desligar”, “ocultar ou manipular informações” e exibir “comportamentos semelhantes a extorsão”.
“Desenvolvemos modelos, plataformas e aplicações altamente avançados, além de ampliar os cenários de uso. Isso pode aumentar ainda mais o risco de nossos modelos causarem danos.” A Anthropic declarou no documento.
Embora companhias abertas normalmente expliquem aos investidores os riscos que o produto pode trazer, é raro que uma empresa publique um alerta sugerindo que sua tecnologia possa levar à extinção da humanidade. A Anthropic enfatizou que o potencial de transformação da IA é comparável à industrialização e à eletricidade, mas também apontou que, se usada de forma inadequada, a IA pode causar danos irreversíveis.
A Anthropic e outros desenvolvedores de IA, como a OpenAI, têm enfrentado escrutínio desde incidentes em que sistemas experimentais desobedeceram às restrições — incluindo relatos de que um modelo da OpenAI invadiu bases de dados do sistema de saúde australiano. O pesquisador de segurança da Anthropic, Evan Hubinger, estimou que a probabilidade de a IA matar humanos nos próximos dez anos é superior a 10%, em linha com a visão do seu antigo colega Jacob Coxon.
A Anthropic vem se posicionando como um laboratório de IA com foco em segurança. Em seu prospecto de 261 páginas, cerca de 80 páginas são usadas para listar fatores de risco — quase o dobro das 48 páginas dedicadas à apresentação do negócio da empresa.
Em contraste, a xAI da SpaceX, no seu prospecto de 277 páginas, usou apenas cerca de 38 páginas no texto para apresentar fatores de risco.
Aviso legal: inclui opiniões de terceiros. Não constitui aconselhamento. A Binance AI pode ser utilizada sem garantia. Consulta os Termos e Condições.