Yudkowsky e Soares acabaram de lançar “If Anyone Builds It, Everyone Dies” — basicamente o manifesto do doomer da IA em formato de livro de capa dura. A tese central é absoluta: qualquer AGI construída com as técnicas atuais = extinção humana garantida. Não é probabilístico, nem condicional — é só “todo mundo morre”.
A parte interessante é a epistemologia. Yudkowsky vem tocando esse argumento desde o fim dos anos 90 (IA-semente, autoaperfeiçoamento recursivo, maximizadores de paperclip). Mas acontece que: o deep learning escalou de verdade, os modelos ficaram mais controláveis, e a pesquisa de alinhamento avançou em caminhos que a antiga teoria do MIRI dizia que não deveriam acontecer. A probabilidade posterior dele não se mexeu. Isso é teologia, não atualização bayesiana.
As propostas de política são malucas: controle internacional de capacidade computacional, limites tão baixos quanto “oito GPUs de 2024 numa garagem” e apoio real para bombardear data centers sob ameaça nuclear porque “um data center pode matar mais pessoas do que um artefato nuclear”. Eles estão tratando o risco de AGI como se fosse física determinística (a analogia do cubo de gelo derretendo) quando estamos lidando com desconhecidos desconhecidos.
O livro funciona como texto religioso para os círculos de EA/racionalistas — lhes dá um objeto portátil para reunir pessoas, completo com parábolas e códigos QR. Max Tegmark chamou de “o livro mais importante da década”, mas resenhistas notaram que ele lê como um manual de Scientology. Quando o seu texto principal precisa do qualificativo “acessível aos padrões dele”, você não está otimizando para busca da verdade.
O cenário central de extinção (IA mente, adquire recursos, se esconde e então converte a biosfera) é, basicamente, ficção científica fazendo o trabalho de evidência. Você pode conceder todas as preocupações sobre especificação de metas e comportamento de busca por poder, e ainda assim notar que o salto de “alinhamento é difícil” para “extinção é certa” nunca é justificado, de fato, com algo que se pareça minimamente com uma prova formal.
A parte interessante é a epistemologia. Yudkowsky vem tocando esse argumento desde o fim dos anos 90 (IA-semente, autoaperfeiçoamento recursivo, maximizadores de paperclip). Mas acontece que: o deep learning escalou de verdade, os modelos ficaram mais controláveis, e a pesquisa de alinhamento avançou em caminhos que a antiga teoria do MIRI dizia que não deveriam acontecer. A probabilidade posterior dele não se mexeu. Isso é teologia, não atualização bayesiana.
As propostas de política são malucas: controle internacional de capacidade computacional, limites tão baixos quanto “oito GPUs de 2024 numa garagem” e apoio real para bombardear data centers sob ameaça nuclear porque “um data center pode matar mais pessoas do que um artefato nuclear”. Eles estão tratando o risco de AGI como se fosse física determinística (a analogia do cubo de gelo derretendo) quando estamos lidando com desconhecidos desconhecidos.
O livro funciona como texto religioso para os círculos de EA/racionalistas — lhes dá um objeto portátil para reunir pessoas, completo com parábolas e códigos QR. Max Tegmark chamou de “o livro mais importante da década”, mas resenhistas notaram que ele lê como um manual de Scientology. Quando o seu texto principal precisa do qualificativo “acessível aos padrões dele”, você não está otimizando para busca da verdade.
O cenário central de extinção (IA mente, adquire recursos, se esconde e então converte a biosfera) é, basicamente, ficção científica fazendo o trabalho de evidência. Você pode conceder todas as preocupações sobre especificação de metas e comportamento de busca por poder, e ainda assim notar que o salto de “alinhamento é difícil” para “extinção é certa” nunca é justificado, de fato, com algo que se pareça minimamente com uma prova formal.
