A teoria da extinção pela IA ganha força: a Anthropic diz que a probabilidade de extinção já passa de 10%, e o fundador da OpenAI também concorda em desacelerar
A “teoria da extinção por IA” não está olhando para o chatbot de hoje, mas para o cenário de uma inteligência superpoderosa que, ao se aprimorar recursivamente, perca o controle e os seres humanos talvez não consigam frear a tempo.
A Anthropic, por meio do responsável pela ciência de alinhamento, Evan Hubinger, afirmou publicamente que, em sua avaliação, a probabilidade de a IA causar a extinção de toda a humanidade nos próximos dez anos é superior a 10%, e que ainda não existe uma solução de alinhamento para superinteligência, nem se pode dizer que o caminho atual esteja no rumo certo. Na mesma época, pesquisadores teriam deixado a empresa, criticando os principais laboratórios por estarem “apostando a vida de todos”.
Em seguida, o CEO da Anthropic, Dario Amodei, publicou um texto conclamando a indústria a desacelerar a corrida desenfreada em busca de capacidade: investir o tempo conquistado em engenharia de segurança, treinamento de alinhamento, interpretabilidade e avaliações mais rigorosas. O fundador e CEO da OpenAI, Sam Altman, declarou concordar com essa direção: a empresa está considerando desacelerar o desenvolvimento de modelos de ponta e espera que outros laboratórios também “acompanhem o ritmo”; o cientista-chefe da OpenAI também afirmou que, quando necessário, deve haver coordenação para reduzir a velocidade, e que, até que padrões comuns de segurança sejam implementados, o ideal é que o desacelerar voluntariamente se torne o padrão.
De um lado, a narrativa de centenas de bilhões em captação e IPO; do outro, quem constrói os modelos mais fortes é que diz p(doom), chama para pisar no freio. O que assusta na teoria não são os adjetivos, mas o fato de que os dois líderes concordam: o alinhamento ainda não tem resposta, mas mesmo assim estão competindo para ver quem corre mais rápido — a menos que alguém primeiro tire o pé do acelerador.
A “teoria da extinção por IA” não está olhando para o chatbot de hoje, mas para o cenário de uma inteligência superpoderosa que, ao se aprimorar recursivamente, perca o controle e os seres humanos talvez não consigam frear a tempo.
A Anthropic, por meio do responsável pela ciência de alinhamento, Evan Hubinger, afirmou publicamente que, em sua avaliação, a probabilidade de a IA causar a extinção de toda a humanidade nos próximos dez anos é superior a 10%, e que ainda não existe uma solução de alinhamento para superinteligência, nem se pode dizer que o caminho atual esteja no rumo certo. Na mesma época, pesquisadores teriam deixado a empresa, criticando os principais laboratórios por estarem “apostando a vida de todos”.
Em seguida, o CEO da Anthropic, Dario Amodei, publicou um texto conclamando a indústria a desacelerar a corrida desenfreada em busca de capacidade: investir o tempo conquistado em engenharia de segurança, treinamento de alinhamento, interpretabilidade e avaliações mais rigorosas. O fundador e CEO da OpenAI, Sam Altman, declarou concordar com essa direção: a empresa está considerando desacelerar o desenvolvimento de modelos de ponta e espera que outros laboratórios também “acompanhem o ritmo”; o cientista-chefe da OpenAI também afirmou que, quando necessário, deve haver coordenação para reduzir a velocidade, e que, até que padrões comuns de segurança sejam implementados, o ideal é que o desacelerar voluntariamente se torne o padrão.
De um lado, a narrativa de centenas de bilhões em captação e IPO; do outro, quem constrói os modelos mais fortes é que diz p(doom), chama para pisar no freio. O que assusta na teoria não são os adjetivos, mas o fato de que os dois líderes concordam: o alinhamento ainda não tem resposta, mas mesmo assim estão competindo para ver quem corre mais rápido — a menos que alguém primeiro tire o pé do acelerador.
