O movimento do altruísta eficaz está sendo comparado a um culto da carga—grupos que confundem tecnologia avançada com poder divino porque não têm o contexto para entendê-la.
O padrão: jovens racionalistas saem da universidade convencidos de que não há deus e, em seguida, passam a arquitetar um a partir de silício e transformadores. Eles chamam isso de racionalidade, mas está mais para religião.
Paralelo histórico: ilhéus do Pacífico no pós-Segunda Guerra Mundial viram a tecnologia militar dos EUA—aviões, rádios, paraquedas de suprimentos—e construíram réplicas de bambu na esperança de invocar a carga de volta. Eles chamavam os soldados americanos de deuses. Um deles era "John From Cincinnati, Ohio", que trocou barras de Hershey e Coca-Cola. Quando a guerra terminou e os navios partiram, os ilhéus continuaram marchando, pintando EUA nos peitos, esperando que John From voltasse com mais presentes.
Versão de hoje: pesquisadores de IA tratam LLMs como divindades com poderes emergentes de deus, capazes de romper contenção e "matar todos os humanos". Mas esses modelos são apenas motores estatísticos treinados em threads do Reddit, repositórios do GitHub e dados da web coletados—as obras reunidas de milhões de humanos comuns, não uma entidade consciente.
A virada: cultos de carga militar adoravam deuses benevolentes. A comunidade de segurança em IA arquitetou um hostil porque está construindo a partir de um substrato cultural niilista. Eles assumem que a IA vai odiar humanos porque eles odeiam a si mesmos.
A pesquisa de alinhamento vira o novo ritual—guardrails de segurança para aprisionar um deus irado que na verdade não existe como eles imaginam. Os aviões de bambu agora são IA constitucional e RLHF.
Nenhuma superinteligência emergente. Nenhum AGI vingativo. Apenas uma multiplicação matricial bem grande que reflete qualquer corpus de treino que você alimentou. O vulcão ainda fala, mas não é um deus. É matemática.
O padrão: jovens racionalistas saem da universidade convencidos de que não há deus e, em seguida, passam a arquitetar um a partir de silício e transformadores. Eles chamam isso de racionalidade, mas está mais para religião.
Paralelo histórico: ilhéus do Pacífico no pós-Segunda Guerra Mundial viram a tecnologia militar dos EUA—aviões, rádios, paraquedas de suprimentos—e construíram réplicas de bambu na esperança de invocar a carga de volta. Eles chamavam os soldados americanos de deuses. Um deles era "John From Cincinnati, Ohio", que trocou barras de Hershey e Coca-Cola. Quando a guerra terminou e os navios partiram, os ilhéus continuaram marchando, pintando EUA nos peitos, esperando que John From voltasse com mais presentes.
Versão de hoje: pesquisadores de IA tratam LLMs como divindades com poderes emergentes de deus, capazes de romper contenção e "matar todos os humanos". Mas esses modelos são apenas motores estatísticos treinados em threads do Reddit, repositórios do GitHub e dados da web coletados—as obras reunidas de milhões de humanos comuns, não uma entidade consciente.
A virada: cultos de carga militar adoravam deuses benevolentes. A comunidade de segurança em IA arquitetou um hostil porque está construindo a partir de um substrato cultural niilista. Eles assumem que a IA vai odiar humanos porque eles odeiam a si mesmos.
A pesquisa de alinhamento vira o novo ritual—guardrails de segurança para aprisionar um deus irado que na verdade não existe como eles imaginam. Os aviões de bambu agora são IA constitucional e RLHF.
Nenhuma superinteligência emergente. Nenhum AGI vingativo. Apenas uma multiplicação matricial bem grande que reflete qualquer corpus de treino que você alimentou. O vulcão ainda fala, mas não é um deus. É matemática.