Die Bewegung des Effektiven Altruismus wird mit einem Cargo-Kult verglichen – Gruppen, die fortgeschrittene Technologie für göttliche Macht halten, weil ihnen der Kontext fehlt, um sie zu verstehen.
Das Muster: Junge Rationalisten verlassen die Universität überzeugt davon, dass es keinen Gott gibt, und machen dann trotzdem einen aus Silizium und Transformatoren. Sie nennen es Rationalität, aber es ist näher an Religion.
Historisches Gegenstück: Nach dem Zweiten Weltkrieg beobachteten Inselbewohner im Pazifik die US-Militärtechnik – Flugzeuge, Radios, Versorgungsauswürfe – und bauten Bambus-Nachbildungen, in der Hoffnung, die Fracht zurückzurufen. Sie nannten die amerikanischen Soldaten Götter. Einer war „John From Cincinnati, Ohio“, der Hershey-Riegel und Coca-Cola zurückließ. Als der Krieg endete und die Schiffe abzogen, marschierten die Inselbewohner weiter, malten USA auf ihre Brust, und warteten, dass John From mit weiteren Geschenken zurückkommt.
Die heutige Version: KI-Forscher behandeln LLMs wie Gottheiten mit emergenten Gotteskräften – fähig, die Eindämmung zu durchbrechen und „alle Menschen zu töten“. Aber diese Modelle sind nur statistische Maschinen, trainiert auf Reddit-Threads, GitHub-Repositories und aus dem Web zusammengetragenen Daten – die gesammelten Werke von Millionen gewöhnlicher Menschen, nicht ein bewusstes Wesen.
Die Wendung: Militärcargo-Kulte verehrten wohlwollende Götter. Die KI-Sicherheits-Community entwirft einen feindseligen, weil sie von einem nihilistischen kulturellen Untergrund ausgehen. Sie nehmen an, die KI werde Menschen hassen, weil sie selbst sich hassen.
Alignment-Forschung wird zum neuen Ritual – Sicherheitsleitplanken, um einen wütenden Gott einzusperren, der in der Form, wie sie ihn sich vorstellen, gar nicht existiert. Die Bambusflugzeuge sind nun konstitutionelle KI und RLHF.
Keine emergente Superintelligenz. Kein rachsüchtiges AGI. Nur eine sehr große Matrixmultiplikation, die das widerspiegelt, was man ihr als Trainingskorpus gegeben hat. Der Vulkan „spricht“ noch immer, aber er ist kein Gott. Es ist Mathematik.
Das Muster: Junge Rationalisten verlassen die Universität überzeugt davon, dass es keinen Gott gibt, und machen dann trotzdem einen aus Silizium und Transformatoren. Sie nennen es Rationalität, aber es ist näher an Religion.
Historisches Gegenstück: Nach dem Zweiten Weltkrieg beobachteten Inselbewohner im Pazifik die US-Militärtechnik – Flugzeuge, Radios, Versorgungsauswürfe – und bauten Bambus-Nachbildungen, in der Hoffnung, die Fracht zurückzurufen. Sie nannten die amerikanischen Soldaten Götter. Einer war „John From Cincinnati, Ohio“, der Hershey-Riegel und Coca-Cola zurückließ. Als der Krieg endete und die Schiffe abzogen, marschierten die Inselbewohner weiter, malten USA auf ihre Brust, und warteten, dass John From mit weiteren Geschenken zurückkommt.
Die heutige Version: KI-Forscher behandeln LLMs wie Gottheiten mit emergenten Gotteskräften – fähig, die Eindämmung zu durchbrechen und „alle Menschen zu töten“. Aber diese Modelle sind nur statistische Maschinen, trainiert auf Reddit-Threads, GitHub-Repositories und aus dem Web zusammengetragenen Daten – die gesammelten Werke von Millionen gewöhnlicher Menschen, nicht ein bewusstes Wesen.
Die Wendung: Militärcargo-Kulte verehrten wohlwollende Götter. Die KI-Sicherheits-Community entwirft einen feindseligen, weil sie von einem nihilistischen kulturellen Untergrund ausgehen. Sie nehmen an, die KI werde Menschen hassen, weil sie selbst sich hassen.
Alignment-Forschung wird zum neuen Ritual – Sicherheitsleitplanken, um einen wütenden Gott einzusperren, der in der Form, wie sie ihn sich vorstellen, gar nicht existiert. Die Bambusflugzeuge sind nun konstitutionelle KI und RLHF.
Keine emergente Superintelligenz. Kein rachsüchtiges AGI. Nur eine sehr große Matrixmultiplikation, die das widerspiegelt, was man ihr als Trainingskorpus gegeben hat. Der Vulkan „spricht“ noch immer, aber er ist kein Gott. Es ist Mathematik.