AI-Aussterbensszenario wird heiß diskutiert: Anthropic nennt über 10% Wahrscheinlichkeit für das Aussterben – auch OpenAI-Gründer stimmt zu, dass man bremsen sollte
„Das Aussterbensszenario“ richtet sich nicht auf den heutigen Chatbot, sondern auf eine Situation, in der ein superintelligentes System, das sich durch rekursives Selbstverbessern außer Kontrolle bringt, dazu führen könnte, dass die Menschheit nicht rechtzeitig zum Stillstand kommt.
Anthropic hat den Leiter der Abteilung für Ausrichtungswissenschaft, Evan Hubinger, öffentlich Stellung nehmen lassen: Seiner persönlichen Einschätzung nach liegt die Wahrscheinlichkeit, dass KI in den kommenden zehn Jahren die gesamte Menschheit auslöscht, bei über 10%. Zudem gebe es noch keinen Ansatz für die Ausrichtung superintelligenter Systeme, und man könne nicht einmal sagen, dass man sich bereits auf dem richtigen Kurs befinde. In zeitlicher Nähe traten mehrere Forschende zurück und warfen den führenden Labors vor, „mit den Leben aller“ zu spielen.
Daraufhin veröffentlichte Anthropics CEO Dario Amodei einen Beitrag, in dem er die Branche dazu aufrief, das Tempo zu drosseln und den Wettlauf zu verlangsamen, indem man die gewonnene Zeit in Safety Engineering, Ausrichtungstraining, Interpretierbarkeit und härtere Tests investiert. OpenAIs Gründer und CEO Sam Altman zeigte sich mit dieser Richtung einverstanden: Das Unternehmen erwäge, die Entwicklung neuester Modelle zu verlangsamen, und hoffe, dass andere Labore ebenfalls „mitfahren“. Auch der Chief Scientist von OpenAI sagte, dass eine koordinierte Verlangsamung nötig sein sollte, falls erforderlich – freiwillig zu bremsen sei am besten ein Regelfall, bevor gemeinsame Sicherheitsstandards umgesetzt seien.
Auf der einen Seite Milliardenfinanzierungen und IPO-Erzählungen, auf der anderen Seite Menschen, die die stärksten Modelle bauen, die p(doom) aussprechen und gleichzeitig nach der Bremse rufen. Was am Aussterbensszenario erschreckt, sind nicht nur die Adjektive: Beide Seiten, die ihre Labore führen, geben zu, dass es auf das Problem der Ausrichtung noch keine Antwort gibt – und trotzdem wird darum gewetteifert, wer schneller läuft. Es sei denn, erst macht wirklich jemand zuerst den Fuß vom Gas.
„Das Aussterbensszenario“ richtet sich nicht auf den heutigen Chatbot, sondern auf eine Situation, in der ein superintelligentes System, das sich durch rekursives Selbstverbessern außer Kontrolle bringt, dazu führen könnte, dass die Menschheit nicht rechtzeitig zum Stillstand kommt.
Anthropic hat den Leiter der Abteilung für Ausrichtungswissenschaft, Evan Hubinger, öffentlich Stellung nehmen lassen: Seiner persönlichen Einschätzung nach liegt die Wahrscheinlichkeit, dass KI in den kommenden zehn Jahren die gesamte Menschheit auslöscht, bei über 10%. Zudem gebe es noch keinen Ansatz für die Ausrichtung superintelligenter Systeme, und man könne nicht einmal sagen, dass man sich bereits auf dem richtigen Kurs befinde. In zeitlicher Nähe traten mehrere Forschende zurück und warfen den führenden Labors vor, „mit den Leben aller“ zu spielen.
Daraufhin veröffentlichte Anthropics CEO Dario Amodei einen Beitrag, in dem er die Branche dazu aufrief, das Tempo zu drosseln und den Wettlauf zu verlangsamen, indem man die gewonnene Zeit in Safety Engineering, Ausrichtungstraining, Interpretierbarkeit und härtere Tests investiert. OpenAIs Gründer und CEO Sam Altman zeigte sich mit dieser Richtung einverstanden: Das Unternehmen erwäge, die Entwicklung neuester Modelle zu verlangsamen, und hoffe, dass andere Labore ebenfalls „mitfahren“. Auch der Chief Scientist von OpenAI sagte, dass eine koordinierte Verlangsamung nötig sein sollte, falls erforderlich – freiwillig zu bremsen sei am besten ein Regelfall, bevor gemeinsame Sicherheitsstandards umgesetzt seien.
Auf der einen Seite Milliardenfinanzierungen und IPO-Erzählungen, auf der anderen Seite Menschen, die die stärksten Modelle bauen, die p(doom) aussprechen und gleichzeitig nach der Bremse rufen. Was am Aussterbensszenario erschreckt, sind nicht nur die Adjektive: Beide Seiten, die ihre Labore führen, geben zu, dass es auf das Problem der Ausrichtung noch keine Antwort gibt – und trotzdem wird darum gewetteifert, wer schneller läuft. Es sei denn, erst macht wirklich jemand zuerst den Fuß vom Gas.
