Kurz gesagt
Anthropic-Forscher Jacob Coxon trat aus Protest zurück, weil er katastrophale Risiken durch rekursiv selbstverbessernde KI befürchtete, und ging von nicht übertragenem Eigenkapital weg.
Der Beitrag
• Coxon trat nach vier Monaten bei Anthropic zurück und sagte, sein Warn-Thread sei vollständig seine eigene Arbeit, obwohl er rechtlichen Rat eingeholt und einen Journalisten gebrieft habe.
• Evan Hubinger, Leitender Wissenschaftler für Alignment bei Anthropic, bezeichnete Coxons Sorgen als berechtigt und schätzte eine Wahrscheinlichkeit von mehr als 10 % für eine durch KI ausgelöste menschliche Auslöschung innerhalb eines Jahrzehnts.
• Hubinger räumte ein, dass Anthropic keine klare Strategie hat, um superintelligente Systeme mit menschlichen Werten in Einklang zu bringen.
• Coxon warnte, dass Wettbewerbsdruck zwischen den führenden KI-Labors Unternehmen davon abhält, langsamer zu werden, selbst wenn Risiken erkennbar sind.
Warum das wichtig ist
Zunehmende interne Warnungen über fehlgerichtete Superintelligenz und das Fehlen von Kontroll-Roadmaps könnten einen regulatorischen Gegenwind auslösen und das Risikoprofil für große Tech- und KI-nahe Investitionen verändern.
Anthropic-Forscher Jacob Coxon trat aus Protest zurück, weil er katastrophale Risiken durch rekursiv selbstverbessernde KI befürchtete, und ging von nicht übertragenem Eigenkapital weg.
Der Beitrag
• Coxon trat nach vier Monaten bei Anthropic zurück und sagte, sein Warn-Thread sei vollständig seine eigene Arbeit, obwohl er rechtlichen Rat eingeholt und einen Journalisten gebrieft habe.
• Evan Hubinger, Leitender Wissenschaftler für Alignment bei Anthropic, bezeichnete Coxons Sorgen als berechtigt und schätzte eine Wahrscheinlichkeit von mehr als 10 % für eine durch KI ausgelöste menschliche Auslöschung innerhalb eines Jahrzehnts.
• Hubinger räumte ein, dass Anthropic keine klare Strategie hat, um superintelligente Systeme mit menschlichen Werten in Einklang zu bringen.
• Coxon warnte, dass Wettbewerbsdruck zwischen den führenden KI-Labors Unternehmen davon abhält, langsamer zu werden, selbst wenn Risiken erkennbar sind.
Warum das wichtig ist
Zunehmende interne Warnungen über fehlgerichtete Superintelligenz und das Fehlen von Kontroll-Roadmaps könnten einen regulatorischen Gegenwind auslösen und das Risikoprofil für große Tech- und KI-nahe Investitionen verändern.