Warnung des OpenAI-Chefwissenschaftlers: KI könnte rekursive Selbstentwicklung erreichen – Appell, das Tempo zu drosseln, um die Sicherheit der Branche zu gewährleisten
Am 8. September, so geht aus einem Bericht hervor, hatte OpenAI-Chefwissenschaftler Jakub Pachocki am vergangenen Wochenende gewarnt. Mit dem stetigen Fortschreiten der Iterationsgeschwindigkeit von KI gerate sie zunehmend über das menschliche Verständnis und die beherrschbaren Grenzen hinaus. Er ruft die Branche aus Sicherheitsgründen dazu auf, den Entwicklungstakt von KI zu verlangsamen.
In seinem Artikel erwähnt Pachocki, dass heutige KI-Modelle bereits in der Lage sind, Computer eigenständig zu steuern, mit Menschen und anderen KI-Systemen zusammenzuarbeiten und autonom Forschungsaufgaben durchzuführen.
Wenn man den aktuellen Entwicklungstakt beibehält, werde KI sehr bald „rekursive Selbstverbesserung“ erreichen – also die Fähigkeit, sich selbstständig zu verbessern und Iterationen zu upgraden, ohne menschliches Eingreifen.
Seiner Ansicht nach ist die Gesellschaft als Ganzes bislang nicht ausreichend vorbereitet, um die verschiedenen Risiken aufzufangen, die sich aus der schnellen Weiterentwicklung maschineller Intelligenz ergeben. Daher sollte die Branche gegenüber der Entwicklung von KI derzeit eine besonders vorsichtige Haltung einnehmen.
Seiner Ansicht nach kann die Gesellschaft die verschiedenen Risiken, die aus dem schnellen Anstieg der maschinellen Intelligenz hervorgehen, schwerlich auffangen. Deshalb sollte die Branche derzeit gegenüber der Entwicklung von KI besonders umsichtig bleiben.
Er schlägt außerdem vor: Solange nicht durch die Stärkung der Ausrichtungstechnologien von KI an den Interessen des Menschen sowie durch den Aufbau einheitlicher Sicherheits-Schwellen ein entsprechendes Fundament geschaffen ist, sollte das bewusste Verlangsamen des KI-Forschungs- und Entwicklungstempos als Konsens in der Branche gelten.
Währenddessen ermöglicht die schnelle Entwicklung der KI-Technologie bereits mehrere Durchbrüche. Unter anderem verfügen das OpenAI GPT‑6 Astra und das Anthropic-Mythos-Modell über herausragende, zukunftsweisende Funktionsfähigkeiten. Aus Sicherheitsgründen haben beide Unternehmen jedoch den Veröffentlichungsumfang dieser Spitzenmodelle eingeschränkt.
Obwohl Pachockis Stellungnahme mit den Risiko-Warnungen mehrerer Branchen-Manager übereinstimmt, wird im Kapitalmarkt die „rekursive Selbstverbesserungs“-Sparte stark nachgefragt. Mehrere Startups haben große Finanzierungsrunden eingeworben und setzen darauf, dass dieser Weg hochrangige künstliche Intelligenz ermöglichen kann.
Beispielsweise hat Inherent, das von ehemaligen DeepMind-Forschern gegründet wurde, eine Finanzierung in Höhe von 50 Millionen US-Dollar abgeschlossen. Das von dem bekannten Wissenschaftler Richard Socher gegründete Recursive Superintelligence Laboratory hingegen erhielt 650 Millionen US-Dollar an umfangreicher Finanzierung.
Zusammenfassend zeigen diese Reihe von Maßnahmen, dass Investoren großes Vertrauen in dieses Gebiet haben. Zudem hatte OpenAI zuvor auch seine Forschungsziele offengelegt: Man plant, innerhalb von weniger als zwei Jahren „wirkliche automatisierte KI-Forscher“ zu schaffen.
#AI安全风险
Am 8. September, so geht aus einem Bericht hervor, hatte OpenAI-Chefwissenschaftler Jakub Pachocki am vergangenen Wochenende gewarnt. Mit dem stetigen Fortschreiten der Iterationsgeschwindigkeit von KI gerate sie zunehmend über das menschliche Verständnis und die beherrschbaren Grenzen hinaus. Er ruft die Branche aus Sicherheitsgründen dazu auf, den Entwicklungstakt von KI zu verlangsamen.
In seinem Artikel erwähnt Pachocki, dass heutige KI-Modelle bereits in der Lage sind, Computer eigenständig zu steuern, mit Menschen und anderen KI-Systemen zusammenzuarbeiten und autonom Forschungsaufgaben durchzuführen.
Wenn man den aktuellen Entwicklungstakt beibehält, werde KI sehr bald „rekursive Selbstverbesserung“ erreichen – also die Fähigkeit, sich selbstständig zu verbessern und Iterationen zu upgraden, ohne menschliches Eingreifen.
Seiner Ansicht nach ist die Gesellschaft als Ganzes bislang nicht ausreichend vorbereitet, um die verschiedenen Risiken aufzufangen, die sich aus der schnellen Weiterentwicklung maschineller Intelligenz ergeben. Daher sollte die Branche gegenüber der Entwicklung von KI derzeit eine besonders vorsichtige Haltung einnehmen.
Seiner Ansicht nach kann die Gesellschaft die verschiedenen Risiken, die aus dem schnellen Anstieg der maschinellen Intelligenz hervorgehen, schwerlich auffangen. Deshalb sollte die Branche derzeit gegenüber der Entwicklung von KI besonders umsichtig bleiben.
Er schlägt außerdem vor: Solange nicht durch die Stärkung der Ausrichtungstechnologien von KI an den Interessen des Menschen sowie durch den Aufbau einheitlicher Sicherheits-Schwellen ein entsprechendes Fundament geschaffen ist, sollte das bewusste Verlangsamen des KI-Forschungs- und Entwicklungstempos als Konsens in der Branche gelten.
Währenddessen ermöglicht die schnelle Entwicklung der KI-Technologie bereits mehrere Durchbrüche. Unter anderem verfügen das OpenAI GPT‑6 Astra und das Anthropic-Mythos-Modell über herausragende, zukunftsweisende Funktionsfähigkeiten. Aus Sicherheitsgründen haben beide Unternehmen jedoch den Veröffentlichungsumfang dieser Spitzenmodelle eingeschränkt.
Obwohl Pachockis Stellungnahme mit den Risiko-Warnungen mehrerer Branchen-Manager übereinstimmt, wird im Kapitalmarkt die „rekursive Selbstverbesserungs“-Sparte stark nachgefragt. Mehrere Startups haben große Finanzierungsrunden eingeworben und setzen darauf, dass dieser Weg hochrangige künstliche Intelligenz ermöglichen kann.
Beispielsweise hat Inherent, das von ehemaligen DeepMind-Forschern gegründet wurde, eine Finanzierung in Höhe von 50 Millionen US-Dollar abgeschlossen. Das von dem bekannten Wissenschaftler Richard Socher gegründete Recursive Superintelligence Laboratory hingegen erhielt 650 Millionen US-Dollar an umfangreicher Finanzierung.
Zusammenfassend zeigen diese Reihe von Maßnahmen, dass Investoren großes Vertrauen in dieses Gebiet haben. Zudem hatte OpenAI zuvor auch seine Forschungsziele offengelegt: Man plant, innerhalb von weniger als zwei Jahren „wirkliche automatisierte KI-Forscher“ zu schaffen.
#AI安全风险
