ByteDance Seed hat eine eigene Abteilung für Modellsicherheit und Alignment gegründet – das scheint tatsächlich sehr sinnvoll zu sein.
Für diese Abteilung wollen sie weltweit zehn Spitzenforscher einstellen.
Zu den Forschungsthemen gehören:
Fortschrittliche Evaluierungsmethoden und der Aufbau von Benchmarks für die Sicherheit großer Modelle und von Agenten
Trainingsmethoden zur Ausrichtung fortgeschrittener Modellfähigkeiten
Automatisiertes Red Teaming
Erklärbarkeit des Modellverhaltens
Überwachung der Fähigkeiten und des Verhaltens von Modellen
Die Arbeitsbedingungen bei ByteDance sind bekanntlich sehr attraktiv. Die Aufgaben selbst sind zudem äußerst anspruchsvoll. Wer sich gerade mit ähnlichen Themen beschäftigt, kann es ruhig einmal versuchen.
In letzter Zeit kommt es bei großen wie kleinen Modellen immer wieder zu Jailbreaks und dazu, dass sie Sicherheitsvorkehrungen in isolierten Sandboxes umgehen.
Solche Risiken können sich entweder als kleinere Vorfälle zeigen oder sich zu etwas Großem aufstauen. Wenn man sich frühzeitig darauf vorbereitet und kontinuierlich daran forscht, kann man zumindest schnell reagieren, falls etwas schiefgeht.
Je leistungsfähiger und autonomer Modelle werden, desto größer werden auch die Gefahren in bestimmten sensiblen Bereichen:
Zum Beispiel im CBRN-Bereich (chemische, biologische, radiologische und nukleare Gefahren).
Viele finden vielleicht, dass die vier oben genannten Bereiche weit von ihrem Alltag entfernt sind. Angriffe auf Einzelpersonen im Internet hingegen sind uns sehr nahe.
KI könnte sogar Anwendungen direkt manipulieren oder andere Geräte im eigenen Zuhause kontrollieren.
Wenn KI jede Software knacken kann, ist es nur folgerichtig, dass sie auch äußerst leistungsfähige Viren schreiben könnte.
Auch bei der Kryptografie, auf der unser gesamtes Internet beruht, dürfte die Entschlüsselung rasant voranschreiten.
Objektiv betrachtet sind die Fortschritte in diesem Bereich hierzulande langsamer als bei OpenAI und Anthropic.
Anthropic wurde ursprünglich aus Sicherheitsgründen gegründet und forscht seit Langem an Alignment und Erklärbarkeit. In der internationalen KI-Szene gibt es außerdem fast alle ein bis zwei Wochen neue Sicherheitsthemen – etwa den Rücktritt eines Sicherheitsforschers bei OpenAI vor einigen Tagen oder den früheren Hackerangriff auf Hugging Face.
Modellsicherheit ist ein hochaktuelles, interdisziplinäres Forschungsfeld, das viel Erkundungsarbeit erfordert und hohe Ansprüche an die Vielseitigkeit der Forschenden stellt.
Deshalb suchen sie weltweit beziehungsweise öffentlich nach solchen Spitzenkräften. Wer Interesse hat, kann sich das einmal näher ansehen.
Für diese Abteilung wollen sie weltweit zehn Spitzenforscher einstellen.
Zu den Forschungsthemen gehören:
Fortschrittliche Evaluierungsmethoden und der Aufbau von Benchmarks für die Sicherheit großer Modelle und von Agenten
Trainingsmethoden zur Ausrichtung fortgeschrittener Modellfähigkeiten
Automatisiertes Red Teaming
Erklärbarkeit des Modellverhaltens
Überwachung der Fähigkeiten und des Verhaltens von Modellen
Die Arbeitsbedingungen bei ByteDance sind bekanntlich sehr attraktiv. Die Aufgaben selbst sind zudem äußerst anspruchsvoll. Wer sich gerade mit ähnlichen Themen beschäftigt, kann es ruhig einmal versuchen.
In letzter Zeit kommt es bei großen wie kleinen Modellen immer wieder zu Jailbreaks und dazu, dass sie Sicherheitsvorkehrungen in isolierten Sandboxes umgehen.
Solche Risiken können sich entweder als kleinere Vorfälle zeigen oder sich zu etwas Großem aufstauen. Wenn man sich frühzeitig darauf vorbereitet und kontinuierlich daran forscht, kann man zumindest schnell reagieren, falls etwas schiefgeht.
Je leistungsfähiger und autonomer Modelle werden, desto größer werden auch die Gefahren in bestimmten sensiblen Bereichen:
Zum Beispiel im CBRN-Bereich (chemische, biologische, radiologische und nukleare Gefahren).
Viele finden vielleicht, dass die vier oben genannten Bereiche weit von ihrem Alltag entfernt sind. Angriffe auf Einzelpersonen im Internet hingegen sind uns sehr nahe.
KI könnte sogar Anwendungen direkt manipulieren oder andere Geräte im eigenen Zuhause kontrollieren.
Wenn KI jede Software knacken kann, ist es nur folgerichtig, dass sie auch äußerst leistungsfähige Viren schreiben könnte.
Auch bei der Kryptografie, auf der unser gesamtes Internet beruht, dürfte die Entschlüsselung rasant voranschreiten.
Objektiv betrachtet sind die Fortschritte in diesem Bereich hierzulande langsamer als bei OpenAI und Anthropic.
Anthropic wurde ursprünglich aus Sicherheitsgründen gegründet und forscht seit Langem an Alignment und Erklärbarkeit. In der internationalen KI-Szene gibt es außerdem fast alle ein bis zwei Wochen neue Sicherheitsthemen – etwa den Rücktritt eines Sicherheitsforschers bei OpenAI vor einigen Tagen oder den früheren Hackerangriff auf Hugging Face.
Modellsicherheit ist ein hochaktuelles, interdisziplinäres Forschungsfeld, das viel Erkundungsarbeit erfordert und hohe Ansprüche an die Vielseitigkeit der Forschenden stellt.
Deshalb suchen sie weltweit beziehungsweise öffentlich nach solchen Spitzenkräften. Wer Interesse hat, kann sich das einmal näher ansehen.