Ein Forschungsteam von Apple hat 9 Modelle mit 11 Sprachen in einer Runde Reinforcement-Learning-Experimente untersucht und will herausfinden: Wenn die Trainingsdaten nur aus einer Sprache bestehen, kann man dann die gelernten Problemlösefähigkeiten auf Aufgaben in anderen Sprachen übertragen?
Die Antwort ist: Ja, und der Effekt ist ziemlich deutlich. Wenn man nur mit einer Sprache trainiert, wird das Modell in vielen anderen Sprachen ebenfalls stärker.
Zum Beispiel bei Tests auf Französisch: Wenn man direkt mit Französisch trainiert, steigt der Durchschnitt um 25,6 Prozentpunkte; wenn man überhaupt nicht mit Französisch trainiert, sondern nur französische Fragen mit Spanisch übt, kann man beim Test auf Französisch am Ende auch um 24,6 Prozentpunkte zulegen – nur um 1 Prozentpunkt weniger.
Das Modell lernt nicht nur Aufgaben in einer bestimmten Sprache, sondern auch einen Teil von Lösungsstrategien, die sich in eine andere Sprache übertragen lassen und dort weiter genutzt werden können. Wenn man also in Zukunft möchte, dass das Modell stärker bei chinesischer Argumentation wird, muss man nicht unbedingt alle verstärkenden Lern-Daten komplett neu als Chinesisch aufbereiten.