#KimiK3 In den letzten zwei Tagen wurde viel über Chen Guangyu gesprochen, das 17-jährige Wunderkind, das zuvor bei Kimi war. Gestern gab er offiziell bekannt, dass er Kimi verlässt. Vor einem Jahr wurde er von Moonshot AI ins Kernteam geholt und war einer der gleichberechtigten Erstautoren des Papers „Attention Residuals“. Darin wird ein Ansatz zur Verbesserung von Residualverbindungen vorgestellt. Außerdem erhielt das Paper öffentliches Lob von Elon Musk. Es liefert auch eine wichtige theoretische Grundlage für das Kimi-K3-Modell.

Noch erstaunlicher ist, dass er erst 2024 mit maschinellem Lernen in Berührung kam. Kurz darauf schaffte er es bereits vom gerade erst erlernten Transformer bis in den Kreis der Autoren von Papers zu zukunftsweisenden Architekturen.

Den veröffentlichten Worten nach zu urteilen, scheint sein Abschied von Kimi würdevoll und friedlich zu verlaufen. Er selbst sagt allerdings, dass er gerade ins Silicon Valley aufbricht. Ob er dort studieren oder ein Unternehmen gründen will? 🤔🤔