Genie ist nur, wer seine Eintrittsgrenze kennt
Veröffentlichen
--
半沐
·
--
Erfolge von Yang Zhilin, dem Gründer von „The Dark Side of the Moon“
1. Akademische Ebene: Grundlage für globale Long-Text-Modelle auf der untersten Ebene (am wertvollstenes langfristiges Asset)
1. Transformer-XL (2018, Co-Autor)
- Zentrale Durchbrüche: Behebt den fatalen Mangel des ursprünglichen Transformers mit festem Kontextfenster und der Unfähigkeit, Abhängigkeiten über große Entfernungen im Text zu erfassen; Einführung eines segmentweise zyklischen Speichermodells.
- Bedeutung für die Branche: Eine der technischen Quellen für alle heutigen Long-Context-Modelle; Claude, Kimi und die Long-Text-Optimierungsansätze der GPT-Serie greifen diesen Gedanken in großem Umfang auf. Ohne diese Arbeit wären Long-Text-Modelle mit einer Reichweite von Millionen Tokens kaum denkbar gewesen. Das ist zudem die theoretische Grundlage, auf der später Kimi mit Fokus auf extrem lange Dokumente aufbaut.
2. XLNet (2019, erster Autor; gemeinsam mit Google Brain veröffentlicht)
- Zentrale Durchbrüche: Behebt die Informationsverzerrung beim BERT-Masken-Pretraining und verwendet permutatives Language Modeling; erreicht in 20 gängigen NLP-Benchmarks eine vollständige Überlegenheit gegenüber BERT.
- Historische Stellung: In der Branche allgemein als einer der wichtigsten Fortschritte nach BERT im Bereich Pretraining anerkannt; ausgewählt für NeurIPS Oral. Die Arbeit wird zehntausende Male zitiert und gehört zu den einflussreichsten Grundlagenarbeiten chinesischer Wissenschaftler im Bereich NLP.
3. Weitere wissenschaftliche Beiträge
- Kooperation mit dem Turing-Preisträger Bengio zum Aufbau des HotpotQA-Datensatzes für mehrzügiges schlussfolgerndes Frage-Antworten;
- Promotion nur nach 4 Jahren (üblich sind 6 Jahre), Ausbildung bei Salakhutdinov, dem ehemaligen AI-Leiter von Apple; anschließend Praktika bei Google Brain und Meta FAIR; beteiligt an frühen Vorarbeiten zu Gemini und Bard;
- Inländische Gesamtzitationen für NLP-Publikationen von Forschenden unter 35 Jahren liegen langfristig durchgehend in der führenden Spitzenposition.
1. Akademische Ebene: Grundlage für globale Long-Text-Modelle auf der untersten Ebene (am wertvollstenes langfristiges Asset)
1. Transformer-XL (2018, Co-Autor)
- Zentrale Durchbrüche: Behebt den fatalen Mangel des ursprünglichen Transformers mit festem Kontextfenster und der Unfähigkeit, Abhängigkeiten über große Entfernungen im Text zu erfassen; Einführung eines segmentweise zyklischen Speichermodells.
- Bedeutung für die Branche: Eine der technischen Quellen für alle heutigen Long-Context-Modelle; Claude, Kimi und die Long-Text-Optimierungsansätze der GPT-Serie greifen diesen Gedanken in großem Umfang auf. Ohne diese Arbeit wären Long-Text-Modelle mit einer Reichweite von Millionen Tokens kaum denkbar gewesen. Das ist zudem die theoretische Grundlage, auf der später Kimi mit Fokus auf extrem lange Dokumente aufbaut.
2. XLNet (2019, erster Autor; gemeinsam mit Google Brain veröffentlicht)
- Zentrale Durchbrüche: Behebt die Informationsverzerrung beim BERT-Masken-Pretraining und verwendet permutatives Language Modeling; erreicht in 20 gängigen NLP-Benchmarks eine vollständige Überlegenheit gegenüber BERT.
- Historische Stellung: In der Branche allgemein als einer der wichtigsten Fortschritte nach BERT im Bereich Pretraining anerkannt; ausgewählt für NeurIPS Oral. Die Arbeit wird zehntausende Male zitiert und gehört zu den einflussreichsten Grundlagenarbeiten chinesischer Wissenschaftler im Bereich NLP.
3. Weitere wissenschaftliche Beiträge
- Kooperation mit dem Turing-Preisträger Bengio zum Aufbau des HotpotQA-Datensatzes für mehrzügiges schlussfolgerndes Frage-Antworten;
- Promotion nur nach 4 Jahren (üblich sind 6 Jahre), Ausbildung bei Salakhutdinov, dem ehemaligen AI-Leiter von Apple; anschließend Praktika bei Google Brain und Meta FAIR; beteiligt an frühen Vorarbeiten zu Gemini und Bard;
- Inländische Gesamtzitationen für NLP-Publikationen von Forschenden unter 35 Jahren liegen langfristig durchgehend in der führenden Spitzenposition.
Haftungsausschluss: Enthält Meinungen von Drittanbietern. Keine Beratung. Binance AI wird ohne Gewähr bereitgestellt. Siehe AGB.