Das erste Open-Source MoE Sprachsynthese-Modell ZONOS2 veröffentlicht, unterstützt hyperrealistische Zero-Shot Sprachklonierung
Zyphra hat ZONOS2 veröffentlicht, das erste Open-Source Sprachsynthesesystem, das auf der sparsamen Misch-Experten (MoE) Architektur basiert. Es verfügt über insgesamt 8 Milliarden Parameter und aktiviert während der Inferenz nur 900 Millionen Parameter. ZONOS2 unterstützt hochpräzise Zero-Shot Sprachklonierung, ermöglicht es, schnell die Stimmeigenschaften des Sprechers ohne Feinabstimmung zu extrahieren und realistische Audios zu generieren, wobei Studioqualität von 44,1 kHz Audio ausgegeben wird. Die Trainingsdaten wurden von ursprünglich 200.000 Stunden auf über 6 Millionen Stunden erweitert und unterstützen nahtlosen Wechsel zwischen Chinesisch, Japanisch, Koreanisch sowie gemischtem Chinesisch und Englisch.
Warum das wichtig ist: Ein bedeutender Durchbruch im Bereich der Open-Source Sprachsynthese. Die MoE-Architektur senkt erheblich die Inferenzkosten, und die Zero-Shot Sprachklonierungsfähigkeiten werden die schnelle Umsetzung von KI-Sprachanwendungen in Content Creation, Übersetzung, virtuellen Assistenten und anderen Szenarien vorantreiben.
#AI #人工智能 #开源 #Sprachsynthese
Zyphra hat ZONOS2 veröffentlicht, das erste Open-Source Sprachsynthesesystem, das auf der sparsamen Misch-Experten (MoE) Architektur basiert. Es verfügt über insgesamt 8 Milliarden Parameter und aktiviert während der Inferenz nur 900 Millionen Parameter. ZONOS2 unterstützt hochpräzise Zero-Shot Sprachklonierung, ermöglicht es, schnell die Stimmeigenschaften des Sprechers ohne Feinabstimmung zu extrahieren und realistische Audios zu generieren, wobei Studioqualität von 44,1 kHz Audio ausgegeben wird. Die Trainingsdaten wurden von ursprünglich 200.000 Stunden auf über 6 Millionen Stunden erweitert und unterstützen nahtlosen Wechsel zwischen Chinesisch, Japanisch, Koreanisch sowie gemischtem Chinesisch und Englisch.
Warum das wichtig ist: Ein bedeutender Durchbruch im Bereich der Open-Source Sprachsynthese. Die MoE-Architektur senkt erheblich die Inferenzkosten, und die Zero-Shot Sprachklonierungsfähigkeiten werden die schnelle Umsetzung von KI-Sprachanwendungen in Content Creation, Übersetzung, virtuellen Assistenten und anderen Szenarien vorantreiben.
#AI #人工智能 #开源 #Sprachsynthese