🐳 DeepSeek veröffentlicht seine eigene Open-Source-Inferenz-Engine für APIs, DeepInfer – Huawei Ascend und Nvidia treten gemeinsam an!
📌 DeepInfer ist das Inferenz-Framework hinter dem Online-Dienst DeepSeek V4.1 Flash und steht unter der Apache-2.0-Lizenz als Open Source zur Verfügung
📌 Zum Start werden Nvidia SM100 (Blackwell) und Huawei Ascend 950 unterstützt; ältere Architekturen wie Hopper stehen nicht auf der Liste
📌 Laut offiziellen Angaben verarbeitet ein einzelner Cluster täglich 155 Billionen Tokens. Bei Preisen für Schwachlastzeiten beträgt der Umsatz pro GPU-Stunde etwa 38 US-Dollar
📌 Diesmal wird jedoch nur die Offline-Inferenz veröffentlicht: KV-Cache, PD-Trennung und Load-Balancing sind nicht enthalten. Wer einen vollständigen Dienst selbst betreiben will, muss diese Komponenten also noch selbst ergänzen
📌 Im selben Segment: Die Veröffentlichung der Open Weights von Mistral Large 4 (1 Billion Parameter) ist für Ende Oktober geplant
KI-Rechenleistung wird immer mehr „heimisch + Open Source“. Werden Transaktionen über KI-Agenten schneller verbreitet, wenn Rechenleistung und Inferenzkosten sinken? $BTC
Glaubst du, dass Open-Source-Inferenz die API-Preise großer Sprachmodelle senken wird? Schreib deine Meinung in die Kommentare 👇
#AI #DeepSeek #开源 #Rechenleistung
Nur zu Informationszwecken; keine Anlageberatung
📌 DeepInfer ist das Inferenz-Framework hinter dem Online-Dienst DeepSeek V4.1 Flash und steht unter der Apache-2.0-Lizenz als Open Source zur Verfügung
📌 Zum Start werden Nvidia SM100 (Blackwell) und Huawei Ascend 950 unterstützt; ältere Architekturen wie Hopper stehen nicht auf der Liste
📌 Laut offiziellen Angaben verarbeitet ein einzelner Cluster täglich 155 Billionen Tokens. Bei Preisen für Schwachlastzeiten beträgt der Umsatz pro GPU-Stunde etwa 38 US-Dollar
📌 Diesmal wird jedoch nur die Offline-Inferenz veröffentlicht: KV-Cache, PD-Trennung und Load-Balancing sind nicht enthalten. Wer einen vollständigen Dienst selbst betreiben will, muss diese Komponenten also noch selbst ergänzen
📌 Im selben Segment: Die Veröffentlichung der Open Weights von Mistral Large 4 (1 Billion Parameter) ist für Ende Oktober geplant
KI-Rechenleistung wird immer mehr „heimisch + Open Source“. Werden Transaktionen über KI-Agenten schneller verbreitet, wenn Rechenleistung und Inferenzkosten sinken? $BTC
Glaubst du, dass Open-Source-Inferenz die API-Preise großer Sprachmodelle senken wird? Schreib deine Meinung in die Kommentare 👇
#AI #DeepSeek #开源 #Rechenleistung
Nur zu Informationszwecken; keine Anlageberatung