$PHA
Poids officiels FP8 : 755 Go
Poids Phala W4AFP8 : 368 Go
Cela libère 387 Go pour le cache KV, les graphes CUDA, les tampons d’exécution, ainsi qu’une marge de service dans une fenêtre complète de 1 million de tokens.
Poids officiels FP8 : 755 Go
Poids Phala W4AFP8 : 368 Go
Cela libère 387 Go pour le cache KV, les graphes CUDA, les tampons d’exécution, ainsi qu’une marge de service dans une fenêtre complète de 1 million de tokens.
