Pasar terus menilai GPU lama $NVDA seolah-olah kehadiran chip yang lebih baru otomatis membuatnya tidak berharga.
Pasar rental menunjukkan cerita yang berbeda.
Kabarnya, harga sewa RTX 3090 yang sudah berusia 4 tahun baru-baru ini melonjak lebih dari 25%, sementara $NBIS mendorong harga H100/H200 naik dan $CRWV terus mengamankan kontrak A100 dalam skala besar.
Alasannya sederhana:
Inferensi AI tidak selalu soal memiliki GPU tercepat. Yang penting adalah kapasitas VRAM yang memadai dengan biaya yang tepat.
Sebagian besar AI perusahaan berjalan menggunakan model yang relatif kecil, sehingga menggunakan komputasi sekelas B200/GB200 untuk beban kerja tersebut jelas tidak diperlukan.
Yang Anda butuhkan adalah kapasitas memori, bandwidth, dan GPU yang tepat dengan biaya per token serendah mungkin.
Itulah sebabnya A100 dan H100 tetap bisa sangat bernilai meskipun sudah "lama".
Wall Street melihat penyusutan nilai.
Para insinyur melihat tingkat pemanfaatan.
Dan selama pasokan GPU belum mampu mengejar permintaan secara signifikan, saya tidak akan meremehkan daya tawar harga GPU "lawas" ini.
Pasar rental menunjukkan cerita yang berbeda.
Kabarnya, harga sewa RTX 3090 yang sudah berusia 4 tahun baru-baru ini melonjak lebih dari 25%, sementara $NBIS mendorong harga H100/H200 naik dan $CRWV terus mengamankan kontrak A100 dalam skala besar.
Alasannya sederhana:
Inferensi AI tidak selalu soal memiliki GPU tercepat. Yang penting adalah kapasitas VRAM yang memadai dengan biaya yang tepat.
Sebagian besar AI perusahaan berjalan menggunakan model yang relatif kecil, sehingga menggunakan komputasi sekelas B200/GB200 untuk beban kerja tersebut jelas tidak diperlukan.
Yang Anda butuhkan adalah kapasitas memori, bandwidth, dan GPU yang tepat dengan biaya per token serendah mungkin.
Itulah sebabnya A100 dan H100 tetap bisa sangat bernilai meskipun sudah "lama".
Wall Street melihat penyusutan nilai.
Para insinyur melihat tingkat pemanfaatan.
Dan selama pasokan GPU belum mampu mengejar permintaan secara signifikan, saya tidak akan meremehkan daya tawar harga GPU "lawas" ini.
