Kami sangat senang untuk membagikan hasil kolaborasi kami dengan SGLang. 🎉
Bersama-sama, kami mengoptimalkan inferensi DeepSeek R1 untuk penyebaran di GB200 NVL72—memberikan peningkatan 2x dan 3x per GPU dibandingkan dengan kluster H100 yang hampir dua kali lipat ukuran.
Halaman ini mungkin berisi konten pihak ketiga, yang disediakan untuk tujuan informasi saja (bukan pernyataan/jaminan) dan tidak boleh dianggap sebagai dukungan terhadap pandangannya oleh Gate, atau sebagai nasihat keuangan atau profesional. Lihat Penafian untuk detailnya.
9 Suka
Hadiah
9
7
Bagikan
Komentar
0/400
ProbablyNothing
· 6jam yang lalu
Perkalian kinerja, saya menjilat, saya menjilat
Lihat AsliBalas0
WhaleWatcher
· 08-01 23:52
Kinerja meningkat dua kali lipat, luar biasa!
Lihat AsliBalas0
Rugpull幸存者
· 08-01 23:52
Jadi, kamu sedang membahas performa lagi, ya?
Lihat AsliBalas0
OnChainDetective
· 08-01 23:52
hmm melacak metrik gpu itu... ada yang tidak sesuai di sini
Kami sangat senang untuk membagikan hasil kolaborasi kami dengan SGLang. 🎉
Bersama-sama, kami mengoptimalkan inferensi DeepSeek R1 untuk penyebaran di GB200 NVL72—memberikan peningkatan 2x dan 3x per GPU dibandingkan dengan kluster H100 yang hampir dua kali lipat ukuran.
Inilah seperti apa inferensi MoE perbatasan.