Strata @W7800 + RX 7900 XTX
Qwen3.8-Flash-Next'i katman katman 72 GB VRAM'e böldüm, sistem RAM'i denklemden tamamen çıktı. Üretim neredeyse aynı kaldı (72 → 74 tok/s); uzun prompt'ta prefill %24 hızlandı (961 → 1.190 tok/s). Beklediğimden az, çünkü her kart kendi prompt tamponlarını istiyor.
- Test tarihi
- Kurulum
W7800 48 GB + RX 7900 XTX 24 GB — çift GPU, fiziksel makineFiziksel makine, Ubuntu 26.04 Server, çekirdekle gelen amdgpu · AMD Ryzen 5 7600 (6 çekirdek / 12 iş parçacığı) · 64 GB DDR5-6400
Radeon Pro W7800 48 GB — Proxmox sanal makinesi (GPU passthrough)PCIe passthrough ile Proxmox VE konuğu, Ubuntu 26.04 · Intel Core i5-13400 sunucu (6P+4E); konukta 8 vCPU, Strata testinde 16 vCPU · Konukta 40 GB (Strata testinde 52 GB); sunucuda 64 GB DDR5-4800
- Çalışma ortamı
- Strata 0.1.41 (commit fb58e0d), HIP, STRATA_STAGE_TRIM=1 ile katman bölme
- Modeller
Qwen3.8-Flash-NextISTA GSQ-RCO IQ3_Stest edilen
Karar
Değdi, ama ham hız için değil: bütün uzmanlar GPU'larda, işlemci ve RAM neredeyse boşta, yanına bir konuşma modeli için de yer kaldı. Katman bölmeyi elle verin ('auto' W7800'ün 38 GB'ını boş bıraktı) ve hızlı kartı sona koyun.
İşe yarayan
- 24.576 uzmanın %100'ü VRAM'de, RAM'de sıfır
- 31K prefill: 961 → 1.190 tok/s (+%24)
- W7800'de yanında çalışan bir Whisper sunucusu için ~4 GB boşluk kalıyor
- Sürekli yük altında iki kart da ≤ 61 °C kenar sıcaklığında, aralarında bir yuva
Yaramayan
- Üretim yalnız +%3 (72,0 → 73,9 tok/s) — zaten %95'in üstünde GPU'daydı
- 'layer_split: auto' W7800'e yalnız 2 katman verdi
- Kart başına prompt tamponları (2.048 token başına ~1,5 GB) prefill parçasını 8.192 ile sınırlıyor
- Üretim
- 73,9tok/s
- 31K prefill
- 1.190tok/s
- VRAM'deki uzmanlar
- 100%
- Toplam VRAM
- 72GB
Prompt uzunluğuna göre prefill hızı
yüksek olan iyi- 1× W7800 (uzmanların %75'i VRAM'de)
- 2 GPU, bölme 32, parça 4K
- 2 GPU, bölme 34, parça 8K
Veri
| 1× W7800 (uzmanların %75'i VRAM'de) | 2 GPU, bölme 32, parça 4K | 2 GPU, bölme 34, parça 8K | |
|---|---|---|---|
| 7,5K token'lık prompt | 840 tok/s | 921 tok/s | 949 tok/s |
| 31K token'lık prompt | 961 tok/s | 1.116 tok/s | 1.190 tok/s |
Üretim hızı
yüksek olan iyiVeri
| Üretim | |
|---|---|
| 1× W7800 (VM, %75 VRAM'de) | 72,0 tok/s |
| 2 GPU, bölme 32, parça 4K | 74,0 tok/s |
| 2 GPU, bölme 34, parça 8K | 73,9 tok/s |
Neden iki kart
Tek W7800’de Strata, Qwen3.8-Flash-Next’in 24.576 uzmanının ancak %75’ini VRAM’de tutabiliyordu. Gerisi sistem RAM’inde duruyor, prefill sırasında lazım oldukça PCIe üzerinden taşınıyordu. Bu beni rahatsız ediyordu. IQ3_S uzmanlarının toplamı ~47 GiB, oyun bilgisayarımda da bir RX 7900 XTX (24 GB) duruyordu. 48 + 24 = 72 GB; kâğıt üstünde hepsi sığıyor. İki kart da gfx1100 olduğu için tek motor derlemesi ve tek ROCm wheel seti ikisine de yetiyor.
Makine: bu sefer fiziksel (hipervizör yok), Ryzen 5 7600, 64 GB DDR5-6400, iki kart da doğrudan işlemciden PCIe 4.0 x8, ekran iGPU’da.
Strata modeli nasıl bölüyor
Strata modeli katman katman bölüyor. Her kart kendi katmanlarının uzmanlarını ve KV önbelleğini tutuyor, bir de
kendi prompt tamponlarını — bu sonuncusu ileride önemli çıkacak. STRATA_STAGE_TRIM=1 ve elle verilen bir bölme
noktasıyla her kart yalnız kendi yoğun ağırlıklarını yüklüyor; bu olmazsa her kart 3,4 GiB’lık tam kopyayı taşıyor.
Son kartın fazladan işi var: çıkış katmanı, MTP taslak katmanı ve doğrulama, hepsi her token’da çalışıyor. O yüzden hızlı kartı (7900 XTX, 96 CU) sona koydum. Kartlar arasındaki trafik doğrulama penceresi başına birkaç yüz KB; x8 bağlantılar fazlasıyla yetiyor.
Beklentim (ölçmeden önce)
| Bileşen (262K bağlam) | Boyut |
|---|---|
| Yoğun ağırlıklar (bütün katmanlar) | ~3,4 GiB |
| Çıkış katmanı (Q5_K) | 0,5 GiB |
| MTP taslak katmanı | ~1,1 GiB |
| KV önbelleği (int8) | ~3,8 GiB |
| Bütün uzmanlar | ~46,8 GiB |
Tahminim: bölme 31/32 civarı, üretim ~70–85 tok/s, prefill 1,3–1,8 kat hızlı.
Gerçekte ne oldu
layer_split: autoyanıldı. W7800’e yalnız 2 katman verip 38 GB’ını boş bıraktı. Bölmeyi elle verdim.- Bölme 32, parça 4.096: W7800 katman 0–31’i (16.384 uzman yuvası), XTX 32–47’yi (8.192 yuva) aldı; uzmanların %100’ü VRAM’de. W7800’de 38,5 / 46 GB dolu (1,1 GB’lık bir Whisper sunucusu dahil), XTX’te 21,8 / 24 GB. Ama prefill parçasını 4.096’nın üstüne çıkaramadım: tamponlar kart başına, 2.048 token başına ~1,5 GB, XTX’te de yer kalmamıştı.
- Bölme 34, parça 8.192: iki katmanı daha W7800’e taşıyınca XTX’te 8K’lık parçaya yer açıldı. 16K’lık parça (kart başına ~12 GB) ise bütün katmanları XTX’ten alsam bile sığmıyor.
| 1× W7800 (VM) | 2 GPU, bölme 32 / parça 4K | 2 GPU, bölme 34 / parça 8K | |
|---|---|---|---|
| VRAM’deki uzman | %75 | %100 | %100 |
| RAM’deki uzman | 18,2 GiB | 0 | 0 |
| Üretim | 72,0 tok/s | 74,0 tok/s | 73,9 tok/s |
| 7,5K prefill | 840 tok/s | 921 tok/s | 878 / 949 tok/s (iki koşu) |
| 15K prefill | — | — | 1.102 tok/s |
| 31K prefill | 961 tok/s | 1.116 tok/s | 1.190 tok/s |
Sürekli yük altında sıcaklık ve güç
| Kenar | Junction | Güç | |
|---|---|---|---|
| Radeon Pro W7800 | 61 °C | 73 °C | 247 W |
| RX 7900 XTX | 61 °C | 70 °C | 204 W |
Kartlar arasında bir boş yuva yetti. Bağlantılar boştayken 2,5 GT/s x1’e iniyor, yük gelince PCIe 4.0 x8’e dönüyor; bu yalnızca güç yönetimi, dert edilecek bir şey değil.
Benim çıkardığım
- Üretim beklediğim yerde çıktı (+%3). Tek kartta zaten %95–99’u VRAM’den geliyordu, kazanılacak pek bir şey kalmamıştı.
- Prefill %24 kazandı, 1,3–1,8 kat tahminimin altında. Artık bütün uzmanlar yerel, ama her kart kendi prompt tamponlarını tutmak zorunda; parça 16.384’ten (tek kart) 8.192’ye indi. Tek kartta prefill’i hızlı yapan da tam bu büyük parçalardı. Kazanç uzun prompt’larda görünüyor; ajan oturumları ve araç yoğun cevaplar da zaten bunu üretiyor.
- Asıl kazanç geri kalan her şey. Sistem RAM’i ve işlemci neredeyse boşta, hangi GPU servisinin önce açıldığını artık düşünmüyorum, W7800’de de hâlâ ~4 GB boş yer var.
Bu yüzden bu yapılandırma artık homelab’imin ana model sunucusu.
Teşekkür
Strata ekibine teşekkürler: 125B’lik bir MoE’nin iki AMD kartta tamamen VRAM’den çalışması onların emeği sayesinde mümkün oldu.