llama.cpp ROCm vs Vulkan @W7800
Güncel llama.cpp, Ollama'nın içinde gelen çalıştırıcıdan yalnızca %3 hızlı. Vulkan (RADV) ROCm'dan %4,6 hızlı üretiyor ama %16 yavaş prefill yapıyor. Kart da 230 W'ta sınırlı ve bunu yükseltmenin yolu yok.
- Test tarihi
- Kurulum
Radeon Pro W7800 48 GB — fiziksel iş istasyonuFiziksel makine, Linux, ROCm (Ollama) · AMD Ryzen 5 7600 (6 çekirdek / 12 iş parçacığı, AVX-512) · 64 GB DDR5-6400
- Çalışma ortamı
- llama-bench (llama.cpp b11081), ROCm ve Vulkan/RADV derlemeleri; Ollama 0.34.0
- Modeller
qwen3.8:27bQ8_0test edilen
Karar
Ollama'dan çıkmam için hız gerekçesi yok, Vulkan'a geçmem için de: küçük üretim kazancını daha yavaş prefill götürüyor. Verim normal — üretimde teorik bant genişliğinin %66'sı, prefill'de WMMA tepesinin %45'i.
İşe yarayan
- Üretim 574 GB/s ≈ 864 GB/s'lik teknik özelliğin %66'sı — sağlıklı
- Vulkan: üretimde +%4,6
Yaramayan
- Vulkan: prefill'de −%16
- 229–230 W, ~80 °C, ~2.230 MHz'de güç sınırlı; hız aşırtma/voltaj düşürme arayüzü yok
- pp512, ROCm / Vulkan
- 744 / 624tok/s
- tg128, ROCm / Vulkan
- 20,4 / 21,3tok/s
- Yük altında kart gücü
- 229–230W
- Üretimde bant genişliği verimi
- 66%
Prompt işleme (pp512)
yüksek olan iyiROCm (Ollama'nın kullandığı)
Vulkan (RADV)
Veri
| pp512 | |
|---|---|
| ROCm (Ollama'nın kullandığı) | 744 tok/s |
| Vulkan (RADV) | 624 tok/s |
Token üretimi (tg128)
yüksek olan iyiROCm
Vulkan (RADV)
Ollama'nın paketindeki ggml
Veri
| tg128 | |
|---|---|
| ROCm | 20,4 tok/s |
| Vulkan (RADV) | 21,3 tok/s |
| Ollama'nın paketindeki ggml | 19,8 tok/s |
Sonuçlar
Ollama’da kalarak masada hız bırakıp bırakmadığımı merak ettim. llama-bench, Qwen3.8-27B Q8_0, spekülatif çözme yok:
| Arka uç | pp512 | tg128 |
|---|---|---|
| ROCm (Ollama’nın kullandığı) | 744 tok/s | 20,4 tok/s |
| Vulkan (RADV) | 624 tok/s | 21,3 tok/s |
| Ollama’nın kendi paketindeki ggml | — | 19,8 tok/s |
- Upstream llama.cpp, Ollama’nın çalıştırıcısına göre ~%3 kazandırıyor — Ollama’dan çıkmak için bir neden değil.
- Vulkan: üretimde +%4,6, prefill’de −%16. Benimsemedim; RADV’yi test için kurdum, sonra kaldırdım.
Güç ve verim
- Yük altında kart güç sınırına dayanıyor: 229–230 W (sınır 230 W ve yükseltilemiyor), ~80 °C, ~2.230 MHz. Sürücü
pp_od_clk_voltagesunmuyor, yani voltaj düşürme de hız aşırtma da söz konusu değil. - Verim normal: üretim ~574 GB/s taşıyor ≈ 864 GB/s’lik teknik özelliğin %66’sı; prefill ~30 TFLOPS’a ulaşıyor ≈ WMMA tepesinin %45’i. Bozuk bir şey yok — kart düpedüz bunu yapıyor.