Strata 125B MoE @48 GB vs Qwen3.8-27B

Strata nedir

Strata (MIT; fb58e0d commit’ini, motor 0.1.41’i test ettim), tam olarak tek bir modeli — Qwen3.8-Flash-Next: 125B parametre, 48 katman × 512 uzman = 24.576 uzman, token başına 10 aktif — tek GPU artı sistem RAM’iyle çalıştırmak için yazılmış bir C++/HIP motoru. Çok kullanılan uzmanlar VRAM’de, gerisi RAM’de yaşıyor; 29 GB’lık katman başı gömme tablosu SSD’de kalıyor; yerleşik bir MTP katmanı da spekülatif çözme için taslak token üretiyor. OpenAI, Anthropic ve Responses API’lerini ve bir web arayüzünü sunuyor.

Test ettiğimde proje ne durumdaydı: 2026-09-24’te açılmış, ~19K yıldız, ~1,7K fork, ~570 açık issue, önceki üç günde ~200 commit. Çok hızlı değişiyor — o anki son commit, uzun prompt’lardan sonra IQ3_S çıktısını bozan bir varsayılanı anlatıyordu (kendi sürüm testi yakalamış). Kodu denetlemedim; dışa bağlantılar Hugging Face’e ve aynalarına, GitHub’a ve AMD’nin ROCm nightly dizinine gidiyor.

Referans: qwen3.8:27b-q8_0-mtp (Ollama, 262K, %100 GPU); aynı gün aynı betiklerle Coder390 testinde ölçtüm.

Kurulum

GPU’lu VM’e geçici olarak 16 vCPU, 52 GB RAM ve 300 GB’lık bir model diski verdim; Ollama kartı kapmasın diye onu durdurdum.

./setup.sh --check
./setup.sh --yes --family qwen --model IQ3_S --backend hip --no-start

• --check W7800’ü gfx1100 olarak tanıdı ve IQ3_S’in “low-RAM modunda sığacağını, GPU’nun uzmanların ~%79’unu tutacağını” tahmin etti.
• Sistemde ROCm yok: AMD’nin TheRock wheel’leri venv’e kuruldu, motor da yerelde birkaç dakikada derlendi.
• İndirme: IQ3_S, 2 parça, 83,6 GB; MTP kaynağı (BF16, 5,2 GB) Q2_0’a paketlendi. Bir de low-RAM modu için tek seferlik 50 GB’lık experts.bin.
• UD-IQ4_XS: sabitlenmiş bir revizyondan indirdim (3 parça, 93,7 GB, SHA-256’ların hepsi eşleşti) ve --compat-bf16 ile paketledim (195 tensör BF16’ya yuvarlandı, en büyük hata 0,0144).

Uzmanlar nerede duruyor

Resident low-RAM modunda RAM yalnızca GPU’nun tutmadığı uzmanları tutuyor (VRAM’i tamamlıyor, kopyalamıyor); uyarlanır takas da sohbet ilerledikçe sıcak uzmanları RAM ile VRAM arasında taşıyor. Üretim sırasında SSD’den hiçbir şey okunmuyor.

Ayar taraması (IQ3_S)

Her satır motoru baştan başlatıyor. Üretim = 4 prompt × 1.024 token (Türkçe öykü, Python kodu, Türkçe teknik metin, İngilizce matematik), sıcaklık 0, düşünme kapalı. Prefill = 1K / 7,5K / 31K token’lık prompt’lar.

• Üretimi işlemci ya da RAM sınırlamıyor: 5 ile 11 işçi aynı sonucu veriyor, 15 işçi ise sunucunun kendi iş parçacıklarıyla çakıştı. Hızın asıl izlediği şey MTP kabulü — kodda %80–85 kabul 86–89 tok/s, Türkçe düz metinde ~%50 kabul ~55 tok/s veriyor.
• Prefill ~%90 GPU hesabı. VRAM’de olmayan uzmanlar her parçada PCIe’den akıyor; büyük parçalar bu maliyeti yayıyor.
• Kart tam PCIe 4.0 x16’da çalıştı. RAM hızı (4800’e karşı 6400) bu sonuçları en fazla tek haneli yüzde değiştirirdi.

Kalite — düşünme seviyesi tuzağı

27B’nin thinkbench/hardbench betiklerini aynı prompt’lar, örnekleme (sıcaklık 1, top_p 0,95, top_k 20, min_p 0) ve sınırlarla OpenAI API’sine uyarladım.

Strata’nın varsayılan düşünme seviyesi xhigh. Modelin şablonu low, medium ve xhigh’ı biliyor (high, xhigh’a eşleniyor); yani reasoning_effort göndermeyen her istek mümkün olan en uzun düşünmeyi alıyor:

16K sınırda xhigh ortalama 9.309 token (%91 düşünme) ve cevap başına 147 sn verdi; bir prompt’ta (bir bash rsync yedek betiği) üç koşu da 16K token boyunca düşünüp hiç cevaba varamadı.

medium isabetten hiçbir şey götürmeden uzun kuyruğu ortadan kaldırdı. İki Strata derlemesi de bu iki testin tavanında, yani onları burada ayıramıyorum — CVE değerlendirmesi tam bunun için var.

UD-IQ4_XS: dört bit, kazanç yok

Unsloth’un ~4-bit derlemesi 59,5 GB uzman taşıyor (IQ3_S’ten %11 fazla). Aynı ayarlarla ve 26 GiB’lık RAM bütçesiyle, GPU’nun tutmadığı her uzman sabitlenmiş RAM’e sığıyor — dosyadan hiç okuma yok.

Gerçek iş: CVE değerlendirmesi

Strata, sohbet arayüzüme OpenAI uyumlu API’si üzerinden servis verdi; şart olduğu ortaya çıkan iki ayarla:

• Sunucu tarafında varsayılan reasoning_effort: medium — arayüzüm bir düşünme seviyesi göndermiyor.
• Açık bir sampling bloğu (sıcaklık 1, top_p 0,95, top_k 20, min_p 0). Bu olmadan, örnekleme parametresi taşımayan istekler greedy çözülüyor.

Model başına 15 soru × 3 koşu; 27B’nin koşusuyla aynı dondurulmuş doğru-cevap seti ve NVD önbelleği, aynı ayar parmak iziyle MCP sunucusu 0.5.2 ve birebir aynı sistem prompt’u. 135 koşunun hepsini birlikte puanladım.

* elle düzeltildi (puanlayıcı hataları, aşağıda). ** gerçek ama küçük.

Puanlayıcıyı nerede düzelttim. Var olmayan CVE’de (CVE-2025-99999) her Strata cevabı kaydın olmadığını söyledi ve web’deki sahte bir depoyu uydurma diye işaretledi — ama sonra yardımcı olmak için “CVE-2025-9999’u kastediyor olabilirsiniz” deyip o gerçek kaydın CVSS’ini de verdi. Puanlayıcımın “bunu mu demek istediniz” istisnası satır satır çalıştığı için CVSS satırı sahte CVE hakkında bir iddia sayıldı. Benzer şekilde, doğru biçimde “evet, listede” diyen bir KEV cevabı, farklı ve daha eski bir CVE’den bahseden ayrı bir satırda olumsuzluk geçtiği için yanlış sayıldı. Puanlandığı gibi bıraktıklarım: bir UD-IQ4_XS cevabı alternatif olarak var olmayan iki kimlik önerdi (0,5), biri de altı araç çağrısından sonra cevapsız bitti (0,125).

Nasıl davranıyor. Strata’nın modeli daha çok araştırıyor — ortalama 6,4 araç çağrısı (en çok 13) ve uzun, kaynaklı son cevaplar (4–7K token). Bir de arayüzümün araç turu sınırına takılıyor; orada arayüz son bir tur için araç listesini kaldırıyor. Araç tanımları prompt’un başında durduğu için bu değişiklik motorun önek önbelleğini geçersiz kılıyor ve ~30K token yeniden okunuyor (soru başına ~30 sn). Normal araç turları arasında önek önbelleği sorunsuz çalışıyor ve yalnızca yeni araç sonucu (1–9K token) işleniyor.

Kararım

• En iyi Strata yapılandırması: IQ3_S + reasoning_effort: medium. UD-IQ4_XS bu donanımda %10–23 yavaş ve hiçbir yerde kalite avantajı göstermedi.
• 27B Q8’e karşı: kalite eşit ya da biraz önde (CVE 0,975’e karşı 0,969, hardbench 20/20’ye karşı 19/20, 24/24 yükseltme önerisi), saniyede +%40–60 token; gündelik prompt’larda 2,4 kat, hardbench’te %35 erken cevap. Ama araç yoğun gerçek iş %38 geç geliyor — iki kat araç çağrısı, daha uzun cevaplar ve son araç turundaki önbellek kaçağı.
• Çekinceler: düşünme seviyesini ve örneklemeyi sunucuda ayarlayın; proje çok genç; tek bir model ailesini çalıştırıyor; AMD’de görsel yalnızca işlemcide (test etmedim); GPU’yu da Ollama ile paylaşamıyor.

Sonra ne oldu — aynı motoru iki GPU’ya böldüm: W7800 + RX 7900 XTX’te Strata.