Orkun Soylu

1 dk okuma

Qwen3.8-27B: düşünme açık vs kapalı

think=false iken model akıl yürütmesini görünür cevaba taşıyor, cevap da uzuyor. Yalnızca düz bilgi sorularında kazandırıyor; akıl yürütme gerektiren sorularda düşünme modu %22–40 daha hızlıydı.

Test tarihi
Kurulum

Radeon Pro W7800 48 GB — fiziksel iş istasyonuFiziksel makine, Linux, ROCm (Ollama) · AMD Ryzen 5 7600 (6 çekirdek / 12 iş parçacığı, AVX-512) · 64 GB DDR5-6400

Çalışma ortamı
Ollama 0.32.14 (ROCm)
Modeller

qwen3.8-27b-uncensoredQ8_0test edilen

Karar

Basit bilgi sorularında think=false kullanın (2 kat hızlı); akıl yürütme gereken her şeyde düşünmeyi açık bırakın — model her durumda akıl yürütüyor ve bunu düşünme bloğunda daha kısa yapıyor.

İşe yarayan

  • Bilgi sorusu: düşünmesiz 6 sn, düşünmeyle 11–14 sn
  • Akıl yürütme soruları: düşünme modu uçtan uca %22–40 hızlı

Yaramayan

  • think bir Modelfile'a yazılamıyor — her çağıranın göndermesi gerekiyor
  • RENDERER/PARSER olmadan elle içe aktarılan GGUF'larda think parametresi sessizce yok sayılıyor
Ortalama süre, düşünme açık
20,3sn
Ortalama süre, düşünme kapalı
24,0sn
Görünür cevap uzunluğu, kapalı / açık
1.064 / 339karakter

Cevap başına süre

düşük olan iyi

3 soru × 2 koşu, sıcaklık 1, iki koşunun ortalaması

  • think = true
  • think = false
Basit bilgi (en kalabalık 3. şehir)
12,5 snthink = true · 12,5 sn
6,0 snthink = false · 6,0 sn
Olasılık problemi
22,5 snthink = true · 22,5 sn
33,5 snthink = false · 33,5 sn
Asal sayıları listeleme
26,0 snthink = true · 26,0 sn
32,5 snthink = false · 32,5 sn
Veri
think = truethink = false
Basit bilgi (en kalabalık 3. şehir)12,5 sn6,0 sn
Olasılık problemi22,5 sn33,5 sn
Asal sayıları listeleme26,0 sn32,5 sn

Kurulum

Abliterated Qwen3.8-27B Q8_0’da (resmi modelle aynı mimari) 3 soru, her biri 2 koşu, temperature=1. Düşünmeyi istek başına think parametresiyle açıp kapattım.

Sonuçlar

Soru tipi think=true think=false Daha hızlı
Basit bilgi (“en kalabalık 3. şehir”) 14 sn, 11 sn 6 sn, 6 sn düşünmesiz ~2 kat
Olasılık problemi 22 sn, 23 sn 32 sn, 35 sn düşünme ~%40
Asal sayıları listeleme 26 sn, 26 sn 32 sn, 33 sn düşünme ~%22
Ortalama 20,3 sn / 391 token 24,0 sn / 463 token —

think=false neden çoğu zaman daha yavaş

Model akıl yürütmeyi bırakmıyor — onu görünür cevaba taşıyor. Görünür cevabın ortalama uzunluğu 339’dan 1.064 karaktere çıktı. Düz yazıyla akıl yürütmek, kısa düşünme bloğundan daha çok token tutuyor. Kazanç yalnızca hiç akıl yürütme gerektirmeyen sorularda.

Benim pratik kuralım: basit bilgi sorularında think=false; soru akıl yürütme istiyorsa açık bırakın. Sizi rahatsız eden düşünmeyi beklemek değil de görmekse, istemcide gizleyin (ör. --hidethinking) — iş yine yapılıyor, yalnız ekrana basılmıyor.

low/high seviyeleri tek örnekte tutarsız sonuç verdi (low, high’dan uzun düşündü) ve onları gürültüden ayıramadım.

İki tuzak

think bir Modelfile’da yaşayamıyor. PARAMETER think false → Error: unknown parameter 'think'. Yalnızca istek başına (--think=false CLI’da, API’de "think": false); kalıcı bir varsayılan yok — modeli çağıran uygulama göndermek zorunda.

RENDERER/PARSER olmadan elle içe aktarılan GGUF düşünme kontrolünü bozuyor. İlk içe aktarmamda Modelfile’da yalnızca iki FROM satırı vardı. Sonuç: ham <think> bloğu content içinde geldi ve think parametresi hiçbir şey yapmadı. Registry’deki modelden RENDERER qwen3.8 + PARSER qwen3.5 ve örnekleme parametrelerini (sıcaklık 1, top_k 20, top_p 0,95, min_p 0) kopyalayınca düzeldi. Teşhis için ollama show --modelfile çıktısını resmi modelinkiyle karşılaştırın — model bunlar olmadan da “çalışıyor” göründüğü için bu sessizce kaçıyor.