ornith-1.5 35B MoE @CVE triyajı

Soru

ornith-1.5:35b, hız avantajını (ilan edilen 89,7 tok/s, ISTA’nın iki katı) isabetten ödün vermeden koruyor mu? Bir MoE — toplam 35,5B, 1,93B aktif, Q4_K_M — ve onu W7800’de çalıştırdım (%100 GPU, 262K). Aynı prompt (paylaşılan bir YAML anchor üzerinden ISTA’nınkiyle bayt bayt aynı), aynı örnekleme, MCP sunucusu ve sorular; doğru cevapları koşudan önce dondurdum. 15 × 3, sıfır hata.

Sonuçlar

Benim çıkardığım

• Hız gerçek, isabet değil. Cevap başına 39 sn ve 83,7 tok/s, ama puan 0,98’den 0,83’e iniyor.
• Kaybın tamamı yükseltme önerilerinde: 24’ün 7’si hâlâ açıklı (ISTA 0, HauhauCS Q8 1). Üstelik rastgele değil — Spring4Shell 3/3, Django 3/3, jinja2 1/3. Bir güvenlik aracı için “X’e yükseltin” deyip X’in hâlâ açık olması yapılabilecek en pahalı hata.
• Yüzeysel araç kullanımı. Bol bol araç çağırıyor (cevap başına 4,6), ama sürüm aracını 24 yükseltme sorusunun yalnızca 17’sinde kullandı. Daha çok araç çağırmak, daha derin araştırmak demek değil.
• Güçlü yanları: uydurma ya da hafızadan CVE yok, KEV listesi 1,00, önceliklendirme 3/3, var olmayan CVE 3/3, biçim disiplini 44/45. Halüsinasyonu kontrol altında tutuyor; tökezlediği yer, hangi sürümün gerçekten temiz olduğu konusundaki akıl yürütme.

Prompt’um işleri kötüleştirdi

ornith’in ilk koşusu yanlışlıkla sohbet arayüzümün genel varsayılan prompt’uyla yapıldı, çünkü modele özel kaydı henüz eklememiştim. O koşu karşılaştırmaya girmiyor, ama bana bir şey öğretti:

CVE prompt’unu Qwen ailesine göre ayarlamıştım ve ornith’te ters tepiyor — temkinli işaretleri çoğaltıyor ve modelin doğru aracı çağırma sıklığını düşürüyor. Ama 7/24 güvensiz yükseltme iki koşuda da var, yani o başarısızlık prompt’un değil, modelin.