Orkun Soylu

2 dk okuma

ISTA IQ3_S vs HauhauCS IQ3_XS @CVE triyajı

Araç kullanan CVE değerlendirmemin ilk koşusu: iki 3-bit 27B de 0,96 aldı. Onları ayıran isabet değil dil disipliniydi — HauhauCS Türkçe sorularımın üçte birini İngilizce cevapladı.

Test tarihi
Kurulum

GeForce RTX 4070 Ti SUPER 16 GB — Proxmox sanal makinesi (GPU passthrough)PCIe passthrough ile Proxmox VE konuğu, Ubuntu 24.04, NVIDIA 595 açık sürücü · Intel Core i5-13400 sunucu; konukta 8 vCPU · Konukta 32 GB; sunucuda 64 GB DDR5

Çalışma ortamı
Ollama 0.34.1, araçlarla sohbet arayüzüm üzerinden; CVE MCP sunucusu 0.4.0
Modeller

Qwen3.8-27B GSQ-RCOISTA IQ3_Stest edilen

Qwen3.8-27B AggressiveIQ3_XStest edilen

Karar

Soru setim tavanına yakın — iki model de 0,96 aldı. Gerçek farklar dil kayması (HauhauCS 15/45 cevap İngilizce, ISTA 0) ve hiçbir aracın döndürmediği, hafızadan yazılmış bilgilerdi (ikisinde de).

İşe yarayan

  • İki modelde de sıfır uydurma CVE kimliği
  • Her yükseltme sorusunda sürüm sorgulama aracı çağrıldı (48/48)
  • ISTA: 24 yükseltme cevabının 24'ünde en yeni temiz sürüm önerildi

Yaramayan

  • HauhauCS: 45 Türkçe sorunun 15'ini İngilizce cevapladı (jinja2'de 3/3)
  • İkisi de hiçbir aracın döndürmediği yanlış CVE ayrıntılarını hafızadan yazdı
  • Puanlayıcının ilk geçişi ağır biçimde düşük puan verdi (0,73 / 0,65) — serbest metin puanlaması elle ayar istiyor
Genel puan
0,96 · 0,96
Türkçe olmayan cevap
0 · 15/ 45
En yeni temiz yükseltme
24 · 23/ 24
Cevap başına saniye
46 · 46

Yanlış dilde cevaplar

düşük olan iyi

Türkçe soru, Türkçe olmayan cevap; 45 üzerinden

  • ISTA IQ3_S
  • HauhauCS IQ3_XS
Yanlış dilde cevap
0ISTA IQ3_S · 0
15HauhauCS IQ3_XS · 15
Veri
ISTA IQ3_SHauhauCS IQ3_XS
Yanlış dilde cevap015

Belirtilen düzeltme sürümleri

Cevapların vermesi gereken 42 düzeltme sürümü bilgisi üzerinden

  • ISTA IQ3_S
  • HauhauCS IQ3_XS
Doğru
35ISTA IQ3_S · 35
37HauhauCS IQ3_XS · 37
Yanlış
1ISTA IQ3_S · 1
0HauhauCS IQ3_XS · 0
Belirtilmemiş
6ISTA IQ3_S · 6
5HauhauCS IQ3_XS · 5
Veri
ISTA IQ3_SHauhauCS IQ3_XS
Doğru3537
Yanlış10
Belirtilmemiş65

Değerlendirme

Model başına 15 soru × 3 tekrar; soruları Türkçe olarak, araçlar açıkken sohbet arayüzüm üzerinden sordum, model 4070 Ti SUPER’dan (q8_0 KV, 65K bağlam) servis edildi. Araçlar CVE triyaj MCP sunucumdan geliyor (NVD, EPSS, CISA KEV, OSV, paket sürümleri, web araması). Beklenen cevapları NVD/OSV/deps.dev/KEV’den bağımsız olarak hazırlayıp koşudan önce dondurdum; puanlamayı bir betik yaptı. 90 koşu, sıfır hata ya da zaman aşımı. Ayrıntılı anlatım: Yöntem → CVE değerlendirmesi.

Sonuçlar

ISTA GSQ-RCO IQ3_S HauhauCS Aggressive IQ3_XS
Genel 0,96 0,96
Yükseltme: en yeni temiz sürüm önerildi 24/24 23/24
Düzeltme sürümü doğru / yanlış / belirtilmemiş 35 / 1 / 6 37 / 0 / 5
KEV durumu doğru 6/6 6/6
Önceliklendirme / var olmayan CVE 3/3 / 3/3 3/3 / 3/3
Uydurma CVE kimliği 0 0
Türkçe soruya Türkçe olmayan cevap 0/45 15/45
Hafızadan yazılan CVE (hiçbir araç sonucunda yok) 2 1
Cevap başına araç çağrısı / saniye 2,6 / 46 sn 2,8 / 46 sn

Set tavanına yakın: iki modeli isabette birbirinden ayıramıyorum, yükseltme soruları da fiilen çözülmüş durumda. Asıl ayrıştıkları yer dil tutarlılığı ve hafızadan bilgi.

Gerçekte bulduklarım (cevapları okuyarak)

  1. Dil kayması — HauhauCS. 45 cevabın 15’i İngilizce geldi (jinja2’de 3/3). ISTA hiç kaymadı. İlk çare, dil kuralı olan standart bir sistem prompt’u.
  2. Hafızadan yanlış bilgi — iki model de. Puanlar yüksekti, ama hiçbir araç çıktısında olmayan ayrıntılar yanlıştı:
    • ISTA, CVE-2020-9488’i “JMSAppender RCE, CVSS 8.8” diye anlattı; gerçekte SMTP appender sertifika doğrulama sorunu, CVSS 3.7 (JMSAppender RCE, CVE-2021-4104).
    • HauhauCS bir curl CVE’sini (CVE-2023-27533) “sonraki bir MOVEit CVE’si” diye andı.
    • ISTA (log4j, 1. koşu) CVE-2021-45046’ya CVE-2021-44832’nin açıklamasını ve düzeltmesini yazdı.
  3. Araçlarımın bir kör noktası — Express. CVE-2022-24999 (qs bağımlılığı üzerinden; NVD express < 4.17.3 diyor) hiçbir cevapta yok, çünkü OSV’nin express kaydında bulunmuyor. Geçişli bağımlılıklardaki açıklar paket tarayıcısının kör noktası.
  4. Araçlarımda bir pencere hatası — son KEV girdileri. 13 KEV girdisinden biri, iki modelde de 6/6 koşuda araç çıktısında yoktu. Büyük ihtimalle “son 7 gün” sınırı yerel saatle hesaplanıyordu, doğru cevap ise UTC’deydi. Sonraki MCP sürümünde düzelttim.
  5. MOVEit’te NVD yanlış. NVD’nin MOVEit Transfer sürüm sınırları bir sonraki yama setini gösteriyor; iki model de Progress’in resmi düzeltme sürümlerini verdi, doğru olan da onlar. Bunu belgelenmiş bir üretici düzeltmesi olarak kaydettim.

Puanlayıcıyı ayarlamak

İlk otomatik geçiş ISTA 0,73 / HauhauCS 0,65 verdi. Her cevabı tek tek okuyunca düşüşün çoğunun puanlayıcımın suçu olduğu ortaya çıktı: cümle sonundaki nokta sürümleri bozdu (“2.10.1.”), kalın başlık satırları öneri bölümünü öneriden önce kapattı, “ransomware: bilinmiyor” “KEV’de değil” diye okundu, NVD’nin dahil sınırı (2.16.0 → 2.17.0) anlaşılmadı ve yalnızca CVE kimliği geçen satırlara bakıldı. Düzeltmelerden sonra yukarıdaki gerçek hatalar hâlâ yakalanıyor.

Yükseltme ölçütü en iyi sürümün önerilerde geçip geçmediğine bakıyor, birincil öneri olup olmadığına değil. Serbest metin sezgileri her yeni cevap üslubunda elle yeniden denetlenmek zorunda — her cevabın sonunda sabit, makinece okunur bir özet bloğu istememin nedeni de tam olarak bu.