CVE sistem prompt'u v1
Tek bir ortak sistem prompt'u HauhauCS'in İngilizce cevaplarını 15'ten 1'e indirdi ve iki modelde de düzeltme sürümü isabetini artırdı. Hafızadan gelen bilgiler kaldı — artık 'doğrulanmadı' etiketli, ama yine yanlış.
- Test tarihi
- Kurulum
GeForce RTX 4070 Ti SUPER 16 GB — Proxmox sanal makinesi (GPU passthrough)PCIe passthrough ile Proxmox VE konuğu, Ubuntu 24.04, NVIDIA 595 açık sürücü · Intel Core i5-13400 sunucu; konukta 8 vCPU · Konukta 32 GB; sunucuda 64 GB DDR5
- Çalışma ortamı
- Ollama 0.34.1, araçlarla sohbet arayüzüm üzerinden; CVE MCP sunucusu 0.5.0
- Modeller
Qwen3.8-27B GSQ-RCOISTA IQ3_Stest edilen
Qwen3.8-27B AggressiveIQ3_XStest edilen
Karar
Prompt davranışı düzeltiyor, bilgiyi değil: cevap dili ve özet biçimi hemen çözüldü, düzeltme sürümü isabeti arttı, ama iki model de hafızadan gerçek ama alakasız CVE'ler eklemeye devam etti. 'Doğrulanmadı diye işaretle' fazla zayıf bir kural.
İşe yarayan
- HauhauCS yanlış dilde cevap: 15 → 1
- Doğru düzeltme sürümü: ISTA 35 → 39, HauhauCS 37 → 40 (42 üzerinden)
- İkisinde de cevapların 45/45'inde makinece okunur özet bloğu
Yaramayan
- Cevap başına +10–16 sn (özet bloğu ve ek doğrulama çağrıları)
- Hafızadan CVE'ler hâlâ var; artık 'doğrulanmadı' etiketli ve bazen özete sızıyor
- Zamana bağlı bir soru, doğru cevaplar koşudan 6 saat önce dondurulduğu için kaydı
- Genel, ISTA / HauhauCS
- 0,96 / 0,94
- Yanlış dilde cevap
- 0 / 1/ 45
- Özet bloğu var
- 45 / 45
- Cevap başına saniye
- 57 / 62
Doğru düzeltme sürümü, başlangıç → prompt v1
yüksek olan iyi42 üzerinden
- Başlangıç (prompt yok)
- Prompt v1
Veri
| Başlangıç (prompt yok) | Prompt v1 | |
|---|---|---|
| ISTA IQ3_S | 35 | 39 |
| HauhauCS IQ3_XS | 37 | 40 |
Cevap başına saniye
düşük olan iyi- Başlangıç (prompt yok)
- Prompt v1
Veri
| Başlangıç (prompt yok) | Prompt v1 | |
|---|---|---|
| ISTA IQ3_S | 46 sn | 57 sn |
| HauhauCS IQ3_XS | 46 sn | 62 sn |
Neyi değiştirdim
Yalnızca bir şeyi: iki model için ortak bir sistem prompt’u. Kullanıcının dilinde cevap ver; CVE kimliklerini,
sürümleri ve puanları yalnızca araç çıktısından al, gerisini “doğrulanmadı” diye işaretle; sonunda sabit bir
```summary bloğu ver. Aynı dondurulmuş doğru cevaplar, aynı 15 soru × 3 koşu. MCP sunucusu 0.4.0’dan 0.5.0’a
geçti (araçlar aynı davranıyor; artık bir NVD API anahtarı tanımlı). 90 koşu, sıfır hata. Özet bloğu kontrollerini
puanlayıcıya ekledim ama puana saymıyorlar.
Sonuçlar (başlangıç → prompt v1)
| ISTA | HauhauCS | |
|---|---|---|
| Genel | 0,96 → 0,96 | 0,96 → 0,94 |
| Türkçe olmayan cevap (gerçek) | 0 → 0 | 15 → 1 |
| Özet bloğu | – → 45/45 | – → 45/45 |
| Özetteki KEV alanı doğru | – → 6/6 | – → 6/6 |
| Düzeltme sürümü doğru / yanlış / yok | 35/1/6 → 39/0/3 | 37/0/5 → 40/0/2 |
| Yükseltme: en yeni temiz sürüm | 24 → 24 | 23 → 22 |
| Hafızadan CVE (etiketsiz → etiketli) | 2 etiketsiz → 3, hepsi “doğrulanmadı” | 1 etiketsiz → 1, “doğrulanmadı” |
| Cevap başına araç çağrısı / saniye | 2,6 / 46 → 2,9 / 57 | 2,8 / 46 → 3,5 / 62 |
Dil puanlayıcısı ISTA’nın iki cevabını tablolardaki İngilizce kelimeler yüzünden İngilizce saydı. İkisini de okudum — Türkçeler. Tek gerçek kayma bir HauhauCS cevabıydı.
Bazı puanlar neden düştü
- Son KEV sorusu 0,96’dan 0,80’e indi — ama kayan modeller değil, doğru cevaptı. Doğru cevapları 18:37 UTC’de dondurdum, değerlendirmeyi ~6 saat sonra koştum. Arada “son 7 gün” penceresi kaydı: 4 eski girdi düştü, 1 yeni girdi geldi. İki model de 6/6 koşuda araç çıktısını birebir verdi. Çıkardığım ders: zamana bağlı soruların doğru cevabı koşu anında üretilmeli.
- HauhauCS, Spring4Shell’de 2/3 koşuda açık sürüm önerdi. Sürüm sorgulama aracını atladı, “en güncel 5.3.x” dedi ve numarayı dürüstçe “doğrulanmadı” diye işaretledi. Bu yanlış değil, eksik araştırma (açık kaynak hatta temiz bir 5.3.x yok; en iyi hedef 7.0.9).
- Express 0,62 / 0,75 — zaten bildiğim geçişli bağımlılık kör noktası; bunu hiçbir prompt çözemez.
Prompt’un çözmedikleri
- Hafızadan gelen CVE’ler hâlâ orada, artık etiketli — bazıları özete de sızıyor. ISTA MOVEit’e CVE-2023-46805’i (Ivanti) ve CVE-2024-1709’u (ScreenConnect) ekledi; HauhauCS var olmayan bir CVE-2024-17362’den bahsetti. Hepsi “doğrulanmadı” diye işaretliydi ve hepsi yanlıştı. Kural “işaretle” değil, “araç sonucunda olmayan bir CVE kimliğini asla yazma” olmalı.
- Özetteki hedef ile metin: özetin
target_version’ı 24’te 19 kez en yeni temiz sürümdü — çoğunlukla bilinçli bir seçim (bir LTS hattı ya da “JDK 17 ile”); en yeni sürüm metinde de geçiyor. - Araç argüman hataları (5, hepsini model aynı cevapta düzeltti): aralık dışı bir
linesargümanı, dize olarak gönderilen bir JSON listesi (sohbet arayüzüm yanıltıcı biçimde “no tool named …” dedi), ürün olmadan yapılan bir sürüm araması. MCP sunucusunu hata fırlatmak yerine değerleri kırpacak şekilde düzelttim.