https://orkun.soylu.me/tr/Homelab’imden notlar: açık ağırlıklı LLM’lerin kendi kartlarımdaki testleri, yapay zekâ, teknoloji ve BT yönetimi üzerine yazılar. Gerçekten neyin çalıştığı, rakamlarıyla.trhttps://orkun.soylu.me/tr/posts/2026-10-10-strata-dual-gpu/https://orkun.soylu.me/tr/posts/2026-10-10-strata-dual-gpu/Sat, 10 Oct 2026 00:00:00 GMTQwen3.8-Flash-Next'i katman katman 72 GB VRAM'e böldüm, sistem RAM'i denklemden tamamen çıktı. Üretim neredeyse aynı kaldı (72 → 74 tok/s); uzun prompt'ta prefill %24 hızlandı (961 → 1.190 tok/s). Beklediğimden az, çünkü her kart kendi prompt tamponlarını istiyor.stratamulti-gpumoeamdhttps://orkun.soylu.me/tr/posts/2026-10-09-strata/https://orkun.soylu.me/tr/posts/2026-10-09-strata/Fri, 09 Oct 2026 00:00:00 GMTBu iş için yazılmış bir motor, sık kullanılan uzmanları VRAM'de, gerisini RAM'de tutarak 125B'lik bir uzman karışımını tek W7800'ümde çalıştırıyor. Ayarlanmış 3-bit derleme kalitede 27B referansımla eşit ya da önde ve token başına %40–60 hızlı — ama araç yoğun cevaplar %38 geç geliyor.stratamoerocmhttps://orkun.soylu.me/tr/posts/2026-10-09-coder390/https://orkun.soylu.me/tr/posts/2026-10-09-coder390/Fri, 09 Oct 2026 00:00:00 GMTAşırı uzun düşünmeyi tedavi etmeyi vaat eden bir topluluk ince ayarı, üç testimin üçünde de kalitede resmi Qwen3.8-27B ile berabere kaldı ve token başına %4–5 yavaştı. Düzeltmek için yapıldığı uzun kuyruk benim iş yükümde hiç ortaya çıkmadı.codingfine-tunesqwenhttps://orkun.soylu.me/tr/posts/2026-09-23-thinking-token-claims/https://orkun.soylu.me/tr/posts/2026-09-23-thinking-token-claims/Wed, 23 Sep 2026 00:00:00 GMTÇok daha az düşünme token'ı vaat eden iki ince ayar sözünü tutmadı: TURBO üçü içinde en çok düşünen (çıktısının %58'i), Swift'in iddia ettiği %58'lik azalma ise %15 çıktı. Prompt başına tek koşu bana tam tersini söylerdi.reasoningfine-tuneshttps://orkun.soylu.me/tr/posts/2026-09-23-llamacpp-rocm-vs-vulkan/https://orkun.soylu.me/tr/posts/2026-09-23-llamacpp-rocm-vs-vulkan/Wed, 23 Sep 2026 00:00:00 GMTGüncel llama.cpp, Ollama'nın içinde gelen çalıştırıcıdan yalnızca %3 hızlı. Vulkan (RADV) ROCm'dan %4,6 hızlı üretiyor ama %16 yavaş prefill yapıyor. Kart da 230 W'ta sınırlı ve bunu yükseltmenin yolu yok.llama.cpprocmvulkanamdhttps://orkun.soylu.me/tr/posts/2026-09-23-bare-metal-vs-vm/https://orkun.soylu.me/tr/posts/2026-09-23-bare-metal-vs-vm/Wed, 23 Sep 2026 00:00:00 GMTW7800'ümü fiziksel bir makineden başka bir sunucudaki Proxmox VM'e taşımak üretimi %2 değiştirdi (gürültü) ve prompt işlemeyi %8 hızlandırdı. Passthrough'un kendisinin ölçülebilir bir bedeli yok — ama önce dört kurulum tuzağını aşmam gerekti.virtualizationamdperformancehttps://orkun.soylu.me/tr/posts/2026-09-22-own-quantization-q6k/https://orkun.soylu.me/tr/posts/2026-09-22-own-quantization-q6k/Tue, 22 Sep 2026 00:00:00 GMT145K token'lık bir kalibrasyon setiyle (%40 Türkçe) bir Q6_K yaptım; Q8_0'a ISTA'nın 3-bit'inden 10 kat daha yakın kalıyor (KLD 0,056'ya karşı 0,0056). Hedefli imatrix'im daha büyük ve genel bir imatrix'i %4–7 geçti. Ama MTP açıkken Q6_K, Q8_0'dan yavaş.quantizationllama.cpphttps://orkun.soylu.me/tr/posts/2026-09-22-mtp-speculative-decoding/https://orkun.soylu.me/tr/posts/2026-09-22-mtp-speculative-decoding/Tue, 22 Sep 2026 00:00:00 GMTModelin kendi çoklu token tahmin (MTP) kafasını açmak, kaliteyi değiştirmeden üretim hızını iki katın üstüne çıkardı. En iyi nokta dört taslak token ve kazanç içeriğe çok bağlı — kod taslakları Türkçe düz metinden çok daha sık kabul ediyor.speculative-decodingollamaperformancehttps://orkun.soylu.me/tr/posts/2026-09-22-cve-empero-q8-ista/https://orkun.soylu.me/tr/posts/2026-09-22-cve-empero-q8-ista/Tue, 22 Sep 2026 00:00:00 GMTDamıtılmış bir 35B-A3B MoE 2,4 kat hızlı cevaplıyor ama açıklı yükseltme önerileri ve uydurma bir CVE ile 0,84'e düşüyor. W7800'ümde Q8_0+MTP, ISTA IQ3_S ile 0,96'da berabere ve 1,7 kat hızlı cevap veriyor.securitymoefine-tuneshttps://orkun.soylu.me/tr/posts/2026-09-21-vllm-rocm-w7800/https://orkun.soylu.me/tr/posts/2026-09-21-vllm-rocm-w7800/Mon, 21 Sep 2026 00:00:00 GMTDenediğim yedi kuantizasyon biçiminin ikisi vLLM 0.27 altında RDNA3'te çalıştı. int8 W8A16 + MTP 42 tok/s'ye ulaştı; int4 W4A16 57 tok/s'ye ulaştı ama ~30K token'da GPU'yu kilitledi. vLLM'i kaldırdım — ertesi gün MTP'li Ollama aynı hıza geldi.vllmrocmamdhttps://orkun.soylu.me/tr/posts/2026-09-18-ornith-cve/https://orkun.soylu.me/tr/posts/2026-09-18-ornith-cve/Fri, 18 Sep 2026 00:00:00 GMTYalnızca 1,9B aktif parametreli 35B'lik bir uzman karışımı 84 tok/s üretiyor ve 39 sn'de cevap veriyor — ama puanı 0,83'e düşüyor ve yükseltme önerileri sistematik olarak güvensiz. CVE prompt'um onu aslında biraz daha kötüleştirdi.securitymoefine-tuneshttps://orkun.soylu.me/tr/posts/2026-09-17-ista-general-capability/https://orkun.soylu.me/tr/posts/2026-09-17-ista-general-capability/Thu, 17 Sep 2026 00:00:00 GMT16 GB'lık kartımda ISTA'nın 3-bit Qwen3.8-27B'si gündelik benchmark'ları neredeyse dolduruyor: HumanEval 40/41, GSM8K 49/50, uzun bağlamda hatırlama 9/9, araç çağrısı 15/15. Görebildiğim tek zayıflık Türkçe okuduğunu anlama (İngilizce 40/40'a karşı 36/40).quantizationqwennvidiahttps://orkun.soylu.me/tr/posts/2026-09-17-hauhau-q8-cve/https://orkun.soylu.me/tr/posts/2026-09-17-hauhau-q8-cve/Thu, 17 Sep 2026 00:00:00 GMTAynı ince ayarı 48 GB'lık W7800'ümde Q8 olarak çalıştırmak CVE puanını 0,92'den 0,97'ye çıkarıyor — zayıflığının çoğu 3-bit sıkıştırmadan geliyormuş. Ama yine de ISTA'nın 3-bit'ini geçmiyor; 2,4 kat süreye ve token başına 2,5 kat enerjiye mal oluyor.securityquantizationfine-tuneshttps://orkun.soylu.me/tr/posts/2026-09-17-cve-prompt-v2/https://orkun.soylu.me/tr/posts/2026-09-17-cve-prompt-v2/Thu, 17 Sep 2026 00:00:00 GMTDaha sıkı bir dayanak kuralı ve iki araç düzeltmesi ISTA'yı hafızadan sıfır CVE ve sıfır dil kaymasıyla 0,98'e çıkardı. HauhauCS 0,92'ye geriledi: yükseltme araştırmasından çok erken vazgeçiyor.securitypromptingtool-usehttps://orkun.soylu.me/tr/posts/2026-09-17-cve-prompt-v1/https://orkun.soylu.me/tr/posts/2026-09-17-cve-prompt-v1/Wed, 16 Sep 2026 00:00:00 GMTTek bir ortak sistem prompt'u HauhauCS'in İngilizce cevaplarını 15'ten 1'e indirdi ve iki modelde de düzeltme sürümü isabetini artırdı. Hafızadan gelen bilgiler kaldı — artık 'doğrulanmadı' etiketli, ama yine yanlış.securitypromptingtool-usehttps://orkun.soylu.me/tr/posts/2026-09-16-ista-vs-unsloth-iq3/https://orkun.soylu.me/tr/posts/2026-09-16-ista-vs-unsloth-iq3/Wed, 16 Sep 2026 00:00:00 GMTRTX 4070 Ti SUPER'ımda vLLM altında ISTA'nın IQ3_S'i daha küçük bir dosyadan %1,2 daha düşük perplexity alıyor ve %8 daha hızlı prefill yapıyor; Unsloth'unki %5 daha hızlı üretiyor ve KV'ye biraz daha yer bırakıyor.quantizationvllmnvidiahttps://orkun.soylu.me/tr/posts/2026-09-16-ista-vs-hauhau-features/https://orkun.soylu.me/tr/posts/2026-09-16-ista-vs-hauhau-features/Wed, 16 Sep 2026 00:00:00 GMTİki 3-bit Qwen3.8-27B derlemesi de RTX 4070 Ti SUPER'ımda görseli, araç çağırmayı (düşünmeli ve düşünmesiz), araç sonucunu kullanmayı ve düşünme kontrolünü geçiyor; ~43–44 tok/s ve 64K tamamen GPU'da.tool-usevisionfine-tuneshttps://orkun.soylu.me/tr/posts/2026-09-16-cve-baseline/https://orkun.soylu.me/tr/posts/2026-09-16-cve-baseline/Wed, 16 Sep 2026 00:00:00 GMTAraç kullanan CVE değerlendirmemin ilk koşusu: iki 3-bit 27B de 0,96 aldı. Onları ayıran isabet değil dil disipliniydi — HauhauCS Türkçe sorularımın üçte birini İngilizce cevapladı.securitytool-usenvidiahttps://orkun.soylu.me/tr/posts/2026-09-16-vllm-vs-ollama-power/https://orkun.soylu.me/tr/posts/2026-09-16-vllm-vs-ollama-power/Tue, 15 Sep 2026 00:00:00 GMTTek kullanıcı için Ollama ölçtüğüm her eksende vLLM'i geçti: %28 daha hızlı üretim, 1,9 kat prefill, VRAM'de 2,5 kat bağlam, 3 saniyede açılış ve token başına daha az enerji.vllmollamapowernvidiahttps://orkun.soylu.me/tr/posts/2026-08-19-thinking-on-off/https://orkun.soylu.me/tr/posts/2026-08-19-thinking-on-off/Wed, 19 Aug 2026 00:00:00 GMTthink=false iken model akıl yürütmesini görünür cevaba taşıyor, cevap da uzuyor. Yalnızca düz bilgi sorularında kazandırıyor; akıl yürütme gerektiren sorularda düşünme modu %22–40 daha hızlıydı.reasoningqwenhttps://orkun.soylu.me/tr/posts/2026-08-19-pi-agent-27b/https://orkun.soylu.me/tr/posts/2026-08-19-pi-agent-27b/Wed, 19 Aug 2026 00:00:00 GMT13 ajan koşumun 13'ü de hatayı düzeltti ya da özelliği yazdı; birebir eşleşmesi gereken düzenlemelerin hiçbiri başarısız olmadı. Q8_0 %78'e kadar yavaş ve daha isabetli değil. Beklemenin neredeyse tamamı prompt'u yeniden okumaya gitti.agentscodingqwenhttps://orkun.soylu.me/tr/posts/2026-08-19-168k-context/https://orkun.soylu.me/tr/posts/2026-08-19-168k-context/Wed, 19 Aug 2026 00:00:00 GMTW7800'ümde Qwen3.8-27B Q8_0'a 168.084 token'lık bir prompt verdim: prefill 11,7 dakika sürdü, üretim 20,2'den 9,6 tok/s'ye düştü. Yine de en baştaki işareti kusursuz hatırladı.long-contextvramollamahttps://orkun.soylu.me/tr/posts/2026-08-18-w7800-vs-7900xtx/https://orkun.soylu.me/tr/posts/2026-08-18-w7800-vs-7900xtx/Tue, 18 Aug 2026 00:00:00 GMTİki kartta birebir aynı Q4_K_M dosyasını ve aynı Ollama sürümünü çalıştırdım: tüketici kartı 7900 XTX üretimde %29, prefill'de %44 hızlı. Fark bant genişliğini değil hesap gücünü izliyor — W7800'ün asıl sunduğu şey 48 GB'ı.gpuamdrocmhttps://orkun.soylu.me/tr/posts/2026-08-18-qwen38-27b-q8-vs-q4/https://orkun.soylu.me/tr/posts/2026-08-18-qwen38-27b-q8-vs-q4/Tue, 18 Aug 2026 00:00:00 GMTW7800'ümde Q8_0'dan Q4_K_M'e inmek %29 daha hızlı üretim ve 12 GB VRAM kazandırdı — bant genişliği hesabının vaat ettiğinden çok daha az — ve uzun prompt'ta prefill'i %7 yavaşlattı.quantizationqwenollamahttps://orkun.soylu.me/tr/posts/2026-08-05-ai-memory-crisis-sap-hana/https://orkun.soylu.me/tr/posts/2026-08-05-ai-memory-crisis-sap-hana/Wed, 05 Aug 2026 00:00:00 GMTBellek fiyatları rekor üzerine rekor kırıyor. In-memory çalışan SAP HANA sunucularının yenileme ve bulut maliyetlerine etkisi üzerine bir fikir jimnastiği.saphanadramcloudhttps://orkun.soylu.me/tr/posts/2026-07-06-vram-fit-48gb/https://orkun.soylu.me/tr/posts/2026-07-06-vram-fit-48gb/Mon, 06 Jul 2026 00:00:00 GMTAynı anda tek model yüklüyken iki Qwen3.6 modeli de 262K'lık bağlamın tamamını W7800'ümün VRAM'inde tutuyor. Gemma 4 31B tutamıyor — 64K'nın üstünde işlemciye taşıyor.vramollamagemmaqwenhttps://orkun.soylu.me/tr/posts/2026-07-06-moe-vs-dense-long-context/https://orkun.soylu.me/tr/posts/2026-07-06-moe-vs-dense-long-context/Mon, 06 Jul 2026 00:00:00 GMT48 GB'lık W7800'ümde uzman karışımı (MoE) model, yoğun 27B'den 3,4 kat hızlı üretiyor. Bağlamın dörtte birini doldurmak üretim hızını neredeyse hiç etkilemiyor — beklemenin neredeyse tamamı prefill.moelong-contextvramollama