Osman 已转推

Google yeni duyurduğu quantization metodu QAT ile neredeyse hiç kalite kaybı olmadan Gemma 4 26B'yi 16 GB VRAM'de çalıştırabileceğimizi söylemişti. Ben de ilk fırsatta denedim. Geçen sene 25.000 liraya aldığım RTX 4060 Ti 16 GB ekran kartıma QAT Gemma 26B modelini yükledim. 128K context dahil turboquant ile 16 GB'a sığdı ve hızı inanılmaz, tam 76 token/sn. Bu da yeni bir rekor. Sonra Yargı MCP Proyu bağladım ve birkaç soru sordum. MCP'yi gayet güzel kullandı, doğru kararları buldu ve doğru yorumladı. Buyrun size yüzde yüz lokal hukuk yapay zekası. KVKK vs. derdi yok, elektrik faturası hariç bedava.

Türkçe





















