Enis Halici

@AlicanKiraz0 Hızına yetişmek mümkün değil.Cuda’nın rahat ekosistemi dışı zorlu geliştirmeler ehil ellerde fark yaratır.

FPGA ile sınırları zorlama vakti geldi. Başlayalım…

Vast/ai,clore/ai ,şu ai bu ai dan gpu kiralayıp hizmet alırken hijyen ilk şartınız olmamalı.İngilterede baba kurmuş sistemi para kazanıyor,çakmış güneş panellerinide sisteme.😂Hijyenik ai için local ai diyorum.@AlicanKiraz0

Tartışmasız büyük fark var.Benim anlatmak istediğim maliyet/performans odağında yaklaşımdı.3090 ları gömdürmem.Bu arada 6000 pro benimde envantere katılıyor çok yakında.ya 3090 ya pro 6000 üzerinden yürümek mantıklı bütçeye göre.Mesela sendeki 2x5090 ı şuanki değerinden elden çıkıp 1 adet daha pro6000 e çevirmek senin stokda en mantıklı hareket olabilir bence.

@sniperant Abi çok fark var valla NVFP4’de 🔥 Kısıtlı vram’i altın değerine dönüştürüyor. Qwen3.6-35B Q4’de 25GB ilen Nvfp4 da 17GB. Üstelik kalite fp8’den bile fazla.

Dostlar birçoğunuz sorduğundan Pcie ile yapılan Multi-GPU sistemlerinin dezavantajlarından bahsetmek isterim. Çünkü 1x RTX Pro 6000 yerine 4x RTX 5090 yada 2x RTX 5090 yerine 4x 3090 gibi cluster'ları düşünenimiz çok. Ama bu Pcie lane'da çok hatalı bir karar. Nedenleri; - İlk olarak hızı düşünelim: 1x RTX Pro 6000 yerine 4x RTX 3090'ı değerlendirecek olursak; 1x RTX Pro 6000'da 1.8 TB/s (512-bit, 28 Gbps) bant genişliğine sahip, 4x 3090'da ise her kart içinde 4 × 936 GB/s sahip ama en önemli nokta şu! Bu band genişlikleri tümleşik olamıyor çünkü Pcie 4.0 ile 32 GB/s gibi korkunç bir darboğaz var! Bu darboğaz nerede fark edilir; - 4× RTX 3090'da kullanım Model tensor parallelism ile bölündüğünde her kart kendi parçasını 936 GB/s'te okur, ama her layer sonunda all-reduce/all-gather için NVLink veya PCIe üzerinden senkronizasyon gerekir. 3090'larda NVLink sadece 2'li çiftler arasında çalışır yani 4 kartlı topolojide iki çift, kendi içinde NVLink, çiftler arası PCIe 4.0 (~32 GB/s) olur. Bu da pratikte tensor parallelism'i ciddi şekilde yavaşlatır. Metriklerde: RTX PRO 6000, Qwen3-Coder-30B AWQ, 400 concurrent: ~8,400 tok/s bu rakam 4× RTX 4090'ın 8,900 tok/s'iyle neredeyse eşit. 4090 zaten 3090'dan ~%80-100 hızlıdır FP16'da, dolayısıyla 4× 3090 bu workload'da 5,000-5,500 tok/s civarında kalır.

@AlicanKiraz0 Ben Asus wrx80 ‘e 7 adet bağladım🤣.Ampere’ler gguf ları oldukça verimli çalıştırıyor tabi istarla FP8,NV4 isteği varsa bu konuda yapacak bir şey yok.Şuanda LLama.cpp,Vllm,Sglang,exllama hepsi tarafından desteklenmeye devam ediyor.

3090 FP8, NV4 gibi destekleri bulunmuyor ve Vram’in 24gb olması yine bu nedenle bireysel kullanımda büyük sorun. 14B ve altı modeller ancak çalışır. 3090 pcie 4.0 olduğundan 32gbps ama bireyselde çift kullanımı x8 olunca 16’ya düşürür bu ada ölümcül bi darboğaz bence. 2x 3090 içinde threadripper almak mantıklı olmaz.

@AlicanKiraz0 Gördüğüm kadarı ile ramlere biraz para sıkışmış.Potansiyelin yarısını masada bırakmışsın şuan. Ana kart ve işlemci açısından.Üstündekiler 32 gb ise 4x32 Ecc rdimm ağlayarak bekliyor.😂

@sniperant Cansın abi ❤️ Valla hayallerimi analiz ettin 🙏🏻😂🔥

2x Nvidia RTX 5090 + AMD EPYC 7702 + Asus ProArt Case 🔥 Yan cam kapağı kapatınca ekran kartlarının yanındaki iki fan’nın hava çekeceği cam kapak üzerindeki hava ızgarası bulunuyor. Bu sayede oradanda hava akışı sağlanıyor 🔥

Burada çok kolay olmasada her zaman ve daha sık aralıklarla gpu ları değiştirebilirsiniz ama onları taşıyacak ve destekleyecek olan ana kart ,cpu ve Ram sık aralıklarla genişletmeye müsait değildir.Bu sebeble alt yapıya karar verirken öncelikle bu 3 ünü araştırmalı ve bunlar konusunda ileride genişleme niyetinize göre ileriyi düşünerek karar vermelisiniz.

Localde model çalıştırmak isteyenler için yani kendi bilgisayarına açık kaynaklı olarak yayınlanmış modelleri indirerek sistem altyapısının gücüne göre bunları çalıştırmak için neler yapılması gerektiği birçok kişi için bilinmezlikler ve kararsızlıklar içeriyor.Öncelikli olarak biraz araştırdığınızda hardware olarak nasıl bir sisteme sahip olunması gerektiği ilk gelgitlerin yaşandığı alan oluyor.Bu aşamada nereye yönelmeniz gerektiği ne yapmak istediğiniz ile çok alakalı.Seçenekleriniz şuanda 2 keskin ayrım içerisinde şekilleniyor.ıntel,amd,çinden gelen birkaç üretici daha var ama şuan henüz emekleme aşamasında olduklarını düşünmek yanlış değil.Birisi Nvidia kanalı,diğeri ise bütünleşik bellek içeren Apple Silikon tarafı.

Dolayısı ile seçim yaparken en belirgin göze gelen değer vram büyüklüğüdür.Bunum için kaç gb olduğuna bakmanız yeterli olur.Size ne kadar hız sunacağı için ise anlatmış olduğum değerlere bakmalısınız.

Şuana kadar ana temel yapıları tanımladık.Biraz özelinde ise mesela Nvidia nın 24 gb 2 farklı özellikteki kartını ele aldığınızda bunlar arasındaki hız farkını belirleyen temel 2 etken teknolojileri bir kenarda olmak üzere (mimarileri) içsel bandwith değeri ve cuda çekirdek sayılarıdır.Artı olarak bunları optimize etmek üzere oluşturulmuş olan cuda ekosistemi yazılımsalmolarakta hızı yukarı taşır.Biri doğal fiziksel sınırlarla oyun alanının kenarlarını çizer diğeri o kenarlara ne kadar yaklaşabileceğinizi.

Dolayısı ile bir model için önce onu taşıyacak kap büyüklüğü yani vram GB değeri ilk konu olabilir ama bu sadece ilk adımdır.Burada işlerin ne kadar hızlı olacağı önce Vram in kendi içsel hızı ile ilgilidir,2.cil olarakta pcie in ne kadar hızlı olduğu önemlidir.Bütüncül bakarsak sizin önünüzde ekranda akan tokenlar bunların toplamına göre oluşan hızla hareket ederler.

Bunların arasında verinin gidip gelmesini ise yollar üzerinden olur.Burada 2 konu var aslında biri bunların arasındaki yollar bir diğeri ise kendi içsel hızları.Şuanda modellerin tamamını vram lere tam olarak oturtmaya çalışmamamızın önemli bir nedeni Vram in içsel hızının çok yüksek olması bu memory bandwith diye geçer.İçerden dışarı hareket eden veri ise buna göre çok daha yavaş olan ana bağlantı yollarından akar.Bunada pcie bandwith diyelim gen3,gen4,gen5 ifadeleri bunu temsil eder.

Bu konuyu ilerletmeden yapıyı daha iyi kavrayabilmek için şunları bilmek gerekli.Cpu,Ram,Vram(gpu),hard disc ve bunlar arasındaki haberleşme yolları(pcie).Bu her ayrı parçanın hızlarına baktığımızda en hızlı alan cpu L1 alanı,Vram,ram ve ssd Nvme dir.Bu alanların kapasitelerine baktığımızda ise en küçük alan cpu L1 dir ve MB düzeylerindedir bu sebeble modelleri buraya yerleştirip çalıştıramayız.Alan olarak ssd Nvme > Ram > vram şeklinde düşünebilirsiniz.Burada hız ve kapasite sahibi olarak bir llm modelini makul sınırlar içerisinde çalışmasını sağlayacak yapı şuan için Vram dir.

For expandable systems, you basically have to choose an EPYC or workstation-class motherboard. The critical point here is how much you may want to expand later, because the number of PCIe slots—and whether they run at x16 with Gen4 or Gen5 support—really matters. After that, you need to use a CPU with a high PCIe lane count so it can properly support those slots.

I wonder if people realize how important their choice of motherboard has on their home inferencing strategy?

@AlicanKiraz0 2 x 5090 out, 1 pro 6000 in=2 pro6000 👍🔥

AI Homelab’imde son durum; - Mac Studio M3 Ultra 512GB sattım. - Yerine RTX Pro 6000 96GB WS aldım. - Macbook’umu yükletip M5 Max 64GB’e geçtim. - 6x Mac mini M4 + 4x Mac mini M2 ile devam - 2x Nvidia DGX Spark 128GB ile devam bir süpriz gelebilir 🔥 - 2x RTX 5090 32GB ile devam

Elon Musk,yapay zekanın ağası paşası.Antropici ipten aldı bugün,OpenAi’ın kurucu ortağı ve şuan Şam Altman’ın korkulu rüyası kabusu,Jensen Huang’ın kankisi,en iyi müşterilerinden.Devasa veri merkezleri sahibi ve bunları uzaya taşıyacak şirketin sahibi.Grok’un ileride iyi olmama şansı yok.Aynı Gemininde iyi olmama şansı olmadığı gibi.Bu arada Antropic kumrucularında eski OpenAi kurucuları,dolayısı ile Elon Musk’ın eski ekip desek olur.Sam Altman pazarlamacı,Dario Amodei mühendis.Elon Sam’i tokatlıyor şuanda.

Yoğun Kullanım: Yoğun kullanım tarafında iseniz zaten muhtemelen profesyonel ve size bu kullanımlarla gelir getirici birşeylerle uğraşıyorsunuzdur.Burada mantık biraz değişiyor ama alınması gereken planlar çok belli. Kafadan Claude Max 20X ,(2 hesap) ChatGpt Pro 20X,yanına ayak işlerinde kullanmak için bir iki tane çinli açık kaynak yıllık üyelik gayet yeterli olur. Sosyal medya,reklamcılık gibi alanlar için Grok da olmazda olmazlar arasında bence. Bu seviyede api kullanım planlarını incelemekte maliyet açısından daha verimli olabilir. Özellikle çinli coding planları en ucuz şekilde çözmenin yolu özel gün ve dönemlerde (mesela kanlı cuma gibi) yapılan özel indirimlerde yıllık planları patlatmak.Bu yapılabilecek en iyi maliyet oluyor.Aceleniz yoksa o günleri mutlaka bekleyin ve enaz orta paketlere üyelik yapın.

Orta Yoğun kullanım: Birkaç ay öncesine kadar 20$'lık çoğu plan iyi iş görüyordu ve yetiyordu birçok kullanıcı için.Ne günlerdi ama.Claude,Chatgpt ve iş yapar Çin açık kaynaklar sudan ucuzdu.Antropic'in kullanıcıları şoke eden seri hamleleri ile artık 20$'lık planlar,merhaba dediğinde 5 saatlik sınıra çarpar bir çöp haline geldi.Yani artık taksimetre en az 100$'dan başlıyor ve eskisi kadar geniş kotalarıda içermiyor. Bu seride şuan Chatgpt paketleri halen en mantıklı kullanım sunan sağlayıcı.Claude için ise eğer belli kullanım alışkanlıklarını geliştirmedi iseniz 100$'lık plan bile hiçbir şeyinize yetmez.Özellikle Claude Code'u gerekli gereksiz skill,mcp ve pluginn lere boğdu isen merhaba bile dediğinde her turda 30000 token gönderirsin babaya.Dolayısı ile bunu insan evladı gibi kullanmak için teknik detaylara biraz hakimiyet gerekiyor artık. Google Gemini tarafı ise,bir miktar geriden geliyor ama en sağlam ve geniş ekosistemi oluşturuyorlar.Genel kullanıcı olarak kalacaksanız ve birbiri ile bütünleşik geniş ekosistemde çözümler arıyorsanız google bu konuda tek tabanca ve bence ileride en iyi ve vazgeçilmez olacaklar.Öğrenciler için tam bir nimet,yıllık pro üyelik beleş. Beleş ve öğrenci demişken,öğrenci yada öğrenci yakını olanlar mutlaka github student devolopmentı kullanmalı.Bu üyelik bir ön kapı gibi arkada inanılmaz free imkanlar sunuyor,beleş çok yapı var bu üyeliğin içinde. Gelelim Cursora,bence şuanda kodlama için en iyi orta düzey alternatiflerden birisi.Şirket kabuk değiştiriyor,tam bir agentik kodlama aracı olma yolunda ve 60$'lık planı özellikle kendilerine ait Kimi'den devşirme composer ile kota sorunundan çok uzak ve başarılı.Musk ile olan anlaşmaları ile composerın bu sene çok daha iyi bir model olacağını düşünüyorum.Çok dallanmak istemeyenler 60$'lik cursor ile bence mutlu olurlar. Çinli açık kaynaklardan bence kafadaki sağlayıcı ZAİ GLM,ardından Moonshot Kimi ve Minimax.Bunlardan kodlama ağırlıklı çalışacaksanız GLM modelleri tatmin edecektir.Geçen aya kadar coding planları neredeyse bedava idi ama bitti o dönemler artık.Tek Kimi K2.6 da kodlama tarafında mutlu edebilir birçok kimseyi.Minimax ise halen bence çok uygun maliyetlerle özellikle agent çalıştırıyorsanız eldeki en iyi alternatif.Highspeed planları gayet iyi.

Artık yapay zeka ile olan ilişkinizi onunla chatleşme dışına çıkartıp geliştirmeyi düşünmeye başladı iseniz size kademeli olarak birkaç seviyede şuanda mantıklı coding plan alternatiflerini açıklayayım. Starter Kit(Çoklu Modeller): 1)Opencode Go 5$/10$, Heyecanlılar bu rakamları uzun süre devam ettiremezler.Bu dönemlerini değerlendirmek lazım. 2)Openrouter 10$ rezerve edin(tek seferlik), Birçok free model kullanımı sunuyor.Çok iyi modelleri tanıtım aşamasında makul bir dönem sömürmek mümkün. 3)Ollama Cloud,20$, Bu rakama tatmin edici kullanım sağlıyorlar. 4)GitHub CoPilot,10$,40$, Geçen aya kadar çok daha cazip idi ama halen bu rakamlarda en iyi alternatiflerden biri olmayı sürdürüyor. Bunlar size neyin ne olduğu ve gerçek ihtiyaçlarınızı belirlemeniz ve serbestçe takılmanız açısından en az maliyetle en yüksek verimi sağlar.